我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。
2022年11底,我接觸ChatGPT等生成式 AI 之後,我慢慢發現一件有趣的事情:那時做出一個 AI Demo 已經不難,現在做出一個 AI Demo 已經變得更加容易,真正困難的是,當 AI 不再只是自己測試,而是要提供給更多人使用時,問題會突然變得完全不同。
前天OpenAI產品負責人 Tibo Sottiaux 在X上爆料,他曾參與Google一個名為LMChat的內部專案,本質上就是提早一年問世的ChatGPT,該文目前破萬讚跟二百多回覆。2021的google I/O大會我也有看,那時被亮相的對話模型吸引,很多亮相的酷東西未來也沒有release或上線 Production,從每年5月微軟、6月computex、七月AMD、八月google,11月AWS跟微軟的技術高峰會等,我會看各家的盛事、觀看線上直播發表、聽聽科技技術新知。
過去我的技術學習並不是只集中在單一領域,而是一路接觸程式開發、Python、Cloud、Docker、Kubernetes、AI/ML 與各種軟體工具包與 AI 工具。實際摸索的過程中,我開始注意到,AI 的問題往往不是單純「模型好不好」,而是模型、GPU、Runtime、Container、Network、Storage、Deployment 與 Monitoring 能不能整合在一起。
這讓我開始把自己的學習方向從「如何使用 AI」,逐漸轉向「AI Demo 如何真正落地」。
所以我現在更想問的問題是:
如果企業已經成功做出 AI Demo,接下來要具備哪些 Infrastructure 能力,才能讓它真正走進 Production?
這也是我撰寫《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》這本書的原因。
這本書不是單純介紹某一個 AI 工具,而是希望從 Infrastructure 的角度,整理 AI 從 Prototype、Deployment 到 Production 過程中真正會遇到的許多問題。
接下來 27 天,我會一邊持續實作,一邊分享這些思考,也把這段寫書與探索 AI Infrastructure 的過程公開記錄下來。用短篇文章分享我的實作、觀察與思考,如果想完整看這個系列可以追一下與期待一下這本書,我正在努力完成這一本書,把一些內容去蕪存菁、從沉思到靈光啟發寫出更有深度的文章內容。
關於作者
我是一名 AI × Infrastructure Solution / Integration 技術實作者,專注於 AI、MLOps、Cloud、Docker、Kubernetes、GPU、LLM 與 AI Agent 等技術的整合與落地,跨足 LLM、GPU、Docker、Kubernetes、MLOps 與 AI Agent,持續研究企業 AI 從 Prototype 到 Production 所需要的工程能力。協助企業理解 AI 從 Prototype 到 Production 所需要的技術能力。
本系列同時是《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》的延伸實戰筆記。如果想完整理解這些問題,未來可以去看這本書。敬請期待~