iT邦幫忙

2026 iThome 鐵人賽

DAY 3
0
Build on Google AI

AI Demo上 Production 之前:AI × Infrastructure 實戰筆記系列 第 3

Day 03 如果我已經先跑多 AI Agent了,我為什麼開始研究 AI Infrastructure?

  • 分享至 

  • xImage
  •  

我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。

2022年11底,我接觸ChatGPT等生成式 AI 之後,我慢慢發現一件有趣的事情:那時做出一個 AI Demo 已經不難,現在做出一個 AI Demo 已經變得更加容易,真正困難的是,當 AI 不再只是自己測試,而是要提供給更多人使用時,問題會突然變得完全不同。

前天OpenAI產品負責人 Tibo Sottiaux 在X上爆料,他曾參與Google一個名為LMChat的內部專案,本質上就是提早一年問世的ChatGPT,該文目前破萬讚跟二百多回覆。2021的google I/O大會我也有看,那時被亮相的對話模型吸引,很多亮相的酷東西未來也沒有release或上線 Production,從每年5月微軟、6月computex、七月AMD、八月google,11月AWS跟微軟的技術高峰會等,我會看各家的盛事、觀看線上直播發表、聽聽科技技術新知。

過去我的技術學習並不是只集中在單一領域,而是一路接觸程式開發、Python、Cloud、Docker、Kubernetes、AI/ML 與各種軟體工具包與 AI 工具。實際摸索的過程中,我開始注意到,AI 的問題往往不是單純「模型好不好」,而是模型、GPU、Runtime、Container、Network、Storage、Deployment 與 Monitoring 能不能整合在一起。

這讓我開始把自己的學習方向從「如何使用 AI」,逐漸轉向「AI Demo 如何真正落地」。

所以我現在更想問的問題是:

如果企業已經成功做出 AI Demo,接下來要具備哪些 Infrastructure 能力,才能讓它真正走進 Production?

這也是我撰寫《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》這本書的原因。

這本書不是單純介紹某一個 AI 工具,而是希望從 Infrastructure 的角度,整理 AI 從 Prototype、Deployment 到 Production 過程中真正會遇到的許多問題。

接下來 27 天,我會一邊持續實作,一邊分享這些思考,也把這段寫書與探索 AI Infrastructure 的過程公開記錄下來。用短篇文章分享我的實作、觀察與思考,如果想完整看這個系列可以追一下與期待一下這本書,我正在努力完成這一本書,把一些內容去蕪存菁、從沉思到靈光啟發寫出更有深度的文章內容。

關於作者

我是一名 AI × Infrastructure Solution / Integration 技術實作者,專注於 AI、MLOps、Cloud、Docker、Kubernetes、GPU、LLM 與 AI Agent 等技術的整合與落地,跨足 LLM、GPU、Docker、Kubernetes、MLOps 與 AI Agent,持續研究企業 AI 從 Prototype 到 Production 所需要的工程能力。協助企業理解 AI 從 Prototype 到 Production 所需要的技術能力。

本系列同時是《AI Infrastructure 實戰:AI Demo 為什麼上不了 Production?》的延伸實戰筆記。如果想完整理解這些問題,未來可以去看這本書。敬請期待~


上一篇
Day 02 如果 AI Demo 已經可以跑了,下一步到底需要什麼,才能真正走進 Production?
下一篇
Day 04 如果AI Engineer 不只是會呼叫 LLM API,那我為什麼開始研究 AI Infrastructure?
系列文
AI Demo上 Production 之前:AI × Infrastructure 實戰筆記4
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言