AI Demo 很容易,真正讓 AI 進入 Production 卻是另一回事。
我是一名專注於 AI × Infrastructure Solution / Integration 的技術實作者,具備多年 IT、Cloud 與 AI 實作經驗,跨足 LLM、GPU、Docker、Kubernetes、MLOps 與 AI Agent。
本系列將從專業角度,分享 AI Demo從 Prototype、Deployment 到 Production 的實戰思考,拆解「模型能跑,服務為什麼上不了線?」這個問題。
這也是我正在撰寫AI Infrastructure 實戰之書內容。
我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 AI 已經可以快速完成 Demo,但真正進入 Produc...
我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 我發現 AI Demo 很容易,為什麼上不了 Produc...
我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 2022年11底,我接觸ChatGPT等生成式 AI 之後...
我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 從生成式 AI 普及之後,使用 LLM API 已經變得越...
我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 實做 AI Demo 的時候,我們通常會先問一個問題:「它...
我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 談到 AI Infrastructure,很多人的第一個印...
我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 為什麼 AI 一直在談 VRAM呢? 開始研究 AI In...
我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 如果模型越大,就一定需要越大的 GPU 嗎? 開始接觸 L...
我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 昨日談問到如果模型越大,就一定需要越大的 GPU 嗎?今日...
我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 如果跑同一個 AI 模型,Quantization 真的是...