iT邦幫忙

2026 iThome 鐵人賽

DAY 30
0

昨天說,名詞通膨擋不住,但學科是真的。系列最後一篇,把鏡頭從產業轉回工程師。

先交代我自己的位置:做過 Data Scientist,寫了三年多的 backend,今年轉進一間 B2B 新創當 AI Engineer。這份工作做下來的體感,比職稱聽起來樸素得多。
https://ithelp.ithome.com.tw/upload/images/20260901/20183400tAeMCu5uRp.png

日常比想像中像 Backend

先講工作內容的真相。AI Engineer 的本質,是把 LLM endpoint(模型供應商提供的 API 服務)整併進既有系統,或用它開發新的 solution。所以日常高度像一個 Backend Engineer:大量的工作還是 integration,你需要會 database、會寫 server、知道怎麼做 CI/CD、怎麼寫測試。

想像一個典型的需求:把客服系統接上 LLM,自動分類工單並起草回覆。真正花時間的地方是資料怎麼進出、失敗怎麼補償、舊系統的介面怎麼對接、上線前怎麼驗證。模型只佔架構圖上的一格,其他格子全是老朋友。Day 1(四層地圖)的前提是模型動不了,你能動的是模型外面的一切,而模型外面的一切,本來就是 backend 的地盤。

真正新增的那一塊:不確定性工程

跟傳統 backend 的差別,集中在一個地方:系統裡多了一個不確定的元件。同一個輸入,LLM 可能給出不同輸出;出錯的時候安安靜靜,格式對、內容錯。傳統工程的兩個假設,同輸入同輸出、錯誤會丟 exception,在這格失效。上游換一版模型,下游行為就可能漂移,連版本升級都成了要驗證的事件。

於是熟悉的工具都要重新設計一次。retry 的觸發條件從網路錯誤變成「輸出不合格」;測試從 assert 相等變成 eval,Day 24(評估)講過為什麼;monitor 的對象多了 token 成本和輸出品質的漂移,這是 Day 26 講可觀測性的理由;guardrail(在輸入輸出兩端擋住出格行為的防護欄)成了標配。

這三十天講的四層,全部是圍繞這個不確定性長出來的工程手段:L1 讓輸出更可控,L2 決定它看見什麼,L3 給它手腳和邊界,L4 讓你敢放手。地圖今天全亮,回頭看,它其實只回答了一個問題:一個不確定的元件,怎麼被確定性的工程包起來。

會用 Agent 只是第一步

所以講到入行,我的看法:AI Engineer 非常適合本來就在寫 backend 的人投入。會用 agent、會下 prompt 只是第一步;系統要上線,考的還是老功夫:System Design 怎麼做、solution 怎麼說服別人它能 work、24/7 怎麼確保、retry 機制怎麼設計、監控告警要看什麼。

這些能力沒有一項被 AI 淘汰,反而因為系統裡多了不確定性,變得更值錢。

說服這件事也有工程含量。Day 28(Eval Function)說過,你能把「什麼叫好」量化到多準,系統就能改進到多準;同一句話換個場景一樣成立:你能把效益量化到多準,別人就能多快相信你的 solution。

反過來說也成立:只練了 prompt 和 agent 框架、沒有 production 底子的人,離「把東西交付出去」還有一段距離。這也是這個系列把最多篇幅給 L3 和 L4 的原因。

當然,backend 也只是入場路徑之一:從 data 或 ML 背景進來的人另有優勢,只是要補的課不一樣,補的是 serving 和可靠性那一側。這兩條路我剛好都沾過,才敢這樣說。

六萬字的完賽心得

最後是完賽心得。這三十天,是我過去學習的一次總整理。寫之前以為自己懂了,寫的時候才發現哪些地方只是眼熟;輸出逼著我把每個主題重新想一遍。三十篇,六萬多字,寫完站回去看,腳步比開賽前穩。

在這個容易技術焦慮、AI 焦慮的年代,我能給的方法就這麼樸素:挑一張自己的地圖,一格一格把它填滿。名詞會繼續來,昨天才剛拆過一個;模型會繼續換代。但你認真回答過的問題會留下來。不用害怕,保持持續學習的心,繼續前進。完賽,感謝三十天的陪伴。


上一篇
Day 29|Graph Engineering:三十秒拆一個新名詞
系列文
模型動不了,那你能動什麼?AI Engineering 四層工程觀:Prompt、Context、Harness、Loop30
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言