本系列旨在分享LLM帶進程式使用的過程、概念。前20天分享從API 串接基礎出發,一路談 Prompt Engineering、Context engineering、harness engineering,建立起「怎麼讓 LLM 好好工作」的完整知識骨架;後10天則動手實作,打造一套個人版的 LLM 流量控管系統,完成多廠商API集中管理的gateway、用量監控等。
目標是走到系列結束時,不只學會怎麼「用」LLM,而且有能力把它當作一個可維運的系統元件來設計與實作。
Day 1|開賽 前言 作為兩年前踏入職場的菜鳥,剛好遇到了AI改變開發流程的動盪時期。 從入職剛開始手刻CRUD、建立最基本的前後端概念,到後來學習模型的應用...
Day 2|如何在程式中呼叫 LLM API? 昨天說到,「會用 LLM 聊天」跟「把 LLM 寫進程式」是兩件事,首先就從如何在程式裡呼叫 LLM API,並...
Day 3|Streaming 回應:串流的用途 昨天分享的模型回應與平常大家用聊天介面有個不一樣的地方:程式是等模型「全部生成」完回應,才將內容印出來,而平常...
Day 4|Structured Output / Tool Use:讓 LLM 回傳程式看得懂的資料 前面分享了 LLM 回應的形式,streaming 分段...
Day 5|錯誤處理與重試機制:API 不會一直順利 前幾天的範例都建立在一個假設上:API呼叫一定會成功。但實際操作上不可能這麼順利,網路問題、模型服務繁忙、...
Day 6:Prompt 的基本結構:System / User / Assistant 把 LLM 帶進程式後,難道對 LLM 的操作就結束了嗎?Part 1...
Day 7|Zero-shot vs Few-shot:要不要先給模型看範例? 昨天把 prompt 的骨架搭好了,今天來看內容怎麼寫比較有效。同一個任務,可以...
Day 8:Chain-of-Thought:讓模型寫下推理過程 昨天的範例舉的是分類這種一步到位的任務。但遇到需要多步驟推理的問題——例如數學計算、邏輯推理、...
Day 9:Prompt 版本管理與除錯:寫 prompt 不是一次就結束 這幾天分享了prompt的基本架構、要不要給範例、推理引導的用法,但以上用法都是主觀...
Day 10|Context Window 是什麼:限制與迷思 從今天開始要進入 Part3,會介紹Context Engineering的內容。先從最基本的概...