2026 iThome 鐵人賽

AI Engineering

Day 9

2026-08-22

1045

0

128GB 統一記憶體的三十天：DGX Spark 地端 LLM 與生成式 AI 部署實戰系列

Day 9｜vLLM 實測：官方容器、同時處理吞吐曲線，與剛出爐的新模型 Ornith 1.5

換引擎：從單人工作站到多人服務器背靠背文章的第二篇，昨天 llama.cpp 給了我們單用戶場景的基準線。今天換上 vLLM，這個引擎的存在理由只有一個字，...

ivanusto

AI Engineering

Day 21

2026-09-03

862

0

128GB 統一記憶體的三十天：DGX Spark 地端 LLM 與生成式 AI 部署實戰系列

Day 21｜herdr 是地端 AI 同時跑多個 AI agent 的最佳解

agent 時代的新型浪費三部曲前兩天各讓一個 harness 開了工，今天先講一個比較少人警告過的問題。 agent 工作的節奏跟寫程式完全不同，你交代一...

ivanusto

AI Engineering

Day 1

2026-08-01

822

1

Backend 工程師的 Azure GenAI 實戰系列

Day 1：LLM 是你接過最不守規矩的下游依賴——Backend 工程師為什麼需要懂 GenAI

你大概遇過這個場景：產品會議上有人說「我們加個 AI 功能吧」，然後任務落到你頭上。你打開文件一看，不就是呼叫一個 HTTP API 嗎？拿 API key、發...

Kehao

AI Engineering

Day 7

2026-08-20

733

0

128GB 統一記憶體的三十天：DGX Spark 地端 LLM 與生成式 AI 部署實戰系列

Day 7｜第一個模型上線：gpt-oss-120b 從模型庫到 API 的完整流程

為什麼是它 ? gpt-oss-120b 是可當基準用的量尺開始動手前，先回答一個你可能想問的問題：都 2026 年 8 月了，為什麼第一個要上線用的模型是舊...

ivanusto

AI Engineering

Day 2

2026-08-02

680

0

Backend 工程師的 Azure GenAI 實戰系列

Day 2：GenAI Backend 參考架構——把不確定性關進最小的籠子

想像你是團隊裡第一個要畫「AI 功能架構圖」的人。最容易畫出來的版本長這樣：前端 → 你的 API → OpenAI，三個框、兩支箭頭，會議上大家點頭通過。三個...

Kehao

AI Engineering

Day 2

2026-08-05

640

0

知識圖譜 : 技能樹式學習歷程系列

Day 2 — HTML 骨架與設計 token：CSS 變數就是你的設計系統

今天要解的問題沒有 Tailwind、沒有 UI library，一切要自己寫。如果直接開始寫 .card { border-radius: 14px }、....

Eyk

團隊這不薄冰哥嗎