概述
在上一篇文章中,我們深入探討了 LLM 應用的獨特性。它是一個機率性的、以語義為核心的「黑盒子」。我們意識到,傳統的監控手段已無法應對其在遙測、輸出、成...
在前兩篇文章中,我們探討了 Data Lakehouse 的概念演進,以及 Apache Iceberg 如何透過三層架構實現高效的 metadata 管理。但...
🔹 前言
昨天我們談到 Cache 與回應加速,解決了「同一問題反覆查詢」造成的延遲與成本浪費。
但 LLM 應用還有另一個大挑戰:
👉 模型與知識庫版本要怎麼...
🔹 前言
⚠️ 提醒:這篇文章是完整的雲端環境評估記錄。
內容會涵蓋成本試算、安全權衡、部署方式等細節,屬於「實務考量」的展開。本文適合「想控制雲端成本」且...
🔹 前言
前兩天我們分別搞定了 RAG 的兩個基礎拼圖:
Day 4 向量資料庫 → 負責「存資料」以及「找尋片段」
Day 5 Embedding 模型...
今年是 AI 生態圈快速發展的一年,許多應用在快速萌芽,但身為後端開發者的我來說,打好基礎還是比較重要的。過去幾年我專注於語言、架構或可觀測性工程的學習,近期則...