前言 前些陣子，社群上開始興起了 RAG 已死的言論，因為主流大模型的 Token 窗口已經大幅度的成長到百萬級別，足以消化大部分的資料並即時回應。這也使得一...
前言 想像一下，一個大型語言模型（LLM）就像一位博學多聞、記憶力驚人的天才，但他的知識卻永遠停留在了「畢業」的那一天。對於畢業後世界上發生的任何新知、或是特...
前言 在過去幾年，大型語言模型 (LLM) 的浪潮席捲全球，「提示工程 (Prompt Engineering)」迅速成為 AI 開發者與愛好者人人都需掌握的...
前言 在先前文章中，我們探討了 LLM 可觀測性平台的重要性。然而，僅僅能夠「看見」模型的行為是不夠的；我們還需要一套系統化的方法來「衡量」其優劣，這就是 L...
前言 在上一篇文章中，我們探討了 LLM 可觀測性平台的重要性。今天，我們將延伸這個主題，深入探討一個與其緊密相關且至關重要的領域：Prompt Manage...
前言 在大型語言模型（LLM）應用席捲全球的今天，如何有效監控並觀測這些「黑盒子」的行為，已成為維運團隊最迫切的挑戰。許多團隊早已建立了成熟的 Grafana...
前言 在 LLM 應用蓬勃發展的時代，將大型語言模型（LLM）推向生產環境往往只是旅程的開始，而不是結束。想像一下，一個聊天機器人應用在內部測試中表現完美，但...
前言 當企業擁抱大型語言模型（LLM）的強大能力時，隨之而來的是一系列「甜蜜的煩惱」。開發團隊可能在不同專案中使用了來自 OpenAI, Anthropic,...
前言 大型語言模型（LLM）的驚人能力正在改變各行各業，但伴隨而來的安全風險也日益凸顯。從惡意使用者透過各種「越獄」（Jailbreaking）手段誘導模型產...
前言 在 LLM 應用從小規模 PoC 走向生產環境的過程中，AI Gateway 不再只是簡單的 API 轉發器，它已經演變為關鍵的「AI 控制平面」。 選...
🔹 前言 昨天我們完成了 API Gateway，讓前端可以透過一個統一的 Proxy 來存取 LLM。 但在真實運行環境裡，還有一個非常現實的問題： 👉 我的...
前言 大型語言模型（LLM）的浪潮正以前所未有的速度席捲各行各業。從 OpenAI 的 GPT 系列、Anthropic 的 Claude，到 Google...
當前，人工智慧的發展已經進入一個新紀元。從 OpenAI、Google 到 Anthropic，各大巨頭皆有能力開發出執行深度研究、編寫程式碼 (IDE) 或...
前言 在建構基於大型語言模型（LLM）的智能助手時，系統需要處理從簡單問答到複雜的 Agent 工作流（如多步驟推理、工具調用和跨代理協作）等不同任務。隨著系...
一個響亮的聲音正在科技圈迴盪：「LLM Agent 時代來臨，人類不再需要學習軟體工程了！」這個論點極具誘惑力：當一個全能的 AI 助理可以根據你的自然語言需...
概述 在當今資訊爆炸的時代，很多複雜問題都需要我們花費大量時間在網路上搜尋、閱讀和整理資訊。如果能有一個 AI 代理幫我們自動完成這些深度研究任務，將大量資料...
概述 在可觀測性的世界裡，資料可視化與使用者介面，始終是我們從龐大數據中提煉洞見的最後一哩路。這正是為什麼像 Grafana 這樣的可視化平台，即便歷經多次技...
概述 在上一篇文張中，我們透過 Google Agent 白皮書確立了一個核心共識：AI 應用的未來屬於能夠感知、思考、採取行動的智能代理（Agent）。而一...
前言 許多開發者初次接觸 AI Agent，會被 ReAct (Reasoning and Acting) 框架的簡潔與強大所吸引，並迅速用幾十行程式碼實現一...
前言 在先前關於 Google Agent 白皮書的探討中，我們觸及了一個核心觀點：一個大型語言模型（LLM）之所以能被稱為「Agent」（代理人），其關鍵區...
概述 在過去短短兩年裡，大型語言模型（LLM）應用經歷了一場驚人的蛻變。我們從驚嘆於 ChatGPT 能寫詩作對、回答知識性問題的「聊天機器人」時代，迅速躍遷...
概述 在上一篇文章中，我們達成了一個重要的共識：Prompt 不僅是與 AI 的對話，它更是需要用工程紀律來嚴謹對待的 API 請求。我們也意識到，由多個 P...
概述 在先前的章節中，我們已經深入探討了大型語言模型（LLM）在可觀測性領域中的定位與重要性。我們認識到：LLM 可觀測性的核心，在於如何評估其輸出的不確定性...
概述 在上一篇文章中，我們深入探討了 LLM 應用的獨特性。它是一個機率性的、以語義為核心的「黑盒子」。我們意識到，傳統的監控手段已無法應對其在遙測、輸出、成...
概述 在過去幾篇文章中，我們從傳統監控一路聊到「可觀測性 2.0」，並探討了為何像 ClickHouse 這樣的 OLAP 資料庫會成為新時代的基石。這一切的...
概述 在上一篇文章中，我們探討了從傳統監控邁向『可觀測性 2.0』的關鍵轉變，其核心在於能夠應對海量、高基數的遙測資料，並進行即時的探索式分析。這對後端的資料...
概述 天下分久必合，合久必分。軟體世界從不缺乏閃亮的新名詞，尤其在微服務與雲原生逐漸成為主流的這些年，可觀測性（Observability） 和 分佈式追蹤（...
概述 多年來，IT 監控以各種方式被應用和部署。其核心目的是收集有關不只是 IT 基礎設施以及雲原生服務的硬體和軟體運作指標，確保所有關鍵功能都能順利運作，進...
前言 2025 年可以說是 LLM 應用真正大放異彩的一年。原因在於，LLM 的使用場景早已不再侷限於像 ChatGPT 這樣的網頁聊天視窗，如今它已經延伸到...
●前言 Day 20，代表第一階段的壓軸登場。 前面我們用 Terraform × Helm × CI/CD，已經能自動化建 Infra、部署應用。 但 Dev...
mikehsu0618
Hazel
codeseeker2024
iThome鐵人賽
看影片追技術