不知不覺鐵人賽已經進入倒數完結的階段,我們花了很多篇幅討論如何建立 Data Lakehouse 的架構、如何建立 data pipeline 來將 OTLP...
在之前的實作中,有學習到如何讀取檔案到n8n並且使用gemini節點來分析檔案,這次就要把這些技巧實際應用到日常學習情境,做出一個小專案—— 每日自動推播多益單...
管理維運 GitLab Server,一定會知道 GitLab Runner 的使用,可能也遇過,GitLab 團隊成員同一時段 Commit Source C...
三十天前,我們懷著一個單純的目標啟程:學習如何使用 Locust 這款強大的開源工具來對我們的應用程式進行壓力測試。我們從 locustfile.py 的基礎寫...
昨天提到了維運團隊在平時就會有監控產品的流程,確認基礎設施運行沒有問題,但在 Devops 的精神結合進來後,監控的目標從「伺服器 A 的 CPU 使用率達 8...
一、前言:為什麼 LLM 推理需要自動伸縮?
LLM 推理的挑戰:
每次推理需要大量 GPU 計算資源,尤其是多 Token 的生成。
流量波動明顯(例如白天...