技術 Day 21 如果AI 流量突然增加，GPU 不夠了怎麼辦？

我有多年 IT 技術與跨域學習經驗，現在把 AI、Cloud、Infrastructure 串起來。 如果AI 流量突然增加，GPU 不夠了怎麼辦？ Day 2...

技術 Day 18 如果Docker 把環境包起來了，那GPU 呢？

我有多年 IT 技術與跨域學習經驗，現在把 AI、Cloud、Infrastructure 串起來。 如果Docker 把環境包起來了，那GPU 呢？ Day...

技術 Day 2｜GPU 的三種死法：算不動、搬不完，還是在發呆？

昨天那台空車跳表的小黃，我們把它攔了下來。錶還在跳、後座沒人。問題是，為什麼？ 大部分人遇到 GPU 慢，直覺反應是"不夠力，換張更貴的卡"...

技術 Day 09 如果模型不變，為什麼 Context 越長越吃 VRAM？

我有多年 IT 技術與跨域學習經驗，現在把 AI、Cloud、Infrastructure 串起來。 昨日談問到如果模型越大，就一定需要越大的 GPU 嗎？今日...

技術 Day 06 如果AI一問就懂，那AI 到底需要什麼 GPU？

我有多年 IT 技術與跨域學習經驗，現在把 AI、Cloud、Infrastructure 串起來。 談到 AI Infrastructure，很多人的第一個印...

技術 Day 10｜Vulkan 是什麼？與 OpenGL 的差異與優勢（零基礎友善版）

先講一句大白話：Vulkan 就像「自己開餐車」——食材、火候、動線全自己管；OpenGL 像「去餐廳點菜」——說需求、等端菜。自己管事情多一點，但 效率、擴...

技術 Day 6｜Shader 入門：Unity Shader 簡介

把 Shader 想成「會被大量重複執行的小程式」，跑在你的顯示卡（GPU）上。在 Unity 裡，我們用一種叫 ShaderLab 的外層語法包住 HLSL...

技術 Day 4｜GPU 記憶體架構與資料流：如何有效管理資源

今天要把「資料怎麼從你的程式一路跑到顯卡裡又跑回螢幕」講清楚。記住三個關鍵字：容量（能放多少）、頻寬（一次能搬多少）、延遲（來回要多久）。GPU 的世界在乎「...

技術 Day 3｜Shader 是什麼？GPU 編程的靈魂

把它想成：在顯示卡上跑的迷你程式。每個頂點、每個像素、甚至每個小工作（工作群組）都同時跑一份，負責把場景「算成顏色」。你不需要數學很好就能入門——先把它當作「...

技術 Day26 GPU 軟體層級切割魔法 Time-Slicing & MPS

前言 前一章節介紹了 Multi-Instance GPUs(MIG) ，屬於硬體層級的分割方法，隔離性強。那有沒有軟體切割法呢？ 當然有，那就是 Time-...

技術 Day25 GPU 硬體層級切割魔法 Multi-Instance GPUs(MIG)

前言 昨天介紹了如何在 GKE 中使用 GPU 節點部署 Mixtral-8x7B-Instruct-v0.1 模型。然而讀者有沒有發現問題，部署過程中使用需...

技術 [心得] 簡單判斷Ollama的AI模型本機可使用大小及用途

判斷GPU能跑哪個模型 在 ollama.com 找到模型後，在模型頁上顯示模型大小，以「starcoder2 3B」為例https://ollama.com/...

技術 Day5 - 一起認識NVIDIA GPU和它們的演化

前言 以前在infra的時代，都是一個人顧幾百台的server，其中當也幾台是GPU server，可惜當時只知道怎麼維運監控報修打雜；在學校時設備前人都弄好了...

技術 算力的盡頭是物理：從 Cerebras 與 NVIDIA 的架構分歧，看 AI 晶片的演進哲學

Source：cerebras.ai AI 晶片設計公司 Cerebras Systems（CBRS）於美東時間 5 月 14 日在 Nasdaq 掛牌上市，首...

技術 哈希貓在 4060 筆電上的算力（WPA & WPA2）

Hashcat 4060 Laptop Hash Rate (wpa & wpa2) Laptop: ROG Strix G18 CPU:...

技術 [Day17] Optimizations for GPU computation

前言 前幾日的文章，討論到了在訓練過程中，從資料的I/O、前處理到放入GPU之前的優化方式。今天將討論在GPU內的優化方式。 自動混和精度 - automati...

技術 [Day13] 資料預處理機制與優化 - 硬體篇

前言 本日的文章打算來講一些資料讀取的機制以及優化的方式。 資料流與硬體 先上一個目前所採用的Training/Validation，在每一次進行時的資料流簡易...

技術 Day 2 談傳統：Windows Tensorflow-GPU 環境配置

Tensorflow-GPU 環境配置 Author：William Mou-> 進入個人 Blog 前言 在接觸機器學習時，對學生來說，最主觀、且最簡單...

技術 [Python] Tensorflow with GPU

使用Python 做機器學習/深度學習時常使用的Tensorflow還有分成CPU版本與GPU版本。常常安裝時容易在小細節碰壁，今天就把安裝過程簡單紀錄。 建立...

技術 [周末分享]之GPU Caps Viewer，免費顯示卡狀態檢視軟體！

這是另一套免費的顯示卡狀態檢視軟體！而且不只是顯示卡狀態、他也會顯示系統/CPU狀態，重點是他還會提供OPENGL的訊息與提供一連串的測試，讓您了解您的顯示卡之...