技術 Day26 GPU 軟體層級切割魔法 Time-Slicing & MPS

前言 前一章節介紹了 Multi-Instance GPUs(MIG) ，屬於硬體層級的分割方法，隔離性強。那有沒有軟體切割法呢？ 當然有，那就是 Time-...

技術 Day25 GPU 硬體層級切割魔法 Multi-Instance GPUs(MIG)

前言 昨天介紹了如何在 GKE 中使用 GPU 節點部署 Mixtral-8x7B-Instruct-v0.1 模型。然而讀者有沒有發現問題，部署過程中使用需...

技術 [心得] 簡單判斷Ollama的AI模型本機可使用大小及用途

判斷GPU能跑哪個模型 在 ollama.com 找到模型後，在模型頁上顯示模型大小，以「starcoder2 3B」為例https://ollama.com/...

技術 Day5 - 一起認識NVIDIA GPU和它們的演化

前言 以前在infra的時代，都是一個人顧幾百台的server，其中當也幾台是GPU server，可惜當時只知道怎麼維運監控報修打雜；在學校時設備前人都弄好了...

技術 哈希貓在 4060 筆電上的算力（WPA & WPA2）

Hashcat 4060 Laptop Hash Rate (wpa & wpa2) Laptop: ROG Strix G18 CPU:...

技術 [Day17] Optimizations for GPU computation

前言 前幾日的文章，討論到了在訓練過程中，從資料的I/O、前處理到放入GPU之前的優化方式。今天將討論在GPU內的優化方式。 自動混和精度 - automati...

技術 [Day13] 資料預處理機制與優化 - 硬體篇

前言 本日的文章打算來講一些資料讀取的機制以及優化的方式。 資料流與硬體 先上一個目前所採用的Training/Validation，在每一次進行時的資料流簡易...

技術 Day 2 談傳統：Windows Tensorflow-GPU 環境配置

Tensorflow-GPU 環境配置 Author：William Mou-> 進入個人 Blog 前言 在接觸機器學習時，對學生來說，最主觀、且最簡單...

技術 [Python] Tensorflow with GPU

使用Python 做機器學習/深度學習時常使用的Tensorflow還有分成CPU版本與GPU版本。常常安裝時容易在小細節碰壁，今天就把安裝過程簡單紀錄。 建立...

技術 [周末分享]之GPU Caps Viewer，免費顯示卡狀態檢視軟體！

這是另一套免費的顯示卡狀態檢視軟體！而且不只是顯示卡狀態、他也會顯示系統/CPU狀態，重點是他還會提供OPENGL的訊息與提供一連串的測試，讓您了解您的顯示卡之...