鐵人檔案
gpu很忙？我們要如何解析他是不是真的在忙？
學習gpu kernel , mfu , nccl 等知識
運用nsys-ai 來協助你優化你的gpu體驗！
ref: https://github.com/GindaChen/nsys-ai
昨天體檢收工，病歷首頁圈了兩個紅字，發呆兩成上下、通訊一成五（Day 10 那張示意卡）。今天開始，我們進會診室。 會診跟體檢是兩回事。體檢給你數字，會診要找病...
昨天我們整天泡在會診室，讀片、指認病徵，最後把眼睛的極限講明白了，聯集、佔比、重疊，看得到、算不動，要精確就得回去手寫 SQL。今天把白袍掛回去，跟我去一趟花市...
花市逛完，今天開工，摘第一瓣，top_kernels。 先回一下前兩天的帳。Day 11 讀片的時候，你在 forward、backward 段看到一排排最寬的...
昨天那張榜查下來算是虛驚一場，flash attention 吃三成吃得有道理，整體表現也沒有異常。今天這位就沒那麼好打發了，病歷首頁真正圈紅字的第一位，GPU...
昨天收尾時還留了一個問題：idle gap 分布中，最左邊那一桶的數量很多，名冊裡卻沒有特別大的 gap。還有一批更小的 gap 未達 1 ms 門檻，也不會出...
Day 14 的hole list裡，還有一批歸因欄寫滿 cudaMemcpyAsync 與 cudaHostAlloc 的 gap 沒有處理，分診表上的資料線...
前面幾天都在追時間：GPU 有沒有閒著、kernel launch 卡多久、資料搬了多少。今天換一個角度，不只問 GPU 忙不忙，而是問這些時間最後換回多少「模...
Day 17 對齊完 MFU 的口徑後，主檔 A 還有一筆大帳沒有解釋：kernel 時間裡有將近三成掛在 ncclDevKernel 開頭的名字底下。Part...
Day 18 的結尾留下一個問題：主檔 A 已錄到的 device 1–7，NCCL 與其他 GPU kernel 的 overlap 落在 33.8–39.3...
Day 19 把 NCCL overlap 拆開後，還有一個問題沒回答：同一筆 collective 裡，各個 rank 是一起到，還是有人先到、有人晚到？ 可...
