今天來介紹embedding:
embedding是把文字轉換成一個向量的過程,這樣電腦就可以用數學方式理解它
向量:
它可以是一個維度為 n 的數字陣列例如:...
在前面的章節已有分別介紹YOLO和PaddleOCR如何將辨識結果轉換為定位資料,今天我們再次來回顧與整理,這兩種AI所生成的結果在BIM資料流中的角色。...
今天來說明另一個模型:LLaMALLaMA 是什麼?LLaMA(Large Language Model Meta AI)是Meta(Facebook的母公司)...
前情提要
在去年寫了"菜鳥AI工程師給碩班學弟妹的挑戰" 這一系列的文章,在當中介紹了 pytorch lightning 框架及實作,放到...
同步至 medium ~
記憶中應該是從 2022 底時 ChatGPT 第一個版本問世,那時後我的第一印象是 ~ 是不是又是一個新的 buzzword 又出...
第二十五天: MoE 實作 Auxiliary-Loss
前情提要
昨天基本上已經把 inference 的 MoE 完成了,但還沒有談到如何平衡負載
參考文...