前情提要
昨天已經把 RoPE 觀念介紹完了,會發現數學公式比絕對位置編碼複雜一點,但直接應用在 Q 跟 K 而不是與詞量相加,這樣子更有效率。
參考文章:
h...
前情提要
前幾天已經把 MoE 觀念以及實作介紹完了,剩下最後一塊拼圖也就是 RoPE。
參考文章 & 圖片來源:
https://www.cnblog...
昨天我們讓 Random Forest 登場,模型表現相當不錯,在驗證集上的 AUC 分數也優於 Logistic Regression 。
不過,我們還沒有將...
雖然之前看到部份的資料分析職位只需要對 excel 很熟悉即可,但我覺得對於資料庫拉取資料的這個層面 SQL 是蠻必要的 ~
我比較常使用的做法是在 jupyt...
過去幾天,我們學會了收集、分析和查詢資料。
我們打造的系統,已經能大幅提升團隊的資訊透明度。但它還缺少一個重要的特性:自我修正。
今天,我們要打通不同工具之間的...
在這個被 AI 技術迅速推進的時代,我們每天都能感受到各種可能性被打開。人類的思考與創造力透過工具被放大,許多過去需要花上大量心力的事情,如今只要一個指令或一個...