iT邦幫忙

2024 iThome 鐵人賽

DAY 0
0

今天會接續昨天處理完的json檔案,從google colab裡匯入,並將微調模型從雲端上下載下來。

首先,進入Unsloth的Git網頁(連結)

這次是使用Llama3.1模型做微調,先找到微調模型的連結,點擊進入Google Colab畫面
https://ithelp.ithome.com.tw/upload/images/20241012/20168005ybOfvbRCAK.png

接著要將json檔匯入新增的資料夾中,這裡一步一步做解說

從左側工具欄卷則檔案圖示
https://ithelp.ithome.com.tw/upload/images/20241012/20168005vv6yBGw1D0.png

進入檔案畫面,對檔案圖示右鍵新增一個資料夾,取名可以隨意
https://ithelp.ithome.com.tw/upload/images/20241012/20168005yhCOqmEED2.png

上傳json檔,並且將檔案移至新增的資料夾裡
https://ithelp.ithome.com.tw/upload/images/20241012/20168005fIp3VA0Ako.png
https://ithelp.ithome.com.tw/upload/images/20241012/201680056PHCpNlQdX.png

這裡資料夾取名為Data,複製資料夾的路徑位址,可從三個點點的地方進入做複製
https://ithelp.ithome.com.tw/upload/images/20241012/20168005dyzybTGh50.png

接著回到程式碼中,尋找Prep的地方
https://ithelp.ithome.com.tw/upload/images/20241012/20168005XBw0lKjZs0.png

將原有的路徑位址改成新增資料夾的位址,如圖:
Before
https://ithelp.ithome.com.tw/upload/images/20241012/20168005sKpCQEg1D2.png

After
https://ithelp.ithome.com.tw/upload/images/20241012/20168005segcTXnho3.png

下一步是尋找GGUF的區塊,這個程式碼是用來設置如何儲存微調好的語言模型,將倒數第二個False改成True,這是為了要將我們的檔案儲存到雲端上。
https://ithelp.ithome.com.tw/upload/images/20241012/20168005MShuzBFVco.png

Before
https://ithelp.ithome.com.tw/upload/images/20241012/20168005joGHC1Krql.png

After
https://ithelp.ithome.com.tw/upload/images/20241012/20168005t693pRRsjZ.png

最後,新增兩段程式碼,由於直接從Colab上下載微調完成的語言模型速度會比較慢,因此我們要設定將檔案直接存到雲端上面做下載

https://ithelp.ithome.com.tw/upload/images/20241012/20168005sIY3NaOnvf.png

轉寫完成後,即可進行執行,選擇【全部執行】
https://ithelp.ithome.com.tw/upload/images/20241013/20168005s5fL3ZuX2o.png
執行時間大約20~30分鐘,執行完畢便可到設定的雲端位址查看有沒有gguf檔案上傳上去了。


上一篇
Day17 透過Unsloth進行模型微調__利用ChatGPT進行數據預處理
下一篇
Day19 透過Unsloth進行模型微調__使用模型
系列文
除了ChatGPT,你了解生成式AI的其他應用嗎?30天從零到精通的學習與實作30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言