今天的內容因為節日的關係有點少
參考影片:
我參照這個流程跑出來的狀況有點神奇，我猜只有大概最大容量的那個模型才能算正常運作，我在本地上使用1070這樣的上上上個年代的GPU基本帶不動，我從最小容量的開始嘗試，運作就有點詭異
不過 Hugging face 上面的 Demo 就運作的不錯，也可以讓 Demo 輸出程式片段，感覺沒好GPU就真的只能租雲端就是了。
Hugging face Demo：https://huggingface.co/spaces/yentinglin/Taiwan-LLaMa2
iThome鐵人賽
看影片追技術