Day 27 - Chinese LLama2 (4) llama.cpp - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

2023 iThome 鐵人賽

DAY 27

AI & Data

Day 27 - Chinese LLama2 (4) llama.cpp

15th鐵人賽

571 瀏覽

嘗試使用llama.cpp來跑Alpaca2，目前還沒跑起來

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

我想要跑在有CUDA的環境，但可能安裝上少設定了什麼，目前make還沒有過，不過先把指令貼上來：

make LLAMA_CUBLAS=1
mkdir build
cd build
cmake .. -DLLAMA_CUBLAS=ON
cmake --build . --config Release

編譯完以後應該還要下載權重，我之後的目標是要試用看看4/6/8 bits Quantization後的準確度，大概會掉多少，是否能符合我的應用需要

系列文

用單張顯卡探索大型語言模型的奧秘共 30 篇

7 人訂閱

完整目錄

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

立即登入留言