上船跑模型之一键运行 Alpaca.cpp:笔记本上就能跑的 LLaMA!

Clone 项目到本地

mikecaptain@CVN % git clone https://github.com/antimatter15/alpaca.cpp
mikecaptain@CVN % cd alpaca.cpp

下载训练好的模型权重:

mikecaptain@CVN % wget -O ggml-alpaca-7b-q4.bin -c https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC

编译、运行

mikecaptain@CVN % make chat
mikecaptain@CVN % ./chat