600刀GPT-3.5平替！斯坦福70亿参数「羊驼」爆火

https://crfm.stanford.edu/alpaca/

斯坦福发布了一个由LLaMA 7B微调的模型Alpaca，训练3小时，性能比肩GPT-3.5。

Alpaca: A Strong Open-Source Instruction-Following Model

作者：Rohan Taori and Ishaan Gulrajaniand Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto

Alpaca是由Meta的LLaMA 7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。关键是训练成本奇低，不到600美元。在8个80GB A100上训练了3个小时，不到100美元；生成数据使用OpenAI的API，500美元。

OpenAI最大的创新之一就是将指令调优用在了GPT-3上。斯坦福使用了现有的大语言模型，来自动生成遵循指令演示。

官网地址：https://crfm.stanford.edu/2023/03/13/alpaca.html

模型入口：https://crfm.stanford.edu/alpaca

github地址：https://github.com/tatsu-lab/stanford_alpaca

更多内容可参考：

https://simonwillison.net/2023/Mar/13/alpaca