Alpaca
Alpaca: A Strong Open-Source Instruction-Following Model
GPT-3.5 수준의 강력한 오픈소스 Instruction-Following 모델
Features
- 스탠포드 CRFM에서 메타의 LLaMA 7B를 52K Instruction-Following 데이터를 통해서 파인튜닝
- OpenAI의 GPT-3.5(text-davinci-003)와 비슷하게 동작하지만, 매우 작고 저렴
- 훈련 레시피와 데이터를 공개하며, 차후에는 모델 가중치도 릴리즈 예정
- 연구목적으로만 공개하며, 상업적 이용은 금지
- 파인튜닝하는데 8개의 80GB A100에서 3시간 걸렸으며, 클라우드에서 약 100달러 미만으로 가능
See also
- GPT
- KoAlpaca - 한국어 Alpaca 모델
- Alpaca.cpp - ChatGPT 같은 모델을 개인 노트북에서 실행하기
- Alpaca-LoRA - Low-Rank LLaMA Instruct-Tuning
- Code Alpaca - 코드 생성 명령으로 훈련된 LLaMA
- LLaMA
- RedPajama - LLaMA 데이터셋을 재작성하는 오픈소스 프로젝트