Skip to content

Alpaca

Alpaca: A Strong Open-Source Instruction-Following Model

GPT-3.5 수준의 강력한 오픈소스 Instruction-Following 모델

Features

  • 스탠포드 CRFM에서 메타의 LLaMA 7B를 52K Instruction-Following 데이터를 통해서 파인튜닝
  • OpenAI의 GPT-3.5(text-davinci-003)와 비슷하게 동작하지만, 매우 작고 저렴
  • 훈련 레시피와 데이터를 공개하며, 차후에는 모델 가중치도 릴리즈 예정
  • 연구목적으로만 공개하며, 상업적 이용은 금지
  • 파인튜닝하는데 8개의 80GB A100에서 3시간 걸렸으며, 클라우드에서 약 100달러 미만으로 가능

See also

Favorite site