Skip to content

KoAlpaca

한국어 Alpaca 모델

Features

  • 스탠포드의 Alpaca 모델 학습방식과 동일한 방식으로 학습
  • 백본모델로 Polyglot-ko 5.8B 와 LLaMA 7B 를 이용
    • LLaMA는 한국어 데이터셋 학습이 부족해서 한국어 성능이 낮음, 한국어 모델을 추가로 학습
  • LLaMA의 52k 명령어 데이터 셋은 DeepL API로 번역

See also

Favorite site