Databricks

ChatGPT와 비슷한 Dolly 2.0 오픈소스로 공개

Features

세계 최초의 진정한 개방형 Instruction-Tuned LLM
전체 훈련 코드, 데이터 셋, 모델 가중치를 모두 공개. 즉 개인/회사 누구든 자신의 강력한 LLM을 생성 및 소유 가능
사람이 생성한 명령어 databricks-dolly-15k 데이터셋으로 파인 튜닝
- 15000개의 프롬프트/답변 페어. 누구나 변경/확장 가능하며 상업용도로도 사용 가능
  - (Alpaca, Koala, GPT4All, Vicuna 등은 모두 상업용 사용 불가)
- 이 데이터는 5천명의 databricks 직원들이 직접 작성한 것
EleutherAI pythia 12B 파라미터 언어 모델 기반