Open-LLaMa

LLM 작성용 완전한 트레이닝 파이프라인

Features

데이터셋 생성부터 토큰화, 프롬프트 튜닝, LoRA 및 RLHF 까지 전체 파이프라인을 구성한 오픈소스
사전학습된 Open-LLama-V2-pretrain 모델도 Hugging Face에 공개
FastChat 평가방법에 의하면 GPT-3.5와 비교시 약 89%의 성능을 낸다고(중국어로된 질문에 대해)
학습 스피드는 3620 토큰/s 로 오리지널 LLama의 3370 보다 조금 더 빠름(7B 모델)
500B 토큰으로 학습한다면 38300 GPU 시간이 필요
- 구글 클라우드에서 8개의 A100-80G Spot GPU를 한시간 사용시 12.6 달러
- 전체 비용은 60300 달러