NanoGPT

중간규모 GPT를 가장 빠르게 훈련/미세조정하기 위한 오픈소스

Features

• Tesla의 AI 헤드였던 Andrej Karpathy가 minGPT를 재작성한 코드
• 읽기 쉽고 평범한 코드를 작성하는 것을 목표
  • 300줄 가량의 train.py
  • 300줄 가량의 model.py
• OpenWebText 데이터 세트에서 GPT-2를 재현하는 작업중

See also

• GPT
• nano-llama31 - nanoGPT 스타일의 Llama 3.1 버전

Favorite site

• Github - nanoGPT