Skip to content

Nano-llama31

nanoGPT 스타일의 Llama 3.1 버전

Features

  • Andrej karpathy가 구현한 nanoGPT 스타일의 Llama 3.1 버전
  • 의존성이 없는 최소한의 Llama 3.1 아키텍처 구현체로 매우 간단하게 훈련, 미세 조정 및 추론 가능
    • Meta, HuggingFace 구현체보다 의존성이 적고 코드가 작음
  • 현재 Llama 3.1의 8B 기본 모델에 중점을 둠
  • WIP: 아직 개발중이며 완성된 것은 아님

See also

Favorite site