Skip to content

Llama-tokenizer-js

JS tokenizer for LLaMA based LLMs

브라우저에서 실행되는 LLaMA 토크나이저

Features

  • 클라이언트 사이드에서 토큰을 정확하게 계산하기 위해 사용 가능
  • 의존성 전혀없는 하나의 파일로 쉽게 사용 가능
  • 대부분의 LLaMA 기반 모델과 호환
  • 약 2천개의 토큰을 20ms 안에 토큰화 가능

See also

Favorite site