BERT Pre-Training of Image Transformers

BERT는 구글 연구원이 2018년에 도입한 마스킹된 언어 모델 제품군이다. 2020년 문헌 조사에서는 "1년이 조금 넘는 기간 동안 BERT는 모델을 분석하고 개선하는 150개 이상의 연구 간행물을 포함하는 자연어 처리 실험의 유비쿼터스 기준선이 되었다."라고 결론지었다.

Documentation

[2106.08254] BEiT: BERT Pre-Training of Image Transformers

https://arxiv.org/abs/2106.08254

See also

• ModernBERT - BERT를 대체할 모델

Favorite site

• BERT (language model) - Wikipedia
• (논문리뷰)BEIT : Pre-Training of Image Transformer
• (논문리뷰) BEiT: BERT Pre-Training of Image Transformers - 전생했더니 인공지능이었던 건에 대하여