Natural language processing
자연 언어 처리(自然言語處理) 또는 자연어 처리(自然語處理)는 인간이 발화하는 언어 현상을 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만드는 자연 언어 이해 혹은 그러한 형태를 다시 인간이 이해할 수 있는 언어로 표현하는 제반 기술을 의미한다.
컴퓨터가 이해할 수 있는 형태로 표현하고자 한다는 점에서 인공지능과 대단히 밀접한 관련이 있으며, 전산언어학과 거의 구별없이 비슷한 의미로 사용된다.
Category
- Word Embedding (word2vec)
- Stanford CoreNLP
- Stanza (Python)
- Prodigy
- WinkNLP - 개발자 친화적 자연언어처리(NLP) JavaScript 라이브러리
- 기계 번역 (Machine translation)
- Transformer
Python Libraries
- 자연어 처리를 위한 최고의 Python 라이브러리 10개(2024) - Unite.AI
- NLTK - https://www.nltk.org/
- spaCy - https://spacy.io/
- Gensim - https://radimrehurek.com/gensim/
- CoreNLP - https://stanfordnlp.github.io/CoreNLP/
- Pattern - https://github.com/clips/pattern
- TextBlob - https://textblob.readthedocs.io/en/dev/
- PyNLPl - https://pynlpl.readthedocs.io/en/latest/
- scikit-learn
- polyglot
- PyTorch
형태소 분석
- Kiwi - 지능형 한국어 형태소 분석기 (Korean Intelligent Word Identifier)
- KoNLPy (코엔엘파이) - 한국어 정보처리를 위한 파이썬 패키지이다.
Papers
- Google’s Zero-Label Language Learning Achieves Results Competitive With Supervised Learning (Towards Zero-Label Language Learning) - 라벨 없는 훈련.
See also
Favorite site
- Wikipedia (en) Natural language processing
- Deep Learning for Chatbots, Part 1 – Introduction
- Deep Learning for Chatbots, Part 2 – Implementing a Retrieval-Based Model in Tensorflow
- 한국어 형태소 분석기 성능 비교
- 한국어와 NLTK, Gensim의 만남 - PyCon Korea 2015
- [추천] 한국어 언어모델 (Korean Pre-trained Language Models) 톺아보기 (2)