Natural language processing

자연 언어 처리(自然言語處理) 또는 자연어 처리(自然語處理)는 인간이 발화하는 언어 현상을 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만드는 자연 언어 이해 혹은 그러한 형태를 다시 인간이 이해할 수 있는 언어로 표현하는 제반 기술을 의미한다.

컴퓨터가 이해할 수 있는 형태로 표현하고자 한다는 점에서 인공지능과 대단히 밀접한 관련이 있으며, 전산언어학과 거의 구별없이 비슷한 의미로 사용된다.

Category

• Word Embedding (word2vec)
• Stanford CoreNLP
• Stanza (Python)
• Prodigy
• WinkNLP - 개발자 친화적 자연언어처리(NLP) JavaScript 라이브러리
• 기계 번역 (Machine translation)
• Transformer

Python Libraries

• 자연어 처리를 위한 최고의 Python 라이브러리 10개(2024) - Unite.AI
• NLTK - https://www.nltk.org/
• spaCy - https://spacy.io/
• Gensim - https://radimrehurek.com/gensim/
• CoreNLP - https://stanfordnlp.github.io/CoreNLP/
• Pattern - https://github.com/clips/pattern
• TextBlob - https://textblob.readthedocs.io/en/dev/
• PyNLPl - https://pynlpl.readthedocs.io/en/latest/
• scikit-learn
• polyglot
• PyTorch

형태소 분석

• Kiwi - 지능형 한국어 형태소 분석기 (Korean Intelligent Word Identifier)
• KoNLPy (코엔엘파이) - 한국어 정보처리를 위한 파이썬 패키지이다.

Papers

• Google’s Zero-Label Language Learning Achieves Results Competitive With Supervised Learning (Towards Zero-Label Language Learning) - 라벨 없는 훈련.

See also

• Machine learning
• ChatterBot
• ChatterBot engine (library)
• 맞춤법 검사기 (Spell checker)

Favorite site

• Wikipedia (en) Natural language processing
• Deep Learning for Chatbots, Part 1 – Introduction
• Deep Learning for Chatbots, Part 2 – Implementing a Retrieval-Based Model in Tensorflow
• 한국어 형태소 분석기 성능 비교
• 한국어와 NLTK, Gensim의 만남 - PyCon Korea 2015
• [추천] 한국어 언어모델 (Korean Pre-trained Language Models) 톺아보기 (2)

Tutorials

• [추천] 딥 러닝을 이용한 자연어 처리 입문 - WikiDocs