1. 개요 - (1) 자연어 처리란?

전통적인 프로그래밍 언어가 인간이 기계 언어로 컴퓨터를 이해시키는 것이었다면,

자연어 처리는 기계가 인간의 언어를 이해하여 소통하는 것이다, 즉 인간의 언어로 명령을 내리면 기계가 자연어 처리를 통해 인간 언어를 이해하여 처리할 수 있다.

 

* 전통적인 프로그래밍 언어

* 자연어 처리

 

이러한 자연어 처리는 온라인 매체 발달에 따라 비정형 데이터 (ex. 텍스트 파일, 소셜 미디어 등) 가 급증한 것에 중요도가 높아졌으며

정보 검색, 문서 자동 분류, 신문 기사 클러스터링 등 다양한 곳에서 응용 되고 있다.

 

 

하지만, 한국어 언어는 언어적 특성 때문에 자연어 처리에 있어 어려움이 따르는데, 크게 5가지 이유가 있다.

1. 구어와 문어와의 차이

2. 띄어쓰기

3. 높임말

4, 동음이의어지만 운율적 요소에 따른 의미 변화 ( ex. 처음 만날 때 안녕!  / 헤어질 때 안녕~ )

5. 주어, 서술어, 목적어 등의 빈번한 생략

 

따라서, 해당 부분에 유의하여 자연어 처리를 진행해야 한다.

 

 

 

 

출처

GitHub - insightcampus/sesac-nlp: 실무형 인공지능 자연어처리