자연언어 처리 2002-1 인지과학 입문
I. 자연언어 처리 개관 1. 자연 언어란? 사람이 일상생활에서 의사소통을 하기 위해 사용하는 언어. Ex. 한국어, 영어, 중국어… 인공 언어 (컴퓨터 언어)와 상대적인 개념
2. 자연 언어 처리 : 자연 언어 이해와 생성을 가능하도록 연구하는 분야. 자연 언어 이해: 컴퓨터가 입력으로 들어오는 자연 언어를 이해할 수 있도록 하는 것. 자연 언어 생성: 컴퓨터가 자연 언어로써 출력을 내놓도록 하는 것.
자연 언어 처리 Flow의 예
3. 응용 분야 기계 번역 자동 통역 Human-Machine(Computer) Interface 텍스트 이해 질의/응답 시스템 텍스트 요약 웹 문서 검색
II. 자연 언어 이해 형태소 분석 단계: (1) 단어를 받아서 이를 구성하는 형태소의 리스트를 알아냄. (2) 각 형태소의 의미를 조합하여 단어의 의미 및 품사, 문법적 특성을 결정해 줌.: 어휘 분석
2) 예: unfriendly (un-friend-ly) category: adverb meaning: friend negative: yes 3) 한국어의 형태소 분석 (1) 입력: space로 구분된 어절의 리스트
(2) 형태소 분석의 어려움 a. 중의성: ex. 나는 나(N, I) + 는(p) 날(V, fly) + 는(e) 나(V, sprout) + 는(e) b. 용언의 불규칙 변화 나으시며: 낫 + 으시 + 며 도운: 돕 + 으 + ㄴ
2. 구문 분석 구문 분석이란? : 주어진 문장으로부터 이 문장의 생성에 적용된 규칙 및 그 순서 (즉, 문장의 구조)를 알아내는 작업. Parsing이라 함. 2) 구문 분석을 하는 이유 : 문장의 의미를 파악하는 데 도움이 되기 때문. 합성성의 원리- 상위 구문의 의미는 그것을 이루는 하위 구문 요소들의 의미로부터 구할 수 있다.
3. 의미 분석 의미 분석이란? : 입력 문장이 나타내는 의미를 파악하는 것. 2) 입력과 출력 (1) 입력 – 구문 분석 결과 (2) 출력 – 의미를 나타내는 표현. 프레임 기반 표현, 의미망, 1차 논리식.
3) 단어 의미 선택 (word sense selection) (1) 단어들에 대한 개념을 (하나로) 결정함. (2) 선택 제약 (selectional restriction)의 활용. Ex.The man married the star.
4. 화용 분석 : 의미 분석 결과에 문맥 정보나 일반 세상 지식을 적용하여 문장의 의미를 분석하는 것. 지칭 문제 일관성(맥락) 추론 스크립트 지식의 이용 계획/목적 기반 분석 담화 구조 분석
III. 자연언어의 특성 자연언어 처리가 어려운 이유 중의성(ambiguity) 어휘 분석 단계: 나는 새를 2) 구조적 중의성: (1) 지역적(local~) 영수가 영희를 때리는 (것/사람) (2) 전체적(golbal~) 철수가 영희와 민수를 때렸다. 철수가 어제 민수가 죽었다고 말했다.
2. 생략 현상 3) 의미 해석 단계 중의성 : 단어 의미의 중의성 ex. 철수는 가슴과 배를 씻고 ~ 철수는 과수원에서 돌아와 배를 씻고 ~ 2. 생략 현상 어제 합격자 발표가 있었다. 철수는 소식을 듣고 뛸듯이 기뻐했다.
3. 비문 현상 (ill-formedness) 그, 왜 있잖아.