Chatbot.

Presentation on theme: "Chatbot."— Presentation transcript:

1 chatbot

2 index 챗봇이란 챗봇 분류 규칙기반 챗봇 기계학습 기반 챗봇 기계학습 방법론 자연어 이해/ 자연어 생성 추론 한국어 의미역

3 chatbot 사람과 의사소통을 수행하는 프로그램의 일종

4 챗 봇 분류 종류 규칙 집합 기반 챗봇 인공지능 챗봇 동작 방식 규칙 기반 기계학습 기반 구분 정보 교환 방식
1회성 질의 응답 연속 대화형 지능 획득 방법 지도 학습 질의 응답 시스템 말동무(파로, 안젤라) 자율 학습 (강화학습 기반) 지능형 검색(네이버,구글) 개인비서(시리)

5 지능 획득 방법별 분류 지능획득방법 지도학습 자율학습 (강화학습 기반) 내용 정형화된 구조로 지식을 만들어 컴퓨터에 입력
대규모의 자료로부터 스스로 공통 성질을 추출 모델/가정 인간의 사고는 기호의 조작이며 컴퓨터도 동일한 방식으로 지식을 저장, 표현(기호주의) 인간의 지식은 수 많은 뉴런들의 연결구조와 연결강도로 표현된다. (연결주의) 대표방법론 규칙기반 인공지능(Rule-bas AI) 인공 신경망(Artificial Neural Network) 장점 신뢰성, 의사결정의 과정을 설명가능 스스로 학습 가능 넓은 범위에 적용 가능 단점 규칙을 작성한 사람의 능력에 의존한 분야에 유용한 지능이라도 다른 분야에는 적용되기 어려움 확률, 통계, 벡터 등의 수학 뿐만 아니라 컴퓨터 프로그램에 대한 전문지식 필요 매우 방대한 데이터 필요 적합한 분야 순차적이며 절차적인 분야 신뢰성이 중요한 분야 기호로 표현하기 어려운 분야 (사진인식, 음성인식 등) 학습과정을 사람이 이해할 필요 없는 분야 장벽 표현할 전문지식이 있는가? 자율학습 알고리듬을 개발할 수 있는가? 양질의 대규모 데이터가 있는가?

6 분류 방법 별 알고리즘 구분 정보 교환 방식 1회성 질의 응답 연속 대화형 지능 획득 방법 지도 학습
질의어 분석 : 키워드 추출 대화분석 : 패턴 매칭 질의어 인식 : 키워드 추출 대화분석 : 패턴 매칭, 문맥 인식 자율 학습 질의어 분석 : 키워드 추출, 의미분석 대화분석 : 통계, 기계학습 기반 매칭 질의어 인식 : 키워드 추출, 의미분석 대화분석 : 기계학습 기반 매칭,문맥인식 공통 사항 : 데이터 범주화 및 지식화, 추론 자율 학습 : 강화학습 사용 지도 학습 : 질의에 대한 응답으로 이루어진 데이타가 필요

7 규칙기반 챗봇 규칙 장점 단점 자연어 해석 규칙 자연어 생성 규칙 반응 규칙 규칙을 기반으로 동작 구현이 쉬움
규칙이 잘 정의되면, 높은 품질의 대화 서비스 가능 단점 규칙을 잘 정의 및 작성 하기가 어려움(시간, 노동 집약적)

8 규칙 기반 챗봇 자연어 해석 규칙 대화관리 사용자 입력 Parsing 반응 규칙 나는 집에 간다 나는 당구장에 간다
나는 학교에 간다 GO HOME GO BILLARD GO SCHOOL 문맥인식 추론 입력 반응 GO PLACE ASK HOW TO GO PLACE WANT SOMETHING ASK WHY Reply 집에 어떻게 가? 당구장에 어떻게 가? 학교에 어떻게 가? ASK HOW TO GO HOME ASK HOW TO GO BILLARD ASK HOW TO GO SCHOOL 지식베이스 자연어 생성 규칙

9 Parsing 사용자가 입력한 문장을 규칙을 기반으로 해석 사용자 입력 사용자 입력 해석 나는 집에 간다 나는 당구장에 간다
나는 학교에 간다 GO HOME_PLACE GO BILLARD_PLACE GO SCHOOL_PLACE 패턴 행위표지 나는 PLACE 간다 GO 나는 SOMETHING 하고 싶다 WANT 상위 개념 개체명 표층형 PLACE HOME 집 BILLIARD 당구장 SCHOOL 학교 해석 규칙 개체명 네트워크

10 대화관리 규칙을 기반으로 답변의 규칙을 작성 경우에 따라서 지식베이스를 이용하여 반응을 생성 하기도 함 대화관리 사용자 입력
사용자 입력 해석 반응 규칙 나는 집에 간다 나는 당구장에 간다 나는 학교에 간다 GO HOME GO BILLARD GO SCHOOL 문맥인식 추론 입력 반응 GO PLACE ASK HOW TO GO PLACE WANT SOMETHING ASK WHY 사용자 반응 규칙 ASK HOW TO GO HOME ASK HOW TO GO BILLARD ASK HOW TO GO SCHOOL 지식베이스

11 Reply 규칙을 기반으로 답변 규칙에서 자연어를 작성 집에 어떻게 가? 당구장에 어떻게 가? 학교에 어떻게 가?
ASK HOW TO GO HOME ASK HOW TO GO BILLARD ASK HOW TO GO SCHOOL 패턴 자연어 ASK HOW TO GO PLACE PLACE에 어떻게 가? ASK WHY WANT SOMETHING 왜 SOMETHING을/를 원해? 상위 개념 개체명 표층형 PLACE HOME 집 BILLIARD 당구장 SCHOOL 학교 해석 규칙 개체명 네트워크

12 규칙기반 챗봇 시나리오 예제 시나리오 일정한 입력에 대해서 어떤식으로 반응할지 전체적인 아웃 라인을 잡음.

13 기계학습 기반 챗봇 기계학습 장점 단점 자연어 이해 자연어 생성 대화 관리
자연어 처리 기반으로 구현, 높은 수준의 대화가 가능. 단점 자연어 이해/생성 및 대화 관리 모듈은 구현상의 어려움 자연어 관련 기계학습 모듈은 많은 기반 지식 및 툴을 필요 말뭉치, 형태소 사전, 구문분석 트리 사전, 의미역 사전 적용 되는 분야에 따라서 기존의 결과 재활용이 힘든 경우도 있음

14 기계학습 기반 챗봇 대화 관리 규칙 기반 기계학습 기반 사용자의 의도를 입력 받아 정해진 규칙을 바탕으로 반응
Rule Base 기계학습 기반 사용자의 의도를 입력 받아 기계학습을 통해 반응을 수행 Machine Learning Base

15 기계학습 기반 챗봇 Parsing 사용자 입력 사용자 입력 해석 대화관리 나는 집에 간다 나는 당구장에 간다 나는 학교에 간다
GO HOME GO BILLARD GO SCHOOL 기계 학습 기반 사용자 반응 규칙 지식베이스 집에 어떻게 가? 당구장에 어떻게 가? 학교에 어떻게 가? ASK HOW TO GO HOME ASK HOW TO GO BILLARD ASK HOW TO GO SCHOOL 규칙 기반 문맥인식 추론 입력 반응 GO PLACE ASK HOW TO GO PLACE WANT SOMETHING ASK WHY 자연어 생성

16 Parsing 사용자가 입력한 문장을 기계학습(자연어처리) 기반으로 해석 구문분석 의도분석 사용자 입력 사용자 의도 해석
나는 집에 간다 나는 당구장에 간다 나는 학교에 간다 GO HOME_PLACE GO BILLARD_PLACE GO SCHOOL_PLACE 의미역 사전 의도 분석 개체명 인식/ 구문 분석 개채명 사전, 구문사전 개체명 인식/ 구문 분석 형태소 분석 형태소 사전 형태소 분석 구문 분석 의도 분석

17 대화관리 대화관리 룰 기반 기계학습기반(강화학습 기반, POMDP) 대화관리 기계 학습 기반 사용자 입력 사용자 의도 해석
나는 집에 간다 나는 당구장에 간다 나는 학교에 간다 GO HOME GO BILLARD GO SCHOOL 지식베이스 사용자 의도에 대한 반응 규칙 기반 문맥인식 추론 ASK HOW TO GO HOME ASK HOW TO GO BILLARD ASK HOW TO GO SCHOOL 입력 반응 GO PLACE ASK HOW TO GO PLACE WANT SOMETHING ASK WHY

18 Reply 대화관리 모듈의 결과(의도)를 자연어로 생성 집에 어떻게 가? 당구장에 어떻게 가? 학교에 어떻게 가?
ASK HOW TO GO HOME ASK HOW TO GO BILLARD ASK HOW TO GO SCHOOL 문장 생성 문법 사전 지식베이스 언어 모델링 언어모델링 사전

19 End-To-End Dialog System
기계학습 챗봇의 변형 중 하나 반응을 처리 하는 부분이 생략 종단간의 데이터를 통해 학습 가능. Non-goal Driven System Base on generative probabilistic Models 지식 및 추론 과정이 없음 추론을 필요하는 응용분야는 부적합

20 기계학습 방법론 자연어 이해 / 자연어 생성 추론 자연어이해 자연어생성 자연어 Analysis 자연어 질의어 추론 결론
knowledge

21 자연어 이해

22 자연어 이해

23 의미역 문장에서 필수 보어는 술어와 통사적 관계를 맺을 뿐만 아니라 특정한 의미적 관계를 맺게 되는데 이것을 보어의 의미역이라 고 부른다. 남승호, “한국어 술어의 사건 구조와 논항 구조”, 서울:서울대학 교출판부, 2008.

24 의미역의 종류 한국어 서술어와 논항들 사이의 의미역 명칭 설명 행동주 행위의 주체 경험주 어떤 행위나 상태를 인식하는 개체
피동주 피동문에서 나타나는 주어, 사건의 영향을 받음 동반주 행위주나 대상을 보조하여 그것과 같은 역할을 하는 개체 대상 서술어의 행위에 의해 옮겨지거나 묘사의 행위나 과정에 영향을 받음 기점 동사가 이동이나 변화의 의미를 포함하고 있을 때, 그 시작지점을 나타냄 착점 동사가 표상하는 사건이 물리적 이동을 포함하고 있을 경우 그 끝점을 추상적인 행위나 태도의 의미를 포함하고 있을 경우 그 지향점을 나타냄 처소 어떤 일이 일어나는 장소나 사물의 위치 자극 전형적인 심리술어는 자극과 경험주 논항을 취한다. 심리술어는 미정인 상태, 분류자의 직관에 따름 원인 동사가 나타내는 사건을 비의도적으로 유발하는 개체 비교기준 평가의 의미를 가진 술어의 경우, 평가되는 대상에 상대하여 평가의 기준이 되는 개체에 기준의 의미역을 부여, 판단의 의미를 가진 술어 중 판단하는 대상을 비교하는 개체에 비교의 의미역을 부여 시간 시간이나 기간, 날짜 들의 단위를 나타내는 명사에 줂는 개체에 부여 정도 구체적인 수량, 가격 따위의 차이를 보여주는 개체에 부여하는 의미역 방법 행위나 이동의 의미를 표현하는 동사의 경우, 방편을 나타내는 개체에 부여 자격 술어가 인물의 자격 또는 물질의 성질이나 용도의 변호를 기본 의미로 포함하고 있는 경우, 명사구가 인물의 자격이나 사물의 자격을 나타내는 개체 재료 물건을 만드는 데 들어가거나 어떤 일을 하기 위한 거리라는 의미 도구 어떤 일을 할 때 쓰는 도구나 어떤 목적을 이루기 위한 수단인 개체에 부여 경로 장소표현으로 이루어진 논항이 이동의 행위가 거쳐가는 중간 경로를 타나내는 개체 방향 ‘로’ 끝나는 명사구에 나타남. 도착점 이라고 하기는 끝점이 불분명한 개체에 부여 수혜자 서술어의 혜택을 받는 개체, 수여동사 내용 목적 이동동사의 경우, 이동의 목적을 나타내는 의미역 한국어 서술어와 논항들 사이의 의미역

25 의미역 논항 구조 쓰다 명사0 이 명사2 에 명사1 을 명사3 로/으로 V(쓰다 변형) 명사0 이 명사2 에 명사1 을/를 V(쓰다 변형)

26 reference 한국어 문법 및 의미역 한국어 이동 동사의 의미구조와 논항교체 한국어 서술어와 논항들 사이의 의미역 한국어 용언 사전 기술을 위한 의미역 기본 문제들 도메인 적응 기술을 이용한 한국어 의미역 인식

27 추론 이미 알고 있는 것으로부터 논리적 결론을 도출 하는 행 위 알고 있는것 : 지식 논리적 결론 : 논리적 정합성
이미 알고 있는 것으로부터 논리적 결론을 도출 하는 행 위 알고 있는것 : 지식 논리적 결론 : 논리적 정합성 기존의 지식을 바탕으로 논리 적 정합성을 바탕으로 새로운 지식을 도출하는 것.

28 텍스트 추론 텍스트를 대상으로 수행되는 추론 유사도 기반 추론 방법론 명칭 설명 어휘적 정렬
두 텍스트 내에 존재하는 서로 같거나 유사한 단어들을 일치 시키는 방법 유사도는 단어의 일치 정도를 나타냄. 구문적 정렬 두 텍스트 내에서의 어휘적 정렬 관계와 문법관계를 하나로 결합한 의존 관계 트리플 형태의 요소 단위로 정렬을 수행, 유사도를 측정. 술어-논항 구조 정렬 구문 정렬 결과인 의존 관계 트리플에 술어-논항 정보구조를 작성하고 이를 통한 유사도를 측정. 의존그래프 동형성 판정 노드는 단어로 표현하고, 연결선은 문법적 관계를 표현하는 의존 그래프를 작성하고 이 의존 그래프의 유사도 측정.

29 reference 텍스트 추론(Textual Inference) 연구 동향 분석 Textual Inference
054.pdf Textual Inference Textual Inference with Tree-structured LSTMs