XAI(eXplainable AI) 정리

Presentation on theme: "XAI(eXplainable AI) 정리"— Presentation transcript:

1 XAI(eXplainable AI) 정리
정성훈

2 참고문헌 설명 가능한 인공지능 기술의 소개, 김창익, 전자공학회, 2019
설명가능 인공지능 연구동향, 최재식, 정보과학회, 2019 설명 가능한 인공지능 소개, 금융보안원 보안연구부, 2018 설명 가능한 인공지능의 국내외 연구동향 분석, 염찬욱, 곽근창, 한국정보기술학회 한국디지털콘텐츠학회 공동 학술대회 Explainable Artificial Intelligence(XAI), DARPA

3 개요 딥러닝 설명 가능한 인공지능 얼굴인식, 객체검출, 자연어 처리에서 사람과 유사 내지 뛰어난 성능
자율주행, 자동번역 등 다양한 산업분야에서 응용 응용에 있어서 한계 발생 결과에 대한 불 투명성 즉 왜 그런 출력을 냈는지 이해할 수 없음  신뢰하고 사용하기가 어려움 설명 가능한 인공지능의 대두 인공지능의 내부 결정 과정을 사용자가 이해할 수 있도록 해야함!!! 설명 가능한 인공지능 두가지 접근법 딥러닝과 유사한 성능에 설명 가능한 고전적 기계학습 모델(결정 트리, 베이지안 등) 제시 딥러닝 모델 안에 설명 모듈을 추가하여 구현

4 설명 가능한 인공지능이란? 기존 인공지능 설명 가능한 인공지능 법률적 제한 주어진 데이터를 학습한 후
새로운 데이터에 대하여 분류 및 예측 설명 가능한 인공지능 기존 인공지능 기능에 추가하여 결과에 대한 인과관계를 분석해서 적절한 근거 및 타당성을 찾아 인공지능 모델의 의사결정 결과를 사용자 레벨에서 설명하는 인공지능 필요한 이유 인공지능 의사결정에 대하여 인간이 신뢰할 수 있음 특히 mission critical 한 응용분야에 필수 의료, 국방, 법률, 금융 등 법률적 제한 미국 평등신용기회법에서 신용결정 및 주택담보 대출 등 주요 금융 결정에 대해서 이유를 제시 하도록 강제 EU 2018년 5월 인공지능 알고리즘에 의해 자동으로 결정된 사안에 대해 회사에 설명을 강제하 는 일반정보보호규정 시행

5 설명 가능한 인공지능이란? (계속) 설명 가능한 인공지능에 필요한 특성 설명성(explainability)
인공지능 모델의 결정에 대해 언어 및 시각적 표현을 통해 설명할 수 있음 해석성보다 달성하기 어려움 인공지능 사용자의 주 관점 해석성(interpretability) 인공지능 모델의 내부를 들여다 볼 수 있음 인공지능 개발자의 주 관점 (정상동작 유무 확인을 위해) 인공지능 이론 연구자의 주 관점 설명할 수 없더라도 해석할 수 있는 모델을 제시 투명성(transparency) 인공지능 모델의 결정 과정을 확인할 수 있음 인공지능 법률가 및 정책 의사결정자의 주 관점 정당성(justification) 인공지능 결정이 올바른 것인지를 확인할 수 있음 특히 평범하지 않은 것이나 최적이 아닌 결정에 대하여

6 필요한 이유 결정(판단)과 더불어 이유를 설명할 수 있어야…

7 필요한 이유 (계속)

8 필요한 이유 (계속)

9 인공지능과 사람의 의사결정 차이 데이터의 개수 사람의 의사결정 빠른 학습 빠른 생각
사람은 몇 장의 사진만으로도 개와 고양이를 구분 인공지능은 아주 많은 데이터를 학습해야 구분 사람의 의사결정 발달과정에서 두 가지 직관을 체득 물리적 직관(Intuitive Physics) : 다양한 물리현상을 시뮬레이션 가능 심리적 직관(Intuitive Psychology) : 대상 객체의 목표와 객체들 간의 관계를 파악 빠른 학습 문제를 더 기본적인 문제로 조합(Compositionality)해서 학습 인과관계(Causality)를 통해 추론 이미 배운 것을 새로운 분야에 적용 (Learning to Learn) 빠른 생각 가설을 세우고 이미 알고 있는 지식을 이용해서 빠르게 근사 추론

10 접근 방법 DARPA 접근 방법

11 접근 방법 (계속) 3가지 접근 방법 기존 학습 모델 변형 새로운 학습 모델 개발 학습 모델 간 비교
학습 모델에 역산 과정을 추가하거나 학습 모델을 수정 새로운 학습 모델 개발 원인-결과와 같은 도출 과정이 표현 가능한 학습 모델을 새로 만듦 예) 확률적 AND-OR 그래프 기반 학습 모델 간 비교 설명 가능한 타 모델과 비교하여 최종 결과를 설명 설명 가능 모델의 이유를 설명 불가능 모델에 적용하여 유사한 결과가 나오면 해당 설명을 사용

12 접근 방법 (계속) 모델의 설명성 을 높임

13 접근 방법 (계속) 확률적 AND-OR 그래프 기반

14 접근 방법 (계속) 설명 가능한 모델 구축 심층 설명 학습 해석 가능한 모델 모델 귀납
딥러닝으로 심층 신경망이 설명 가능한 특징들을 학습하도록 즉 은닉층의 노드가 의미 있는 속성을 나타내도록 학습 결과에 대한 활성화된 은닉 노드를 통해 판단 근거를 확인 판단 근거에 대하여 RNN 자연어 생성 모델로 언어로 표현하거나 근거를 시각적으로 제공 해석 가능한 모델 구조화 된 해석 가능한 인과관계 모델을 구축 예) BPL(Bayesian Program Learning) Breden(2015), “Human-level concept learning through probabilistic program induction”, Science 글자를 생성하는 모델을 학습할 때 글자를 획으로 나누어 획의 조합으로 생성하도록 And-Or-Grap Zhangzhang Si(2013), “Learning and-or templates for object recognition and detection”, IEEE PAMI 모델 귀납

15 접근 방법 (계속) 모델 불가지(model-agnostic) 설명법 (모델 귀납)
블랙박스 모델의 의사결정에 대해 근사한 설명을 제공 방법 LIME(Local Interpretable Model-agnostic Explanations) Ribeiro(2016), “Why should I trust you?: Expaining the predictions of any classifier” 설명 가능한 데이터 주변에서 희소 선형 결합을 통해 국부적으로 설명 가능하게 만듦 이미지 분류 모델에서 개를 판단한 근거를 주어진 이미지에서 제시 BRL(Bayesian Rule Lists) Hoffman(2018), “Metrics for Explainable AI: Challenges and Prospects” 고차원 다변수 특징공간을 간단한 해석 가능한 조건문으로 나누어 복잡한 모델을 이 해할 수 있게 함 SHAP(SHapley Additive explanation) Lundberg(2017), “A Unified Approach to Interpreting Model Predictions” 협력게임(coalitional Game) 참여자들의 기여도를 이론적으로 평가하는 shapley 값에 기반하여 입력 특징 별 기여도를 추출해서 근사

16 접근 방법 (계속) 계층적 상관성 전파(LRP: Layer- wise Relevance Progagation)을 통한 입력 시각화 Bach(2015), “On pixel- wise explanations for non-linear classifier decisions by layer-wise relevance propagation” 각 계층의 기여도를 히트맵 형 태로 시각화하여 직관적으로 이 해 이전 계층의 각 노드의 기여도 를 역전파 하여 열지도(heat map)으로 표현 특히, 질병 진단 등에 유용하게 사용

17 접근 방법 (계속)

18 접근 방법 (계속) 자동 통계학자 데이터를 자동으로 분석하여 예측하고 설명하고 사람이 이해할 수 있는 보고서를 제 공하는 것을 목표로 하는 시스템 시계열 데이터 분석은 금융 데이터, 공장 자동화 등의 분야에 필수적 예측과 설명이 중요 베이시안 추론 알고리즘 Lloyd(2014), “Automatic Construction and Natural-Language Description of Nonparametric Regression Models” 가우시안 프로세스 커널의 조합을 학습 가우시안 프로세스 부드러운 시계열 함수를 다양한 커널을 바탕으로 다변수 가우시안 회귀분석 최적의 커널 조합을 학습하여 이 조합으로 데이터를 설명 여러 개의 시계열 데이터에서 공통적으로 나타나는 특징을 설명할 수 있는 알고리즘도 개발 커널의 조합을 자연어로 작성하여 자동으로 보고서 생성

19 접근 방법 (계속) 자동 통계학자

20 접근 방법 (계속) 설명 인터페이스 모델의 의사결정에 대한 설명을 사용자가 이해할 수 있는 방식으로 표현하는 연구 두가지 원칙
설명 가능성 제시한 설명이 반복적일 것 필요한 설명을 모두 포함하고 있을 것 불필요한 설명을 포함하지 않을 것 양이 적절할 것 정정 가능성 설명이 유동적일 것 사용자의 피드백을 존중할 것 점진적인 변화를 주시할 것 설명의 명확도와 활용도 등에 대한 피드백을 받아서 인터페이스 효과를 평가하고 발전

21 접근 방법 (계속) DARPA 의 사용성 평가 방법

22 접근 방법 (계속) XAI 기반 기술 분류

23 접근 방법 (계속) 초기 최근 적용 분야 고전적 기계학습 모델을 새롭게 제시하는 연구가 주를 이룸
그러나 고전적 기계학습 모델의 성능이 낮아서 문제 최근 딥러닝의 성능이 압도적으로 성능이 좋음 최근에는 딥러닝에 새로운 설명 모듈을 추가하는 방향으로 접근 적용 분야 영상 이해 및 자연어 처리에 많이 적용 영상 이해 측면에서는 판단 근거 시각화 등이 있음 입력 영상의 어떤 부분이 예측 결과에 결정적 영향을 미쳤는지를 보여줌 예측 결과에 해당하는 분류의 다른 영상들을 보여줌 자연어 처리에서는 입력된 단어를 얼마나 오래 기억하는지 분석 특정 단어가 문장의 의미를 구성하는데 끼치는 영향을 분석

24 시각질의응답(Visual Question Answering)
최근 주목받는 설명 가능한 인공지능 연구 분야 사용 기술 영상 이해 기술 자연어 처리 기술 목표 영상 내 시각적 요소와 질문의 언어적 요소의 관계를 자동으로 인지하여 답을 예측 응용분야 영상의학자들의 진단 보조 시각 장애인 행동 보조 설명 가능성 부여 모델이 응답과 더불어 설명문을 동시에 생성하도록 함 이미지, 질문, 답변에 추가하여 설명 데이터를 추가로 학습

25 고전적 기계 학습 모델 응용 결정 트리 모델 베이지안 결정 리스트 And-Or-Template(AOT) 생성
인공지능의 판단 근거를 직관적으로 이해 가능 베이지안 결정 리스트 결정 트리 모델의 변형 결정 트리 분기점 역할을 하는 마디(node)에 해당하는 속성(attribute) 을 자동으로 탐색

26 딥러닝 모델 영상 이해에서 설명 가능한 인공지능 그래디언트 상향/하향을 통한 시각화 디컨볼루션을 통한 시각화 Grad-CAM
Simonyan(2013), arXiv: Yosinski(2015), “Understanding neural networks through deep visualization” ICML Mahendran(2015), arXiv: 디컨볼루션을 통한 시각화 Zeigler(2010, 2014), “Deconvolutional networks”, “Visualizing and understanding convolutional networks” Grad-CAM Selvaraju(2017), “Grad-cam: Visual explanations from deep networks via gradient based localization” LIME Ribeiro(2016), “Why should I trust you?: Expaining the predictions of any classifier”

27 딥러닝 모델(계속) 언어 이해와 관련된 설명 가능한 인공지능
Bahdanau(2015), “Neural machine translation by jointly learning to align and translate”

28 시각질의응답 모델 VQA challenge 초기 연구 방향 2016년에 시작한 시각질의응답 대회
Residual network 을 이용 Fukui(2016), “Multimodal compact bilinear pooling for visual question answering and visual grounding” Lu(2016), “Hierarchical question-image co-attention for visual question answering” Kim(2017), “Hadamard product for low-rank bilinear pooling” Faster-RCNN 사용 Anderson(2018), “Bottom-up and top-down attention for image captioning and visual question answering”

29 시각질의응답 모델(계속) 설명 가능한 인공지능 VQA 에서 설명 가능한 인공지능 연구가 활발 초기 연구 최근 연구
어떤 영역을 주목하고 있으며 무엇을 인지하였는지 서술하는 방식 최근 연구 VQA 모델에 설명 모듈을 추가 설명문 데이터를 이용하여 VQA 모델이 질문에 대한 답과 설명문을 같이 생성하도록 학습 Park(2018), “Multimodal explanations: Justifying decisions and pooling to the evidence” Li(2018), “Vqa-e: Explaining, elaborating, and enhancing your answers for visual questions”

30 Thank you~~~