개 념 개요 지능을 가진 객체의 특징 컴퓨터에게 지능 부여 학습의 일반적 정의 새로운 환경에 적응 개 념 개요 지능을 가진 객체의 특징 새로운 환경에 적응 새로운 문제를 풀 수 있는 능력 컴퓨터에게 지능 부여 지능을 가진 컴퓨터 프로그램이 가능한가? (많은 학자들이 부정적) 주어진 입력을 컴퓨터 성능을 점차적으로 개선하는 방향으로 해석하도록 하는 방법 제공 학습의 일반적 정의 주어진 환경 내에서 반복되는 경험으로 인해서 발생되는 어떤 주체의 행동 변화 일시적인 주체의 상태(피로, 약물복용 상태)로는 설명 불가 → 컴퓨터 분야를 위한 정의로는 부적절 문제 풀이 : 광역적인 의미에서 보면 모든 인공지능 프로그램들이 문제풀이 시스템이라고 할 수 있다 계획 - 일반적으로 계획이라고 하는 것은 행동을 취하기 전에 행동들의 순서를 결정하는 것

기계학습(Machine Learning)의 정의 학습 프로그램과 일반 프로그램과 구별하여 특징지우는 방법 필요 그렇게 만족할 만한 정의가 내려지지 못하고 있음 정의가 어려운 이유 1) 새로운 지식의 습득 컴퓨터의 데이터 습득은 용이 ↔ 사람은 어려움 데이터의 습득은 진정한 학습 프로그램이 아님 2) 문제 풀이 지식 표현 추론 일반적인 작업을 처리하는 프로그램과 유사 → 굳이 정의하자면, 새로운 지식을 습득하면서(1) 새로운 상황의 문제를 풀 수 있는(2) 프로그램.

기계 학습 시스템 모델 Simon의 단순 모델 원: 선언적 정보, 사각형: 절차, 화살표: 자료의 흐름 주위환경: 학습요소에 특정 정보 제공 학습요소: 입수된 정보로 지식베이스 개선 실행요소: 지식베이스의 지식 이용, 특정의 작업 수행 네가지 구성요소의 구현 방식에 따라 학습 시스템 분류 → 주위환경, 지식베이스, 실행 작업들이 학습문제의 본질을 결정 → 학습 요소가 수행해야 할 특정 기능 결정 학습 요소 (Learning Element) 실행 요소 (Performance Element) 주위 환경 (Environment) 지식베이스

학습 전략에 의한 기계 학습의 분류 학습 전략: 어떻게 학습하는가? → 얼마나 추론을 많이 하는가? 1) 지식 증대, 직접 프로그램된 시스템 → 추론 없음 → 프로그래머의 책임이 크다 2) 새로운 이론 발견, 새로운 개념 도출 → 풍부한 추론 수행해야 가능 3) 중간 정도의 추론 수학 책의 예제 풀이(교사의 풀이를 학습, 교사의 풀이를 유추) 교사의 지도가 없는 풀이, 새로운 이론 발견보다는 추론이 훨씬 적다. 추론의 양 vs 교사, 외부환경의 부담 추론의 양 증대 → 교사의 지도 부담이 줄어든다. 어떤 작업의 지도 유사한 작업을 다루는 방법을 보여줌 → 교사는 쉽게 지도, 학습자는 많은 생각(추론)을 해야 함 그 작업을 단계별로 설명하여 가르침 → 교사는 지도에 많은 노력 필요, 학습자는 간단히 단계를 실행(적은 추론)

학습의 분류 암기 학습(Rote Learning): 지식의 직접적 부여 학습자 측면에서 추론이나 지식의 변형이 불필요 학습이 외부 객체에 의해 미리 프로그램 됨 주어진 사실, 데이터에 대한 기억만 저장 → 입력에 대한 추론 없음 지도에 의한 학습(Learning by Advice-taking) 교사, 교과서 같은 지식 원천으로부터 지식 습득 교사는 학습자의 지식을 증대하기 위해 지식을 잘 조직해야 함 → 부담 전문가 시스템의 구축과정과 동일 유추에 의한 학습(Learning by Analogy) 이미 존재하는 지식을 변형하거나 증식하여 새로운 사실, 기술 습득 예) 자동차 운전 기술을 이용, 트럭 운전이 가능(운전 기술의 변형 필요) 지도에 의한 학습보다 많은 추론 요구: 유사성에 대한 검색, 새로운 상황에 적용

예를 통한 학습(Learning from Examples) 어떤 개념 묘사를 위해 긍정 예(positive example): 개념을 잘 설명하는 예 부정 예(negative example, counterexample): 개념을 부정하는 예 부정적인 예들의 성질을 배제하면서 긍정적인 예들의 성질을 묘사 → 주어진 개념에 대한 일반적인 개념 묘사 추론 → 지도, 유추에 의한 학습보다 추론 양이 많다.(교사는 예제만 제공) 귀납적 학습의 특수한 경우 예가 주어지는 방법 교사가 예를 제공: 목표 개념 형성이 유익한 예를 선별 제공 학습자가 예를 생성: 목표 개념이 무엇인지 불분명할 때 → 분류 경쟁하는 개념들을 식별하는 정보에 기초하여 스스로 예를 생성 교사의 긍정, 부정에 대한 지도 필요 예) 강자성체 → 모든 금속 → 동전 실험 →모든 금속이라는 성질 배제 외부환경에서 예 제공: 예제 생성과정 무작위 → 통제없는 관찰에 의존 예) 초신성 전조 → 개념은 있지만 → 언제, 어디서 초신성 발생할 지 모름

일괄 학습(batch learning) vs 점진 학습(incremental learning) 학습자의 예제 이용 형태 긍정적인 예제만 이용 습득해야 할 개념에 대한 좋은 예시 제공 과도하게 일반화되는 것은 막을 정보 제공이 불가능 → 최소의 일반화 고려, 추론되는 개념에 제약을 가하는 영역지식에 의존 긍정적, 부정적 예제들을 모두 사용 긍정적인 예제들의 개념을 일반화 시킴 부정적인 예제들은 과도한 일반화를 막는다. 예를 통한 학습의 가장 근본적인 형태 일괄 학습(batch learning) vs 점진 학습(incremental learning) 일괄 학습: 개념 형성에 필요한 모든 예제들을 한번에 모두 제공 무분별한 예제가 주어질 확률이 줄어든다. 점진 학습: 이용 가능한 자료들을 이용, 하나 이상의 개념 가설 형성 → 점차적으로 추가적으로 주어지는 예제들을 이용, 가설 개선 인간의 개념 학습 방법과 유사 여러 개의 개념 습득에 유용

관찰을 통한 학습(Learning from Observation) 귀납적 학습의 가장 일반적인 형태 비지도 학습(unsupervised learning)으로도 분류됨 발견시스템, 이론 형성 작업, 분류 계층 형성을 위한 분류 기준 생성, 외부 교사 부재의 학습 → 다른 어떤 학습보다도 더 많은 추론 요구 개념을 위한 적당량의 예제도 주어지지 않음 예제들의 긍정, 부정에 대한 정보도 없음 한 개념에 초점을 맞추지 않음 → 때에 따라서 습득될 필요가 있는 여러 가지 개념에 대해서 동시에 고려 → 개념 초점 맞추기 문제 발생 외부 환경과의 상호작용 관점 수동적 관찰: 주위환경의 여러 양면들을 (단순) 관찰, 분류 능동적 관찰: 주위환경을 변동(실험)시키고 그 변동 결과를 관찰 무작위의 실험 다양한 가설 상황에 따라서 필요한 예제 생성

암기 학습(Rote Learning) 기억: 필요할 때를 위해 새로운 지식을 저장 검색이 주요 동작: 계산이나 추론이 아님 기억의 중요성 기억이 분리된 학습과정은 의미가 없다 기억이 인식 시스템에서 매우 중요한 주체 → 가장 기초적인 학습과정 실행 요소가 해결한 문제를 받아서 그 문제와 해답을 기억 자료 감축(data reduction)의 개념: Lenat, Hayes-Roth, Klahr ACCESS CALCULATE DEDUCE INDUCE 캐슁(암기) 알고리즘, 이론 휴리스틱 규칙 2차 방정식을 풀 때 연역 사슬에서 공식을 찾아 2차 방정식 근을 계산한다. 연역 사슬의 탐색 결과를 세정하여 효율적인 알고리즘으로 요약 대량의 연습 예제들을 하나의 휴리스틱 규칙으로 변형

지도에 의한 학습(Learning by Taking-Advice) McCarthy 제안:충고를 이용하여 계획 형성할 것 → 70년대 후반까지 연구 미약 → 전문가 시스템 기술 발달로 전문가의 충고(지도, 전문지식)를 변형 → 전문가의 성능을 발휘하는 프로그램 연구 → 전문가 시스템 구축에 대한 연구 충고 습득의 단계 전문가시스템 구축 과정 1) 요구 단계: 전문가에게 충고 요구 → 전문지식 습득 2) 해석 단계: 내부 표현으로 변환 ↘ 3) 연산자화 단계: 연산자로 변환 ↗ 4) 합병 단계: 지식베이스로 합병 → 지식베이스 형성 5) 평가 단계: 실행 요소에 의한 결과 평가 → 추론 결과 평가 지식베이스 유지(maintenance): 지능형 편집기, 능동 표현 언어, 추적기능, 설명기능 지식 표현

유추에 의한 학습 이미 존재하는 지식을 변형하거나 증식시켜 새로운 사실이나 기술을 습득하는 학습방법 Carbonell의 추론에 대한 가설 "어떤 사람이 새로운 문제 상황에 직면하게 되면 그 사람은 현재 상황에 매우 유사한 과거의 상황을 상기(remind)한다." 과거와 현재 상황들 사이의 공통성 및 계획 성공적 적용 : 일반화에 대한 기초 제공 부적절한 적용 : 오류를 분석하여 계획의 적용범위를 제약하는 식별화 과정을 시작 성공, 실패, 부분적 성공 등 반응적 환경은 일반화나 식별화 과정을 위해서 절대적으로 요구

문제풀이와 유추 고전적 문제풀이 모델들, GPS, STRIPS, NOAH 등은 유사 문제공간에 있는 다른 문제들의 해결에 대한 경험을 이용하지 않음 원숭이, 바나나 문제의 2가지 상황 원숭이와 바나나 방안에 배고픈 원숭이 원숭이 손이 닿지않는 천정에 바나나가 걸려 있음 방 구석에 큰 상자가 있음(원숭이가 들 수 있고, 올라서면 천정에 손 닿음) 실험자와 바나나 실험자가 원숭이-바나나 문제 설정하려고 함 실험자는 바나나를 가지고 있고, 천정에 고리가 있음 과거문제에 대한 기억과 현재 문제에 대한 과거문제의 해결방법 인간은 익숙하지 않은 문제보다 익숙한 상황에서 문제를 더 잘 해결 기존의 목적-수단 방법에 유추적 변형과정을 추가, 과거의 경험을 이용하는 방법.

계획-변형 문제 공간(Plan-Transformation) 고전적 목적-수단 방법(means-end analysis)의 문제공간 현재 상태와 목표 상태 비교 차이를 줄일 수 있는 연산자 선택 적용: 적용이 불가능할 때 현재 상태 저장 후 부문제에 대해서 다시 목적 수단 방법 적용 부문제 해결 후 저장된 상태 복구 후 원 문제에 다시 적용 문제공간에서 과거 문제의 풀이에 대한 지식 도출 연산자, 초기 상태, 최종 상태를 포함하는 일련의 상태 풀이를 만족시키도록 하는 경로 제약 조건들 매크로 연산자 생성 매크로 연산자의 문제점 모든 풀이과정의 나열은 관리가 어려움 매크로 연산자의 적용은 경로에 대한 제약조건을 무시 부가적인 연산자의 대치, 삭제, 삽입하는 과정이 어렵다

차이함수 : 초기와 최종 상태 비교함수, 유사성 척도로 사용 Carbonell의 가설 유사문제에 대한 풀이 새로운 문제와 과거 해결된 문제의 초기 및 최종 상태 풀이에 필요한 경로 제약조건 새로 적용된 상황에 만족정도 차이함수 : 초기와 최종 상태 비교함수, 유사성 척도로 사용 Carbonell의 가설 적절한 유추적 변형을 찾는 것은 그 자체가 문제풀이 과정 단지 문제 공간만 다름 변형 문제 공간에서의 상태들은 원래의 문제공간에서 풀이 B’ 예제: 피츠버그에서 뉴욕으로의 여행 비행기 외의 여행 경험 없음 현재 비행기를 이용할 수 없음 다른 여행 수단 찾음(열차) 열차 여행 경험 없음 비행기 이용 과정 상기 열차 이용에 적용 B B’ B A’ B A A’ A’ A

예를 통한 학습 교사나 외부환경으로부터 주어지는 사실들로부터 귀납적 추론을 진행하여 일반적 개념을 습득하는 귀납적 학습 주어지는 것들 관찰적인 사실들 일시적인 귀납적 사실들 배경지식 찾아야 하는 것들 귀납적인 규칙 및 가설들(포괄적) 추론을 위한 제어 전략 상향식 : 자료 운용(data-driven)방식 입력으로 주어지는 사건 또는 사실들을 한 번에 하나씩 처리해 나가면서, 최종적으로 결합적인 일반화가 형성될 때 까지 현재의 묘사 집합들을 점진적으로 일반화 하향식 : 모델 운용(model-driven)방식 가능한 일반화의 집합을 탐색하여 특정의 요구조건을 만족하는 몇몇 개의 좋은 가설을 찾아내는 방식 혼합식 : 상향식과 하향식의 혼합

훈련예(training instance)의 성질 훈련예의 품질 : 모호성이 없어야 한다. 훈련 예의 오류 분류되지 않은 훈련 예 훈련 예에 주어지는 순서 훈련 예들이 탐색되는 방법 증진 학습을 수행하는 프로그램 능동적인 예제 선택을 수행하는 프로그램 탐색되는 방법 여러가지 대안 중에서 가장 가능성 높은 것을 선택 부가적인 훈련 예를 검사함으로써 가설 확신 기대에 따른 추출 : 가설들과 모순되는 훈련 예들을 선택

규칙 일반화 기법 서술 논리식 이용 조건제거(dropping condition)방법 대용 묘사를 첨가하는 방법 CTX, CTXi : 추가적으로 다른 표현들이 증식될 수 있는 임의의 개념 묘사 |< : 기호의 오른쪽이 더 일반적임 K : 특정의 개념 조건제거(dropping condition)방법 CTX & S ⇒ K |< CTX ⇒ K 예) (클로바 3)(클로바 5)(클로바 7)(클로바 10)(클로바 K)가 플러쉬 → 숫자에 대한 조건 제거 → 클로바 5장 대용 묘사를 첨가하는 방법 CTX & CTX1 ⇒ K |< CTX & (CTX1 or CTX2) ⇒ K 예) CTX1 → [color = red] CTX2 → [color = blue]

범위를 주는 방법(closing interval) CTX & [L = a] ⇒ K |< CTX & [L = a..b] ⇒ K CTX & [L = b] ⇒ K | 예) a: 정상온도, b:정상온도라면 → [a, b] 사이도 정상온도 일반화 트리를 올라가는 방법 CTX & [L = a] ⇒ K | CTX & [L = b] ⇒ K |  |< CTX & [L = s] ⇒ K | CTX & [L = k] ⇒ K | 상수를 변수로 변환하는 방법 F[a] | F[b] |< ∀vF[v]  | F[k] | polygon triangle pentagon rectangle

관찰을 통한 학습 비지도 학습(unsupervised learning) 귀납적 학습 방법의 가장 일반적인 형태 어떤 학습보다 학습자에게 더 많은 추론 요구 학습자에게 적당량의 예제 제공하지 않음 주어진 예제가 긍정적, 부정적이라는 어떠한 구별능력 없음 초점 맞추기에 심각한 문제 분류 : 관찰에 대한 인간의 이해와 이에 따르는 과학 이론의 개발을 쉽게 함 자동적으로 분류를 형성하는 방법의 문제 정의 주어지는 것들 객체들의 집합 객체들을 특정 지우는 속성들의 집합 형성된 분류들을 위한 배경지식(품질평가 기준, 제약조건, 속성의 특징) 찾아야 하는 것들 객체 집단들의 계층구조 결합적 개념 집단화 : 객체들을 결합적 계층 구조로 만드는 것

두 객체의 유사성 : 하나의 숫자(객체들의 기호적 묘사들을 유사성 함수에 적용한 결과값) 유크리드 거리(Euclidean Distance) 유사성 측정 context-free: 객체들의 성질만 고려, 주위상황 무시 context-sensitive: 두 객체와 주위 객체 상황을 함께 고려 거리 개념: 유클리드 거리 + 주위 객체와의 상대 거리 근접한 객체들을 고려하는 것은 집단화 문제를 해결하기는 하지만 일반적으로 부족 → Concept-free 문제 → 이러한 방법으로는 객체 집단에 대한 게슈탈트한 성질을 이끌어 낼 수 없다 게슈탈트한 성질 : 특정 집단을 개별 대상의 성질로부터 유도하는 것이 아니라 전체적으로 특징지우는 것

개념적 응집성 (conceptual cohesiveness) Conceptual cohesiveness(A, B) = f (A, B, E, C) A, B의 개념을 고려한 유사성 C: 직선, 원, 사각형 등의 형태들의 개념 E: 주위의 점들 f (A, B, E, C) = maxi [ #e(i) -1 / area(i) ] i : A, B를 커버하는 C의 형태들의 인덱스 #e(i) : 형태 i에 의해 커버되는 E내의 점의 개수 area(i) : 형태 i의 면적 A B