신경망 (Neural Networks) (Lecture Note #22) Modified from the slides by SciTech Media 신경망 (Neural Networks) (Lecture Note #22) 인공지능 2002년 2학기 이복주 단국대학교 컴퓨터공학과

Outline 개요 Biological Motivation 역사 정의 및 특징 종류 Hopfield NN Perceptron 경쟁 학습 Self Organizing Map ART NN 응용

개요 신경회로망(Neural Networks) 생물학적 시스템의 계산틀 → 컴퓨터로 모방 불가 → 생물학적 정보체계 연구를 위해 시작 - 심리학,신경과학,인지과학, 시스템 이론 병합 기본 작업 학습(learning): 패턴 부류에 따라 신경망의 연결가중치 조정 재생(recall): 학습된 가중치와 입력벡터와의 거리 계산하여 가장 가까운 클래스로 분류 → 사람과 같은 학습 능력: 패턴 분류, 인식, 최적화, 예측 → 기존 인공지능 문제 해결의 새로운 계산틀 제공 (인공) 신경회로망 인간의 두뇌작용을 신경 세포들간의 연결관계로 모델링 → 인간의 학습을 모델링

개요 컴퓨터에 실제 생물을 모델로 틀을 만드는 것이 좋은 방향인지 많은 창의적 발명이 동일 기능 생물과 메커니즘이 다름 예, 비행기 vs. 새 디지털 컴퓨터와 인간의 작동 방법 다름 (표 9.1) 그럼에도 불구하고 이러한 접근법 가능성 높음 인공 신경망의 유용성 이미 입증됨

개요 표 9.1 컴퓨터, 신경망, 인간 두뇌 비교

개요 생물학적 뉴런 신경기능 탐구 두 분야 생물학적 신경회로망: 인간의 생체 기능 연구 (생물, 생리, 신경과학자) → 동물 생체 실험 → 학습능력의 원천 밝힘 인공신경회로망: 신경회로망의 기능, 구조를 HW, SW적으로 실현 → 수학적 모델 연구 (기존의 시뮬레이션으로 구현된 알고리즘을 HW화) 핵 세포체 신경절 수상돌기 축색돌기

Biological Motivation Biological learning systems = complex webs of interconnected neurons Each neuron takes a number of real-valued inputs and produces a single real-valued output Facts A human brain has 1011 neurons Each neuron is connected with 104 others on average Excited or inhibited Neuron switching time: about 10-3 seconds Slow compared to computer (10-10 seconds) Yet human can make complex decision quickly 10-1 second to recognize your mother It means less than a few 100 steps Highly parallel computation

Biological Motivation Biological neural system vs. ANN: some differences Many complexities to biological neural system that are not modeled by ANNs Some inconsistencies E.g., biological neurons output a complex time series of spikes vs. ANN units output single values Two groups of researchers Group 1: Use ANNs to model biological learning process Group 2: want to obtain effective ML algorithms Do not care that the algorithms mirror biological process

역사 신경생물학자: “신경 세포에 의한 사고 수행” 발견 동작은 이해 못함 (1943) McCulloch와 Pitts - 신경세포들을 단순 연결한 신경회로망은 산술 및 논리연산을 수행할 수 있다. (1949) Hebb의 법칙 뉴런 간에 반복적인 firing에 의해 변화 초래, activation 최초의 인공 신경회로망의 학습규칙 제안 신경회로망이 학습을 수행함을 증명 50, 60 년대 단층의 인공세포의 신경회로망 Rosenblatt, Widrow의 Perceptron- 일기예보, 심전도 해석, 인공시각 69년 Minsky 등에 의해 한계 지적 (퍼셉트론은 XOR 문제해결 불가) 신경망 연구 (connectionism AI) 20년간 침체 → 기호주의 (symbolic) AI 활성화 80 년대 중반이후 기호주의 AI 한계, DARPA 인공 신경망 프로젝트 Hopfield 신경회로망  물리학의 에너지 개념 오류역전파 학습 알고리즘 (Rumelhart, McCleland): 다층 퍼셉트론 학습 → 신경회로망 연구 부흥 1987 ICNN 학회

정의 및 특징 신경회로망의 정의, 특징 신경 세포가 신경절로 연결되어 정보전달 노드 또는 처리요소 (processing element)를 연결 → 신경회로망 인공 신경회로망의 뉴런 (처리요소)의 구조 뉴런1개는 단순기능 → 다중으로 연결되면 강력한 기능 (그림9.4 단층) X1 W1 ∑i Xi • Wi -  F X2 W2 : OUT = F(∑i Xi • Wi -  ) : Wn 다른 뉴런의 입력으로 연결됨 Xn - 1 가중치 입력 임계치

정의 및 특징 비선형 함수의 종류: 그림 9.3 여러 출력을 갖는 단층 신경회로망: 그림 9.4

정의 및 특징 신경회로망이 커지고 복잡해질수록 더 나은 기능 수행 다층 신경회로망: 입력층과 출력층 사이에 새로운 층 추가 → 은닉층(hidden layer) 또는 중간층(internal layer) 예를 통한 학습, 일반화, 연상기억, 결함 허용성의 특징을 보인다 예를 통한 학습 - 예를 계속적으로 제시함으로써 원하는 형태의 사상 (mapping)을 만듦: 지도 학습/비지도 학습 일반화 - 학습이 완료된 신경회로망은 학습되지 않은 입력에 대해서도 올바른 결과를 출력 연상기억 - 새로운 입력, 일부 유실된 정보 → 유사한 출력 결함 허용성 - 일부 뉴런 고장, 단절 → 남아 있는 뉴런들에 의해 작동 보장 연결가중치 조정방법 지도학습: 입력이 주어짐에 따라 원하는 출력값이 활성화 되도록 가중치를 조절 (Hopfield 학습규칙, 델타규칙, 오류 역전파 학습규칙) 비지도학습: 목표값 없이 학습 데이터만 입력, 스스로 연결가중치들을 학습 → 미리 결정된 해가 불필요 (경쟁학습, ART 모델)

종류 신경회로망 모델 종류 기타 입력 형식 학습 방식 신경회로망 모델 지도 학습 Hopfield network Counter propagation Boltzmann machine, simulated annealing Recurrent neural network RCE (Reduced Coulomb Energy) High-order network 입력 형식 학습 방식 신경회로망 모델 이진 입력 실수 입력 지도 학습 지도 학습 및 비지도 학습을 결합한 학습 비지도 학습 Hopfield network Counterpropagation network ART model Perceptron Multilayer Perceptron Competitive learning SOM

Hopfield 신경회로망 이진 입력, 지도 학습 신경회로망의 동작: energy + dynamic system 조직 모든 뉴런이 양방향으로 연결 (자신 제외) 전달 (활성화)함수: hard limiter 함수 사용 입력 : 2진수 출력 : +1, -1 (양과 음의 에너지 상태를 표시) 1 2 N-1 I0 I1 I2 IN-1

Hopfield 신경회로망의 동작 규칙 1단계: M개의 패턴을 이용하여 N개 뉴런 사이의 연결 가중치를 지정 wij: 뉴런 i에서 뉴런 j로의 연결가중치 Xsi: s번째 학습 패턴의 i번째 요소값 (+1 or -1) 2단계: 미지의 입력패턴을 신경회로망에 제시 3단계: 뉴런들의 출력과 가중치를 곱한 값을 합하여 전달함수를 통과 j(t+1) = fh( i=0..N-1 wij i(t)), 0<= j <= N-1 fh(a) = 1 if a >= 0, -1 otherwise 4단계: 수렴 (출력의 변화가 없음) 할 때까지 3단계를 계속 반복 5단계: 2단계로 분기

Hopfield 신경회로망의 동작 규칙 가중치 결정 언제까지 반복? M개의 대표 패턴 1단계에서 패턴간의 외적 (outer product)의 합으로 결정 한번 결정되고 변하지 않음 학습하지 않는다? 언제까지 반복? 실제에서는 거의 변화가 없거나 한계에 달할 때까지 M개의 대표 패턴 각 대표 패턴이 클라스

Hopfield 신경회로망 예제 W의 다른 표현 2개의 4차원 학습패턴 벡터: P0=(1,1,1,-1), P1=(1,-1,1,-1) 일 때 wij는? w00 = w11 = w22 = w33 = 0 w01=X00X01+X10X11=1x1 + 1x(-1) = 0 W의 다른 표현 Mu * W 의 행렬 연산으로 생각하는 것이 간편

Hopfield 신경회로망 새로운 입력의 처리 i(0): (1,1,-1,-1) [ 입력 ] 수렴 Mu * W 의 행렬 연산으로 생각하는 것이 간편

Hopfield 신경회로망 예제: 각 패턴 크기: (5x5) 대상 : {ㄱ, ㄴ, ㄷ, ㄹ}으로 학습 테스트 패턴: {ㄱ, ㄴ, ㄹ}으로 테스트 그림 9.6 W의 크기는? 25 * 25

Hopfield 신경회로망 테스트 결과 그림 9.7, 9.8 ㄱ, ㄴ: 제대로 인식 ㄹ: ㄷ으로 오인식 → 회로망 크기 vs. 저장 가능한 패턴수 문제 → Hopfield에서는 뉴런 수가 N인 경우, 0.15N개의 패턴 저장 가능 (이 예제의 경우 25x0.15 = 3.75 → 4개 미만의 패턴 인식) 그림 9.7, 9.8

Hopfield 신경회로망 가중치가 wij = wji (symmetric)를 만족하면 수렴한다 학습에 사용된 입력 패턴들이 서로 직교 (orthogonal)하거나 패턴 수가 뉴론 수보다 적은 경우 올바른 결과 출력 수렴결과가 최적인지 보장 안됨

Summary 개요 Biological Motivation 역사 정의 및 특징 종류 Hopfield NN Perceptron 경쟁 학습 Self Organizing Map ART NN 응용