AI 인공신경회로망(ANN)의 개요 신경회로망(Neural Networks) 연결주의 (Connectionism)

Presentation on theme: "AI 인공신경회로망(ANN)의 개요 신경회로망(Neural Networks) 연결주의 (Connectionism)"— Presentation transcript:

1 AI 인공신경회로망(ANN)의 개요 신경회로망(Neural Networks) 연결주의 (Connectionism)
(인공)신경회로망 (ANN or NN) 생물학적 신경계와 같은 방식으로 동작할 수 있도록 단순하지만 적응적인 요소들을 대량으로 병렬 연결한 망들의 계층적 조직 AI 연결주의 (Connectionism) 두뇌가 동작하는 방식을 컴퓨터에서 실현하기 위한 연구 (‘how the brain act’) 인공적으로 구성된 신경망에 대한 연구 기호주의 (Symbolism) 두뇌가 하는 일을 컴퓨터가 할 수 있기 위한 연구 (‘what the brain do’) 탐색, 계획 등 AI연구의 주류를 형성

2 컴퓨터 vs 신경망 vs 인간 두뇌 (표 9.1) 구분 진화 성능 신호 데이타 작동 결함 허용성 비교적 우위
종족의 급격한 진화 개체 능력은 변화 않음 적응적 변화가 가능한 프로그램 종족의 완만한 진화 개체 능력의 급속한 발달 성능 속도 빠름(ns, ps) GB의 기억용량 컴퓨터보다 느린 처리속도사람보다 작은 기억용량 느린 처리속도(ms) 큰 기억용량 (4x1010GB) 신호 전기 화학반응에 의한 전기 데이타 디지털 디지털, 아날로그 아날로그 작동 기정된 알고리즘에 의한 최적의 결과 목표 학습할 수 있는 적응적 알고리즘 적응적이며 휴리스틱한 유형 기정의 알고리즘은 없음 결함 허용성 조금의 결함이라도 시스템의 작동에 치명적임 다수의 병렬 연결 구조는 경미한 결함을 허용함 경미한 손상은 전체적으로 별다른 영향을 미치지 않음 비교적 우위 계산과 자료의 저장 컴퓨터를 이용한 판단과 인식 판단과 인식

3 개요 신경회로망(Neural Networks)
생물학적 시스템의 계산틀 → 컴퓨터로 모방 불가 → 생물학적 정보체계 연구를 위해 시작 - 심리학,신경과학,인지과학, 시스템 이론 병합 기본 작업 학습(learning): 패턴 부류에 따라 신경망의 연결가중치 조정 재생(recall): 학습된 가중치와 입력벡터와의 거리 계산하여 가장 가까운 클래스로 분류 → 사람과 같은 학습 능력: 패턴 분류, 인식, 최적화, 예측 → 기존 인공지능 문제 해결의 새로운 계산틀 제공 (인공)신경회로망 인간의 두뇌작용을 신경 세포들간의 연결관계로 모델링 → 인간의 학습을 모델링

4 개요 생물학적 뉴런 신경기능 탐구 핵 세포체 신경절
생물학적 신경회로망: 인간의 생체 기능 연구(생물, 생리, 신경과학자) → 동물 생체 실험 → 학습능력의 원천 밝힘 인공신경회로망 - 신경회로망의 기능, 구조를 H/W, S/W적으로 실현 → 수학적 모델 연구(기존의 시뮬레이션으로 구현된 알고리즘을 H/W화) 핵 세포체 신경절 수상돌기 축색돌기

5 역사 (1943) McCulloch와 Pitts - 신경세포들을 단순 연결한 신경회로망은 산술 및 논리연산을 수행할 수 있다. (1949) Hebb의 법칙 최초의 인공 신경회로망의 학습규칙 제안 신경회로망이 학습을 수행함을 증명 50, 60 년대 단층의 인공세포의 신경회로망 Rosenblatt, Widrow의 Perceptron- 일기예보, 심전도 해석, 인공시각 69년 Minsky 등에 의해 한계 지적(퍼셉트론은 XOR 문제해결 불가) 신경망 연구 침체 → 기호주의 AI 활성화 80 년대 중반이후 기호주의 AI 한계 Hopfield: 신경회로망  에너지 개념 오류역전파 학습 알고리즘(Rumelhart, McCleland): 다층 퍼셉트론 학습 → 신경회로망 연구 부흥

6 정의 및 특징 신경회로망의 정의, 특징 신경 세포가 신경절로 연결되어 정보전달
노드 또는 처리요소(processing element)를 연결 → 신경회로망 인공 신경회로망의 뉴런(처리요소)의 구조 뉴런1개는 단순기능 → 다중으로 연결되면 강력한 기능(그림9.4 단층) X1 W1 ∑i Xi • Wi -  F X2 W2 OUT = F(∑i Xi • Wi -  ) Wn 다른 뉴런의 입력으로 연결됨 Xn - 1 가중치 입력  뉴론의 활성함수 F로는 그림 9.3과 같이 여러가지가 있음 임계치

7 A Short Break with Recent News on NN
달팽이 신경세포 이용 '뉴런 반도체' 개발 성공 독일 막스플랑크 생화학연구소 연구진은 달팽이의 신경세포와 반도체를 연결해 `뉴런반도체'를 만드는 데 성공했다고 영국 <피에이통신>이 28일 보도했다. 이 반도체는 반도체에서 달팽이 신경세포로 전달된 전기신호가 신경세포 자극 전달부인 시냅시스를 따라 다시 옆에 있는 뉴런으로 전달되며, 다시 반도체로 되돌아옴으로써 전통적인 반도체와 같은 회로를 이루게 된다고 통신은 설명했다. 이 통신은 뉴런반도체의 개발은 컴퓨터와 살아 있는 두뇌의 결합을 앞당기는 계기가 될 것이라고 설명했다. 지난해 미 조지아 공대의 빌 디토 교수는 거머리의 뉴런을 이용해 `생물컴퓨터'를 만들었다고 발표한 바 있으며, 지난 4월 러시아 국제정보과학원의 비탈리 발체프 박사가 이끄는 연구팀은 인간의 뇌 신경세포의 전달체계를 모델로 한 `신경컴퓨터'를 만들었다고 발표했다. 【런던=연합】 (월) 21:30 한겨레 신문

8 정의 및 특징 신경회로망이 커지고 복잡해질수록 더 나은 기능 수행
다층 신경회로망: 입력층과 출력층 사이에 새로운 층 추가 → 은닉층(hidden layer) 또는 중간층(internal layer) 예를 통한 학습, 일반화, 연상기억, 결함 허용성의 특징을 보인다 예를 통한 학습 - 예를 계속적으로 제시함으로써 원하는 형태의 사상(mapping)을 만듦 : 지도 학습/비지도 학습 일반화 - 학습이 완료된 신경회로망은 학습되지 않은 입력에 대해서도 올바른 결과를 출력 연상기억 - 새로운 입력, 일부 유실된 정보 → 유사한 출력 결함 허용성 - 일부 뉴런 고장, 단절 → 남아 있는 뉴런들에 의해 작동 보장 연결가중치 조정방법 지도학습: 입력이 주어짐에 따라 원하는 출력값이 활성화 되도록 가중치를 조절 (Hopfield 학습규칙, 델타규칙, 오류 역전파 학습규칙) 비지도학습: 목표값 없이 학습 데이터만 입력, 스스로 연결가중치들을 학습 →미리 결정된 해가 불필요 (경쟁학습, ART 모델)

9 종류 신경회로망 모델 종류 입력형식 학습방식 신경회로망 모델 지도 학습 Hopfield network 지도 학습 및 비지도
Counterpropagation network 이진입력 학습을 결합한 학습 비지도 학습 ART model Perceptron Multilayer Perceptron 지도 학습 실수입력 Competitive learning SOM 비지도 학습

10 Hopfield 신경회로망 신경회로망의 동작: energy + dynamic system 조직
모든 뉴런이 양방향으로 연결(자신 제외) 전달(활성화)함수 : hard limiter 함수 사용 입력 : 2진수 출력 : +1, -1(양과 음의 에너지 상태를 표시) 1 2 N-1 I0 I1 I2 IN-1

11 Hopfield 신경회로망의 동작 규칙 1단계 : M개의 패턴을 이용하여 N개 뉴런 사이의 연결 가중치를 지정
wij: 뉴런 i에서 뉴런 j로의 연결가중치 Xsi: s 클래스에 속하는 학습패턴의 i번째 요소값(+1 or -1) 2단계 : 미지의 입력패턴을 신경회로망에 제시 3단계 : 뉴런들의 출력과 가중치를 곱한 값을 합하여 전달함수를 통과 4단계 : 수렴(출력의 변화가 없음)할 때까지 3단계를 계속 반복 5단계 : 2단계로 분기

12 Hopfield 신경회로망 - 비고 예제 예제: 각 패턴 크기: (5x5) 대상 : {ㄱ, ㄴ, ㄷ, ㄹ}으로 학습
2개의 4차원 학습패턴벡터: P0=(1,1,1,-1), P1=(1,-1,1,-1)일때 wij는? w00 = w11 = w22 = w33 = 0 w01=X00X01+X10X11=1x1+1x(-1) = 0 예제: 각 패턴 크기: (5x5) 대상 : {ㄱ, ㄴ, ㄷ, ㄹ}으로 학습 테스트 패턴: {ㄱ, ㄴ, ㄹ}으로 테스트 테스트 결과 ㄱ, ㄴ: 제대로 인식 ㄹ: ㄷ으로 오인식 → 회로망 크기 vs 저장가능한 패턴수 문제 → Hopfield에서는 뉴런 수가 N인 경우, 0.15N개의 패턴 저장 가능 (이 예제의 경우 25x0.15 = 3.75 → 4개 미만의 패턴 인식) 수렴결과가 최적인지 보장 안됨 i(0) : (1, 1, -1, -1) i(1) : (1, 1, 1, 1) i(2) : (1, 1, 1, -1) i(3) : (1, 1, 1, -1)  입력: (1,1,-1,-1)  수렴

13 단층 퍼셉트론(Perceptron) 눈의 망막을 모델화함(Rosenblatt, 1962)
단층의 신경망을 위한 지도학습 알고리즘 알고리즘 : 전체 출력뉴런들에 대하여 계산된 출력값과 목표값과의 차이를 최소화시킴(Widrow-Hoff 규칙(델타규칙)) →만일 계산된 출력값과 목표값간에 차이가 없으면 연결 가중치는 변경되지 않으며, 차이가 있으면 이를 줄이는 방향으로 가중치 변경

14 Perceptron의 학습 알고리즘 1단계. 가중치(Wi(0))와 임계치()를 임의값으로 초기화
2단계. 새로운 입력패턴(X0, X1, … )과 목표출력 패턴(d(t))을 제시 3단계. 하드리미터 함수를 사용하여 실제 출력값(y(t))을 계산 4단계. 가중치를 갱신 5단계. 2단계로 분기하여 반복 수행 ……. (9.6) ……. (9.7) ∑i Xi • Wi -  Fh W1 W2 X1 X2 XN-1 WN-1 OUT = Fh(∑i Xi • Wi -  )

15 참조: Perceptron의 학습 알고리즘(식 9.7)의 유도
입력 xi에 대해 임의의 가중치 wi 를 가진 신경망에서의 출력 y 와 요구되어지는 출력 d 출력의 오차함수를 다음과 같이 정의하면 오차를 줄일 수 있는 가중치의 변화는 다음과 같고, 이는 식(9.7)의 가중치 갱신항과 동일

16 AND, XOR 예제 뉴런에 입력되는 가중치의 합이 임계치를 초과하면 1, 아니면 0 AND
→ W0, W1 : 0.3 or 0.4 입력 출력 X0 X1 AND f XOR X0 W0  = 0.5 Y 입력 출력 1 1 1 X1 W1 1 1 1 1 1

17 XOR의 경우 → 만족하는 W0, W1 는 존재하지 않음 → 간단한 XOR 문제도 해결하지 못함 이러한 문제를 해결하기 위해서 2개 또는 3개의 층(layer)을 사용 다층 퍼셉트론: 3층 퍼셉트론으로 어떤 문제도 해결가능 퍼셉트론은 다층 퍼셉트론 및 오류역전파 알고리즘의 기반 모델이 됨

18 An Example of Program (Matlab) for Perceptron
W=[ ]; % random initial values for weights X=[ ; % input patterns including input(-1) for threshold ; ] [N,M]=size(X); % numbers of input nodes and patterns; here N=3,M=4 d=[ ]; % desired output pattern a=0.2; % arbitrary learning rate for n=1: % number of iterations for learning weights for i=1:M % number of data patterns used for learning y(i)=W*X(1:N,i); % actual output computed with current weights if y(i)>= % hard limiter: 1 if sum>=0, otherwise 0 y(i)=1; else y(i)=0; end delta=d(i)-y(i); % difference between desired and actual output dW=a*delta*X(1:N,i)'; % correction term of W W=W+dW; % weight modification (refer to eq.(9.7))

19 다층 퍼셉트론 (Multi-Layer Perceptron)
입력층과 출력층 사이에 하나 이상의 은닉층을 가지는 전방향 신경회로망 단층 퍼셉트론의 문제점을 해결 → 효과적인 학습 알고리즘이 없어서 60-70년대 사용되지 않았다. 80년대 중반 오류 역전파(EBP)알고리즘 학습규칙(Rumelhart) → 일반화된 델타 규칙(generalized delta rule) 알고리즘 : 원하는 목표값(d)과 실제 출력값(o) 사이의 오차제곱합으로 정의된 비용함수(cost function) E의 값을 경사하강추적법(gradient-descent method)에 의해 최소화 하는 방향으로 학습 p: p번째 학습 패턴 Ep: p번째 패턴에 대한 오차 dpj: p번째 패턴에 대한 j번째 요소 opj: 실제 출력의 j번째 요소

20 2층 퍼셉트론 k M-1 …… ……  k Wkj 임계치 j L-1  j 임계치 Wji i N-1 …… …… Xp0 Xpi
k M-1 …… ……  k Wkj 임계치 j L-1  j 임계치 Wji i N-1 …… …… Xp0 Xpi XpN-1

21 학습 규칙 활성화 함수: 시그모이드 함수 1단계. 가중치와 임계치를 초기화 2단계. 입력과 목표 출력을 제시
3단계. 제시된 입력벡터를 이용하여 은닉층 j번째 뉴런으로 입력값 계산 4단계. 시그모이드 함수를 사용하여 은닉층의 출력(Opj)을 계산 5단계.은닉층의 출력을 이용하여 출력층 뉴런 k로의 입력값을 계산 6단계. 시그모이드 함수를 사용하여 출력층의 출력(Opk)을 계산 7단계. 입력패턴의 목표출력(dpk)과 실제 출력 (Opk) 과의 오차값(pk)을 계산하고 출력층 오차합(E)을 학습패턴의 오차(Ep)로 누적 시킨다.

22 8단계. 출력층 오차값(pk)과 은닉층과 출력층의 가중치값(Wkj)을 이용하여 은닉층의 오차(pj)를 계산한다.
9단계. 4단계와 7단계에서 구한 은닉층 뉴런 j의 출력값(Opj)과 출력층의 오차 값(pk)을 사용하여 출력층의 가중치(Wkj)를 갱신한다(임계치도 조정) 10단계. 출력층에서와 마찬가지로 입력층과 은닉층의 가중치 값과 임계치값을 갱신한다. 11단계. 모든 학습패턴에 대하여 전부 학습 할 때까지 2단계로 분기하여 반복 수행한다. 12단계. 출력층의 오차합 E가 허용값 이하이거나 최대 반복회수보다 크면 종료, 그렇지 않으면 2단계로 가서 반복한다.

23 다층망 예제 XOR 문제 단, 뉴론의 활성함수는 hard-limiter라고 가정 Sigmoid 함수의 경우는 예제 9.4참조
0.25 0.75 0.5 -0.5 X0 X1 Y 단, 뉴론의 활성함수는 hard-limiter라고 가정 Sigmoid 함수의 경우는 예제 9.4참조

24 다층망 예제 함수 근사화(function approximation) 문제 (예제 9.5)
시뮬레이션에 사용된 신경망과 학습의 결과 NN 주어진 데이터로 1,000회학습후 10,000회학습후 20,000회학습후

25 BP의 개념과 문제점 오류역전파(error backpropagation) 개념 프로그래밍의 문제점
은닉층의 학습을 위해 출력층에서 발생한 오류를 이용하여 은닉층 오차계산 다시 이 값을 입력층으로 역전파시켜 출력층의 오차가 원하는 수준이 될 때까지 반복 프로그래밍의 문제점 전역 최적해(global optimum)에의 도달이 어려울 수 있음 (그림 9.16) 이득항(, )이나 가중치의 초기값, 은닉층의 수나 뉴런의 개수를 결정하는 문제가 모호함 초기 가중치를 다르게 하여 여러 번 학습하는 방법 오류 수렴까지 많은 회수의 학습 반복 알고리즘 자체의 근본적인 문제점 상위층의 목표값과 실제 출력값 간의 오류를 하위층으로 역전파시키는 것은 생물학적으로 타당하지 않음 (목표를 알지 못함) 지도학습에서 효율성 나타냄 → 보편적으로 가장 널리 사용

26 경쟁학습 (Competitive Learning)
알고리즘 : 입력벡터들을 신경회로망에 계속적으로 제시하면서 자율적으로 연결가중치를 변경시키는 방법 단순하면서 하드웨어 구현 시 구조 간단 통계학의 k-means 군집화 알고리즘을 기초: 주어진 데이터를 k개의 클래스로 어느 오차수준 이하로 구분될 때까지 반복 → 패턴분류 단순 구조 한 개의 입력층과 한 개의 출력층 입력층과 출력층이 완전 연결 입력층과 출력층 뉴런사이엔 흥분적으로 연결 출력층의 뉴런들간에는 억제적으로 연결 출력뉴런들은 승자 뉴런이 되기 위해 경쟁하고 오직 승자만이 학습함

27 단순 경쟁학습 신경회로망의 구조 억제연결 흥분연결

28 자기조직화(self-organizing) 알고리즘
초기 경쟁학습은 매번 승자뉴런만을 학습시키므로 초기 가중치벡터들의 분포에 따라 전혀 학습이 이루어지지 않은 출력뉴런들이 생기는 문제점 자기조직화(self-organizing) 알고리즘 인접한 출력뉴런들은 비슷한 기능을 수행할 것이라는 예측(뇌의 위치에 따라 인지 종류가 다름) 기존의 경쟁학습을 개선하여 입력벡터와 가장 가까운 출력뉴런의 이웃뉴런들을 함께 학습 시키는 알고리즘 승자뉴런뿐만 아니라 위상적으로 이웃한 뉴런들도 함께 학습 학습규칙 1단계. 연결가중치를 초기화 2단계. 새로운 입력패턴을 입력뉴런에 제시한다. 3단계. 입력벡터와 모든 출력뉴런들과의 거리(입력-가중치)를 계산 4단계. 최소거리를 가지는 승자뉴런을 구한다. 5단계. 그 승자뉴런과 이웃한 출력뉴런에 연결된 가중치들을 갱신한다. 6단계. 2단계로 가서 새로운 입력벡터를 처리한다. 7단계. 지정된 학습회수까지 2단계부터 6단계의 과정을 반복

29 자기조직화 (Self-Organizing Feature Map) 신경회로망
경쟁층 N-1 입력층 1

30 예제 d0 = (0.1-0.5)2 + (0.9-0.9)2 = 0.16, d1 = 0.05, d2 = 0.02(승자뉴런)
W02(t+1) = ( ) =0.15 W12(t+1) = ( ) =0.85 → 제시된 입력과 가장 유사한 출력뉴런의 가중치벡터가 입력을 향하여 이동 출력층 d2 d1 입력: X=(0.1, 0.9) d0 0.2 0.9 1.0 0.3 0.5 0.8 입력층 (단, 학습률은 0.5) 0.1 0.9

31 Self-Organizing Feature Map (SOM) algorithm
[단계 1] 연결강도를 초기화한다. N개의 입력으로부터 M개의 출력 뉴런 사이의 연결강도를 임의의 값으로 초기화 초기의 이웃반경은 아래 그림에서와 같이 모든 뉴런들이 포함될 수 있도록 충분히 크게 잡았다가 점차로 줄어든다. [단계 2] 새로운 입력벡터를 제시한다. [단계 3] 입력벡터와 모든 뉴런들간의 거리를 계산한다. 입력과 출력 뉴런 j사이의 거리 dj는 (식 2)와 같이 계산한다. N dj =  (Xi(t) - Wij(t)) (식 2) i=0 여기서 xi(t)는 시각 t에서의 i번째 입력벡터이고, wij(t)는 시각 t에서의 i번째 입력벡터와 j번째 출력 뉴런 사이의 연결강도이다. [단계 4] 최소 거리에 있는 출력 뉴런을 선택한다. 최소 거리 dj인 출력 뉴런 j*를 선택한다.

32 [단계 5] 뉴련 j*와 그 이웃들의 연결강도를 재조정한다.
wij(t+1)=wij(t)+α(xi(t)-wji(t)) (식 3) 여기서 j는 j*의 이웃 반경내의 뉴런이고, i는 0에서 N-1까지의 정수값이다. α는 0과 1사이의 값을 가지는 이득항(gain term)인데 시간이 경과함에 따라 점차 작아진다. [단계 6] 단계 2로 가서 반복한다. 이웃반경의 크기 조정

33 ART 모델 적응 공명 이론(Adaptive Resonance Theory) 구성
안정-적응(stability-plasticity)에 의한 자율 정규화 중요한 사건에 대해서 이를 내부적으로 잘 표현(적응) 중요치 않은 사건은 현재 학습된 내용에 손상을 주지않고 안정된(stable) 상태로 남는다 입력이 들어오면 기존의 학습된 지식과 유사한 지를 비교 만일 비슷하면 새로운 입력을 기존의 학습된 내용과 결합시켜 학습된 지식을 수정하고, 다르다면 입력패턴을 새로운 지식으로 받아들여서 기억장소에 저장하게 됨. 구성 집중 부시스템(attentional subsystem): 이전에 학습된 사실과 비슷한 입력이 주어질 경우, 이에 대해 안정성있게 대응 지시 부시스템(orienting subsystem): 주어진 입력이 학습되어 있는 것인지 아닌지를 판별 → 아니면 집중 부시스템에 알려 새로운 사실 학습토록 함 이들 두 시스템에 의해 안정-적응 조절

34    ART 시스템 구성도 집중 부시스템 이득제어 STM F2 + + 지시 부시스템 + - + LTM LTM + +
리세트 신호 + STM F1 - A 이득제어 + + 입력패턴

35 ART 네트워크의 구조

36 ART 시스템 구조

37 ART 시스템 구조 ART 신경회로망은 입력 레이어(F0), 비교 레이어(F1), 클러스터링 레이어(F2)로 구성된 Attentional Subsystem과 Reset Unit으로 구성된 Orienting Subsystem으로 구성된다. F1와 F2에 존재하는 뉴런(neuron)들은 Bottom-up 벡터와 Top-down 벡터로 연결되어 있다. F0는 입력 패턴을 받아들여 정규화 작업을 수행하며, F2는 입력 패턴들에 의해 생성된 클러스터를 저장한다. F1은 F0에서 입력 받은 패턴과 F2가 기억하고 있는 클러스터와의 비교를 통해 유사한 클러스터를 선택하며 Reset Unit은 비교 결과에 따라 F2의 클러스터를 비활성화하는 기능을 수행한다.

38 ART 알고리즘

39 ART 알고리즘 STEP0 - Signal Function의 설정 Signal Function은 일반적으로 식(5.2)와 같은 연속이며, 미분 가능한 형태를 사용하거나 식(5.3)과 같은 Piecewise Linear 함수를 사용한다. 이는 F1의 q, x 노드로부터 v노드로의 출력값을 계산하는 데 사용된다. ……………………………………………………………식(5.2) ………………………………………………………………….식(5.3) 본 시스템에서는 식(5.3)의 함수를 Signal Function으로 사용한다.

40 ART 알고리즘 STEP1 - 초기화 단계 ART2의 수행에 필요한 파라미터들을 다음 식(5.4)에 따라 초기화한다.
……………………………………………식(5.4) a,b,c는 각각 F1의 입력 벡터 정규화 작업의 수행을 위해 필요한 노드간의 입출력 값을 조정하는 계수이다. 또한 와 는 각각 네트워크의 학습률과 경계값을 의미하며 이 두 값은 사용자가 지정할 수 있다.

41 ART 알고리즘 STEP2 - F1 Layer의 계산 및 F2 Layaer의 입력 계산 F1 의 각 노드는 새로운 입력 벡터 s에 대하여 식(5.5)에 의해 초기화 된다. 따라서 새로운 입력 벡터가 네트워크에 투입되면 이전 벡터에 대한 기억은 F1으로부터 삭제된다 이러한 특성 때문에 F1은 Short Term Memory라 불린다. ……………………………………식(5.5) 식(5.5)에 의해 초기화가 끝나면 F2 의 각 j노드의 실제 입력을 식(5.6) 에 의해 계산한다. ………………………………………………………식(5.6)

42 ART 알고리즘 STEP3 - Winning node의 선택 및 Reset Check F2의 노드 중 최대 출력값을 갖는 J 를 선택한다. 그리고 Reset 여부를 확인하기 위하여 식(5.7)에 의해 r을 계산한다. …………….….………………………………식(5.7) …………….……………………………………식(5.8) 이러한 계산 결과에 의하여 reset이 true가 되면 STEP3을 반복한다. 그렇지 않을 경우 다음 단계로 넘어간다.

43 ART 알고리즘 STEP4 - Weights의 갱신 식(5.9)에 의하여 노드 J의 가중치 벡터를 갱신한다.
………………….…….…….………………………………식(5.9) 그리고 식(5.10)에 의하여 F1 노드들의 값을 계산해 낸다. ……………….………………………식(5.10) 이러한 학습 과정을 통해 노드 J는 입력 벡터를 기억하게 된다. 이러한 기억은 새로운 입력 벡터가 투입되어도 F2에 의해 지속적으로 유지된다. 이러한 특성 때문에 F2를 Long Term Memory라 부른다. STEP5 - 반복 새로운 입력 벡터에 대하여 STEP2 - STEP4의 과정을 반복한다.

44     (a) (b) Y Y F2 F2 T + T + + S S - - X* F1 A A F1 + + I + I +
(c) (d) Y* F2 F2 + T + + S - - X*   X F1 F1 A A + + I + I +

45 임의의 순서의 패턴에 대해 실시간으로 인식코드를 자율 구성하는 특성 → 인간의 학습구조를 가장 잘 모방
학습 규칙 1단계. 신경회로망의 학습 요소들을 초기화 2단계. 새로운 입력을 제시 3단계. 매칭 점수를 계산 4단계. 입력패턴과 가장 잘 매칭이 되는 대표벡터를 선정 5단계. 유사도를 검사 → 유사도가 경계치를 넘으면 7단계, 아니면 6단계 6단계. 최상으로 매칭된 대표벡터를 억제 시킨 후 3단계로 분기 7단계. 최상으로 매칭된 대표벡터를 적응 8단계. 6단계에서 억제 시킨 뉴런들을 모두 복원시킨 후에 2단계로 분기하여 반복 수행 임의의 순서의 패턴에 대해 실시간으로 인식코드를 자율 구성하는 특성 → 인간의 학습구조를 가장 잘 모방 구조 복잡 → 실제 문제에 적용이 어렵다.

46 신경회로망 응용 화상처리, 문자인식, 음성인식 등의 패턴인식에 많이 응용
패턴인식: 미리 알고 있는 사실과 자료에 따라 미지의 입력을 클래스별로 분류하는 기술 연상기억: 일부 유실 되거나 변형이 가하여진 자료로부터 완전한 정보를 추출하는 기술 최적화 문제: 기존의 디지털 컴퓨터로는 다차 함수 시간 안에 풀 수 없는 NP문제이다. 알고리즘적 한계가 있으므로 Hopfield 신경회로망이나 Kohonen 신경회로망 등을 사용하여 TSP문제, 그래프 색칠하기, 채널 경로배정 문제를 해결 최근에는 정보여과, 데이터 마이닝 등에 응용

47 A Short Break with NN Application to Robot
'아이 수준의 로봇' 출현 눈앞 공상과학(SF)영화에서나 볼 수 있었던 '인간을 닮은 로봇(Robot Sapiens)' 시대가 빠르게 다가오고 있다…. ….. 일본 혼다자동차 로봇연구팀의 히로세 마사토는 "인공지능(AI) 기술의 발달로 유아 수준의 사고를 하고 스스로 움직이는 로봇이 몇년내 출현할 것" 이라고 말했다…. …정부의 지원을 받아 연구소를 설립한 AI 전문가 기타노 히로아키는 '피노' 라는 로봇을 곧 공개할 계획이다. 피노는 인간의 사고체계를 모방한 신경망 회로를 가지고 있어, 학습을 통해 걷거나 다른 동작을 배운다…….. Joins.com, [정보통신, 주요뉴스] (월) 08:57

48 유전 알고리즘 (Genetic Algorithm)
신경망과 같이 자연적 현상을 모델로 Holland가 초기연구의 대표적 인물 자연의 진화과정을 모델링 (다윈의 적자생존 법칙과 유사) 알고리즘의 주요한 구성요소 해의 표현법 - 해나 가설은 염색체로 구성되는 개체로 인식 - 각 개체의 유전적 구조는 이진수로 표현 - (예) 사과의 색깔={적, 녹, 황}을 각각 001, 010, 100으로 표현하면, 적or녹=011, 적or황=101, …, “don’t care”=111 복제기법 - 교차변이(crossover): 교차점 이후에서 부모 값을 교환 (예) (111111)과 (000000)의 부모개체와 교차점 4의 교차변이는 (111100)과 (000011) - 돌연변이(mutation): 비트값을 변환(1->0, 0->1) (예) (1111)을 3번째 비트에서 돌연변이 시키면 (1101)

49 A Short Break with Charles Darwin
다윈이 당시의 학자들과 논쟁을 벌일 때, 학자들은 논쟁의 끝에 “그렇다면 우리들의 조상이 원숭이란 말인가? 우리는 원숭이를 조상으로 모시고 싶지 않다”고 이야기 하였다고 함 이런 식의 대화는 더 이상 논리적인(혹은 과학적인, 혹은 주제에 부합하는) 논쟁이 될 수 없으며 단지 감정적인 말싸움에 불과하게 됨 그러나 불행하게도 많은 현대의 고등교육은 받은 사람들 조차 이런 식의 오류에 빠지게 되는 경우가 종종 있음 Darwin, Charles 영국, ( ) Darwin을 조롱하는 당시의 그림

50 알고리즘의 주요한 구성요소 (계속) 적합도 함수 - 개체로 표현된 해가 얼마나 좋은가를 [0,1]의 실수로 표현
선택의 기준 - 적합도가 높은 개체가 다음 세대에서 생존할 수 있도록 - 비례선택법: 평균이상의 적합도를 가진 개체가 1개이상의 자식을 복제할 수 있도록 (i개체의 자식의 개수=f(i)/faverage) 알고리즘 procedure GA() { initialize population; find the fitness function of population; while (termination criterion is not met) begin select solutions for next population; do crossover and/or mutation; end }

51 보로노이 다이어그램의 예 잘 군집된 잡지 데이타베이스

52