신경망 (Neural Networks) (Lecture Note #24)

Presentation on theme: "신경망 (Neural Networks) (Lecture Note #24)"— Presentation transcript:

1 신경망 (Neural Networks) (Lecture Note #24)
Modified from the slides by SciTech Media 신경망 (Neural Networks) (Lecture Note #24) 인공지능 이복주 단국대학교 컴퓨터공학과

2 Outline 개요 Biological Motivation 역사 정의 및 특징 종류 Hopfield NN Perceptron
경쟁 학습 Self Organizing Map 유전자 알고리즘 NN 응용

3 Remind: NN 종류 신경회로망 모델 종류 입력형식 학습방식 신경회로망 모델 지도 학습 Hopfield network
이진입력 실수입력 지도 학습 지도 학습 및 비지도 학습을 결합한 학습 비지도 학습 Hopfield network Counterpropagation network ART model Perceptron Multilayer Perceptron Competitive learning SOM

4 경쟁학습 (Competitive Learning)
알고리즘 : 입력벡터들을 신경회로망에 계속적으로 제시하면서 자율적으로 연결가중치를 변경시키는 방법 단순하면서 하드웨어 구현 시 구조 간단 통계학의 k-means 군집화 알고리즘을 기초: 주어진 데이터를 k개의 클래스로 어느 오차수준 이하로 구분될 때까지 반복 → 패턴분류 단순 구조 한 개의 입력층과 한 개의 출력층 입력층과 출력층이 완전 연결 (fully-connected) 입력층과 출력층 뉴런사이엔 흥분적(excitatory)으로 연결 출력층의 뉴런들간에는 억제적(inhibitory)으로 연결 출력뉴런들은 승자 뉴런이 되기 위해 경쟁하고 오직 승자만이 학습함

5 단순 경쟁학습 신경회로망의 구조 억제연결 흥분연결

6 경쟁학습 (Competitive Learning)
단순 경쟁학습 (Simple Competitive Learning) 초기의 경쟁학습 모델, AKA: Winner-take-all 매번 승자뉴런만을 학습 초기 가중치 벡터들의 분포에 따라 전혀 학습이 이루어지지 않은 출력 뉴런들(dead neurons)이 생기는 문제점 자기조직화 (self-organizing) 알고리즘 [Kohonen 1995] 인접한 출력 뉴런들은 비슷한 기능을 수행할 것이라는 예측 (뇌의 위치에 따라 인지 종류가 다름) 기존의 경쟁학습을 개선하여 입력벡터와 가장 가까운 출력뉴런의 이웃 뉴런들을 함께 학습 시키는 알고리즘 승자 뉴런뿐만 아니라 위상적으로 이웃한 뉴런 (topological neighbor)들도 함께 학습 학습규칙 학습규칙 1단계. 연결가중치를 초기화 2단계. 새로운 입력패턴을 입력뉴런에 제시한다. 3단계. 입력벡터와 모든 출력 뉴런들과의 거리(입력-가중치)를 계산 4단계. 최소거리를 가지는 승자뉴런을 구한다. 5단계. 그 승자뉴런과 이웃한 출력 뉴런에 연결된 가중치들을 갱신한다. 6단계. 2단계로 가서 새로운 입력벡터를 처리한다. 7단계. 지정된 학습회수까지 2단계부터 6단계의 과정을 반복

7 자기조직화 (Self-Organizing Feature Map) 신경회로망
경쟁층 N-1 입력층 1

8 Self-Organizing Feature Map (SOM) Algorithm
[단계 1] 연결강도를 초기화한다. N개의 입력으로부터 M개의 출력 뉴런 사이의 연결강도를 임의의 값으로 초기화 초기의 이웃반경은 아래 그림에서와 같이 모든 뉴런들이 포함될 수 있도록 충분히 크게 잡았다가 점차로 줄어든다. [단계 2] 새로운 입력벡터를 제시한다. [단계 3] 입력벡터와 모든 뉴런들간의 거리를 계산한다. 입력과 출력 뉴런 j사이의 거리 dj는 (식 2)와 같이 계산한다. dj = i=0..N-1 (Xi(t) - Wij(t)) (식 2) 여기서 xi(t)는 시각 t에서의 i번째 입력벡터이고, wij(t)는 시각 t에서의 i번째 입력벡터와 j번째 출력 뉴런 사이의 연결 강도이다. [단계 4] 최소 거리에 있는 출력 뉴런을 선택한다. 최소 거리 dj인 출력 뉴런 j*를 선택한다. j* = argminj dj

9 Self-Organizing Feature Map (SOM) Algorithm
[단계 5] 뉴런 j*와 그 이웃들의 연결강도를 재조정한다. 뉴런 j*와 그 이웃 반경내의 뉴런들의 연결강도를 다음식에 의해 재조정한다. wij(t+1)=wij(t)+α(xi(t)-wji(t)) (식 3) 여기서 j는 j*의 이웃 반경내의 뉴런이고, i는 0에서 N-1까지의 정수값이다 α는 0과 1사이의 값을 가지는 이득항(gain term, 즉 학습률)인데 시간이 경과함에 따라 점차 작아진다 [단계 6] 단계 2로 가서 반복한다 이웃반경의 크기 조정

10 SOM 예 예제 거리 구함 d2의 연결 가중치 조정 W02(t+1) = 0.2+0.5(0.1-0.2) =0.15
→ 제시된 입력과 가장 유사한 출력뉴런의 가중치벡터가 입력을 향하여 이동 출력층 d2 d1 입력: X=(0.1, 0.9) d0 0.2 0.9 1.0 0.3 0.5 0.8 입력층 (단, 학습률은 0.5) 0.1 0.9

11 신경회로망 응용 화상처리, 문자인식, 음성인식 등의 패턴인식에 많이 응용
패턴인식: 미리 알고 있는 사실과 자료에 따라 미지의 입력을 클래스별로 분류하는 기술 연상기억: 일부 유실 되거나 변형이 가하여진 자료로부터 완전한 정보를 추출하는 기술 최적화 문제: 기존의 디지털 컴퓨터로는 다차 함수 시간 안에 풀 수 없는 NP문제이다. 알고리즘적 한계가 있으므로 Hopfield 신경회로망이나 Kohonen 신경회로망 등을 사용하여 TSP문제, 그래프 색칠하기, 채널 경로배정 문제를 해결 최근에는 정보여과, 데이터 마이닝 등에 응용

12 유전자 알고리즘 (Genetic Algorithm)
진화 계산(evolutionary computing) 유전자 알고리즘(genetic algorithm) 진화 프로그래밍(evolutionary programming) 진화 전략(evolution strategy) 1960년, 70년대에 시작, 1980년대에 주목 현재 가장 성공적인 학습 알고리즘 자연 세계의 두 기법 적자 생존(survival of the fittest): 문제 해결기법 DNA: 코딩 기법

13 생물학 연구 결과 다윈의 종의 기원(The origin of species)
자연 선택 (natural selection) 치열한 생존 경쟁에서 이긴 개체만이 살아 남는다. 예) 큰 코를 가진 사람은 세금 면제할 경우 500년 후에는 모든 미국인은 큰 코를 가질 것이다(?) 1953년 Watson과 Crick의 DNA 나선형 구조 4개의 문자(C, G, A, T) 언어로 유전 정보 표현 인간 유전자 명령어 집합은 삼십억 개의 문자 길이: 수천 권의 성경 분량 유전자 코딩 정보를 전달

14 What are the Genetic Algorithms (GAs)
History Were formally introduced in the US in the 1970s by John Holland at University of Michigan Characteristics of GA Belong to the class of stochastic search methods (e.g., simulated annealing) GAs operate on a population of solutions most stochastic search methods operate on a single solution to the problem at hand The algorithm is separated from the representation

15 How the GA Works Chromosome Gene 1 1 1 Selection Crossover Mutation
1 1 Selection Crossover Mutation Population

16 The GA Terminologies Chromosome (Genome)
A structure to encode solutions to the problem that can be stored in the computer. Population, selection, crossover, mutation The GA creates a population of genomes then applies crossover and mutation to the individuals in the population to generate new individuals. It uses various selection criteria so that it picks the best individuals for mating (and subsequent crossover). Crossover Typically two parents combine to produce two or more children. Can define asexual crossover or single-child crossover as well Mutation introduces a certain amount of randomness to the search help the search find solutions that crossover alone might not encounter Objective function Your objective function determines how 'good' each individual is.

17 The Pros and Cons of GA Advantages Disadvantages Very simple
Performs well on many different types of problems Works well on mixed (continuous and discrete), combinatorial problems Attractive for some types of optimization Less susceptible to getting 'stuck' at local optima than gradient search methods Disadvantages Tend to be slow Tend to be computationally expensive

18 Summary 개요 Biological Motivation 역사 정의 및 특징 종류 Hopfield NN Perceptron
경쟁 학습 Self Organizing Map 유전자 알고리즘 NN 응용

19 ART 모델 적응 공명 이론(Adaptive Resonance Theory) 구성
안정-적응(stability-plasticity)에 의한 자율 정규화 중요한 사건에 대해서 이를 내부적으로 잘 표현(적응) 중요치 않은 사건은 현재 학습된 내용에 손상을 주지않고 안정된(stable) 상태로 남는다 입력이 들어오면 기존의 학습된 지식과 유사한 지를 비교 만일 비슷하면 새로운 입력을 기존의 학습된 내용과 결합시켜 학습된 지식을 수정하고, 다르다면 입력패턴을 새로운 지식으로 받아들여서 기억장소에 저장하게 됨. 구성 집중 부시스템 (attentional subsystem): 이전에 학습된 사실과 비슷한 입력이 주어질 경우, 이에 대해 안정성 있게 대응 지시 부시스템 (orienting subsystem): 주어진 입력이 학습되어 있는 것인지 아닌지를 판별 → 아니면 집중 부시스템에 알려 새로운 사실 학습토록 함 이들 두 시스템에 의해 안정-적응 조절

20    ART 모델 ART 시스템 구성도 집중 부시스템 이득제어 STM F2 + + 지시 부시스템 + - + LTM LTM
리세트 신호 + STM F1 - A 이득제어 + + 입력패턴

21     ART 모델 (a) (b) Y Y F2 F2 T + T + + S S - - X* F1 A A F1 + + I
(c) (d) Y* F2 F2 + T + + S - - X*   X F1 F1 A A + + I + I +

22 ART 모델 학습 규칙 임의의 순서의 패턴에 대해 실시간으로 인식코드를 자율 구성하는 특성 → 인간의 학습구조를 가장 잘 모방
1단계. 신경회로망의 학습 요소들을 초기화 2단계. 새로운 입력을 제시 3단계. 매칭 점수를 계산 4단계. 입력패턴과 가장 잘 매칭이 되는 대표벡터를 선정 5단계. 유사도를 검사 → 유사도가 경계치를 넘으면 7단계, 아니면 6단계 6단계. 최상으로 매칭된 대표벡터를 억제 시킨 후 3단계로 분기 7단계. 최상으로 매칭된 대표벡터를 적응 8단계. 6단계에서 억제 시킨 뉴런들을 모두 복원시킨 후에 2단계로 분기하여 반복 수행 임의의 순서의 패턴에 대해 실시간으로 인식코드를 자율 구성하는 특성 → 인간의 학습구조를 가장 잘 모방 구조 복잡 → 실제 문제에 적용이 어렵다.