강원대학교 공학대학 전자공학과 대학원 남 시 병 Neural Network 강원대학교 공학대학 전자공학과 대학원 남 시 병

목 차 1장 Neuro computer 2장 뇌의 모델링 3장 신경망 이론 4장 단층 신경망 5장 다층 신경망 목 차 1장 Neuro computer 2장 뇌의 모델링 3장 신경망 이론 4장 단층 신경망 5장 다층 신경망 6장 연상 메모리 7장 경쟁식 신경망 8장 자율 신경망 9장 뉴로 컴퓨터 응용

1장 NEURO COMPUTER 1.1 뇌 연구의 역사 1.2 neuron     

그림 1-1 . 르네상스 시대의 해부학자들이 그린 그림 1.1 뇌 연구의 역사 1, 신경과학 신경과학(Neuro-Science) : 뇌를 연구하는 분야. 신경 과학 : 뇌의 모든 분야에 대한 연구 대상 뇌의 구조,뇌의 발달 , 뇌의 뉴런, 즉, 신경세포에서 화학적 전기적 현상, 여러 뉴런간의 상호작용, 뇌의 독특한 소산인 행동과 경험 등, 신경계를 연구하는 분야 중에서도 그 구조를 연구하는 해부학 분야나, 그 기본적인 기능을 연구하는 분야 등은 오랜 옛날부터 이루어졌으나, 하나의 통합된 학문으로써 신경과학이 확립된 것은 불과 수십 년에 불과하다.  1)  그리이스 시대 그림 1-1 . 르네상스 시대의 해부학자들이 그린 그림

1.1 뇌 연구의 역사 1, 신경과학 뇌 연구는 그리스 시대까지 거슬러 올라간다. 그리스인은 이미 정신이 뇌에 속한다고 생각한 것 같다. 뇌에서 뻗어 나온 신경 파이프를 통해 어떤 액체가 지나가고 이 액체의 힘을 통하여 근육을 신장하거나 수축한다고 상상했다. 물론 그리스 시대의 과학은 이론이었으므로 실증적인 모델을 개발하려 하지 않았다. 그러나 로마 시대에는 실제 원숭이의 뇌를 해부하여 그 조직적인 모양을 알아 본 기록이 있다. 그러나 다시 중세의 암흑시대에 들어서면서 실증적인 연구는 자취를 감추었고 르네상스 시대에 들어서면서 다시 연구가 시작되었다. 이때에는 인체의 해부도 자주 행해지고 그 결과 뇌의 해부도가 만들어 졌다. 2)  데카르트의 시도. 인간의 뇌를 과학적으로 생각하기 시작한 사람은 데카르트(Descartes) 인 것 같다. 근대철학의 시조라고 불리우는 그는 수학, 물리, 철학을 포함하여 세계를 체계적으로 그리고 합리적으로 해석하려고 했다. 데카르트는 뇌가 동물의 모든 운동을 지배한다고 생각했다. 동물은 정기(精氣)가 심장에서 만들어져 뇌에 저장된다. 한편 뇌는 신경을 통해서 이것을 신체의 각 부분에 보낸다. 정기의 압력에 의해 근육이 움직인다고 생각했다.

1.1 뇌 연구의 역사 1, 신경과학 그림 1-2. 레오나르도 다빈치가 그린 뇌 해부그림

1.1 뇌 연구의 역사 2. 뇌 사람의 뇌 : 무게가 약 1.4Kg이며 부피는 약 1300-1500cm3이고 1000억개 이상의 신경세포와 이들의 10배정도 되는 신경로세포(glial cell)로 구성. 전뇌(forebrain): 의식적인 생각, 추리, 기억, 언어, 감각에 대한 지각과 해석, 골격근을 의지에 따라 움직이는 일 등을 담당. ① 대뇌(cerebrum) ② 시상(thalamus) ③ 시상하부(hypothalamus) 중뇌(midbrain) 수많은 신경로에 의해 전뇌와 능뇌를 연결. 눈과 귀로부터 감각정보를 받으며 척추동물의 모든 청각은 전뇌로 가기전에 중뇌에서 먼저 분석 소뇌(cerebellum) 수족과 몸의 모든 수의적인 움직임을 조절하고 자세와 균형을 유지하는 역할 능뇌(hindbrain) 연수, 소뇌, 뇌교로 이루어져 있고, 척수와 연결. 무의식적, 불수의적, 기계적 작용들을 조절

1.1 뇌 연구의 역사 2. 뇌 ① 대뇌(cerebrum) 두정엽(parietal lobe) - 피부의 감각수용기로부터 감각을 받는 부분과 몸의 자세나 위치를 감지하는 부위를 포함, 전두엽(frontal lobe) - 의식적인 움직임 조절에 관여, 언어중추로 추즉 후두엽(occipital lobe) - 시신경에서 시각정보를 받는 부위로 시각이 분석됨 측두엽(temporal lobe) - 청각과 후각의 정보를 받아 처리 시각정보의 처리에도 관여

1.1 뇌 연구의 역사 2. 뇌 MEMORY AND LEARNING 장기기억(long-term memory) … 저장 정보는 비교적 영구적(느리게 망각) 단기기억(short-term memory) … 비교적 쉽게 분쇄되고 빠른 속도로 소멸

그림 1-3 갈마니(Galvani)에 의한 `개구리다리 실험 1.1 뇌 연구의 역사 3, 생체전기 3) 생체전기현상 18세기에는 갈마니(Galvani)에 의한 `개구리다리 실험'에 의한 생체 전기현상의 발견은 매우 중요하다. 이 실험은 전 유럽에 유행하면서 볼타(Volta)가전지를 만드는 직접적인 계기가 되었고, 이런 전지는 그 이전에는 실험하기가 힘들었던 전기현상에 대한 다양한 실험을 가능하게 해주었고, 지금 전자기학 책에 나오는 Faraday, Ampare 등의 실험을 가능하게 해주었다. Galvani 이후의 전자기학 및 전기공학의 발전은 급속도로 진행되었다. 또한 전기 생리학의 시발점이 되기도 하였다. 또한, 이 당시에는 전기 장어, 전기 가오리 등 생체전기현상이 대단한 주목을 받았다. 그림 1-3 갈마니(Galvani)에 의한 `개구리다리 실험

그림 1-4. Golgi stain에 의한 피질의 신경세포(고양이) 1.1 뇌 연구의 역사 3, 생체전기  4) 뇌에서의 최초의 전류 발견  1875년에는 `Richard Caton'에 의해서 뇌와 관련된 전기적 현상이 최초로 발견 되었는데, 갈바노미터를 사용하여 노출된 동물의 뇌에서 전류를 검출하였다. 19세기에 이르러 신경을 지나가는 것은 동물정기와 같은 액체가 아니라 전기임이 실증되었다. 즉, 전기펄스가 신경을 통해서 전달되어 근육을 움직인다는 사실이 밝혀졌다.   5) 뉴런의 발견 그리고 뇌를 해부함으로써 뇌의 구조에 대한 상당히 자세한 지식이 얻어졌다. 인간의 뇌는 천억 개 가량의 뉴런(Neuron)으로 구성되었다는 것은 상식이지만 뉴런은 20세기 초에 와서야 비로소 발견되었다. 그림 1-4. Golgi stain에 의한 피질의 신경세포(고양이)

1.1 뇌 연구의 역사 4. 전달물질 6) 미소전극 실험 7) 전달물질  6) 미소전극 실험 미소전극을 한 뉴런에 꽂으면 뉴런 속에서 어떤 전기현상이 일어나고 있는지 직접 관측할 수 있다.   7) 전달물질 또 뇌 연구는 1970년대 이후 다시 새로운 발전이 있었다. 그 하나는 뇌의 전달 물질에 관한 연구이다. 뇌는 전기 펄스로 표현되는 정보를 모아서 계산하여 그 답을 다음 뉴런에 전달하는 전기적인 회로망이지만 뉴런끼리의 정보 전달 과정에서는 화학물질을 사용한다.

그림 1-5. 뉴런끼리의 정보전달에는 대부분 화학물질이 사용된다. 1.1 뇌 연구의 역사 4. 전달물질 축색(axon) 미토콘드리아 정보전달 시넵스 덴트리드(dentrite) 그림 1-5. 뉴런끼리의 정보전달에는 대부분 화학물질이 사용된다.

1.2 neuron 1, Neuron

1.2 neuron 1, Neuron 8. 뇌 연구의 구성적 방법 멕컬럭과 피츠의 형식뉴런  8. 뇌 연구의 구성적 방법 정보처리를 실행하는 뇌의 본질을 규명하기 위해서는 뇌의 정보 표현과, 그 다이나믹서의 원리 규명. 구성적 방법' 또는 '신경모델링‘ 즉, 이는 뇌의 기본구조인 뉴런에 대한 엄밀한 신경모델링을 바탕으로 하고 논리적 사고에 의하여 뇌의 모델을 만들어 그 동작을 관찰함으로써 원리를 추측하는 방법이다. 멕컬럭과 피츠의 형식뉴런 뉴런에 의하여 논리연산의 기본인 AND,OR,NOT연산이 가능함을 보요줌

1.2 neuron 1, Neuron 뇌와 컴퓨터가 근본적으로 다르다는 것은 이미 노이만이 간파했었다. 뇌 동작의 기본은 여러 요소의 아날로그적 상호작용에 의한 병렬처리과정으로, 이것을 0과 1의 2진법으로 대치하는 것은 적당하지 않다.즉, 뇌의 병렬정보처리는 하나의 협동 현상 같은 것으로 이루어진다고 추측하였다.  표 1-1. Von Neuman 방식과 Neural network와의 차이점 : 직렬처리, 병렬처리 Von Neuman 방식과 Neural network 직렬정보 처리 정보처리 기본은 기호조작 알고리즘 이론, 언어이론, 데이터베이스 이론 등의 직렬정보처리 AI(Artificial Intelligence) : 컴퓨터 모델 지식분포가 국부적이다  뉴런의 네트워크에 의한 병렬처리 커넥셔니즘 상호작용 다이나믹스에 의한 계산 반복훈련에 의한 학습기능   지식분포가 분산적이다

1.2 neuron 1, Neuron 위 그림은 대표적인 뉴런의 생김새입니다.  뇌 조직은 100억개의 뉴런과 지지세포로 구성.  뉴런은 신경계의 기본적인 기능적 단위이다.

1.2 neuron 1, Neuron 세포간의 전령 역할을 하는 호르몬과 신경 전달물질이 있다 그림 2-2. 뉴런 세포

1.2 neuron 1, Neuron 2. 일반세포와의차이점 3.뉴런에서 필요한 에너지  2. 일반세포와의차이점 * 재생산이 불가능, 그러나 뉴런간의 새로운 연결은 일생 동안 형성 * 뉴런의 세포막 - 정보전달에 핵심적인 역할  3.뉴런에서 필요한 에너지 전달물질 합성, 시냅스 형성, 축색의 성장, 활동전위 생성 후sodium-potassium pump등에 에너지가 필요하다. 따라서 미토콘드리아는 뉴런의 모든 곳에 분포하여 에너지를 공급한다. Action Potential만은 에너지를 사용하지 않는다.물리적 확산에 의해 발생. 미토콘드리아가 ATP를 형성하기 위해서는 포도당과 산소를 사용한다.

1.2 neuron 1, Neuron  4.뉴런의 구조 - 세포체(cell body), 축색(axon), 시냅스(syneps), 수상돌기로 구성. 세포체에는 핵이 있으며 세포질에 리보솜, 소포체 등이 있다. 신경전달물질(neurotransmitter)을 만들어낼 수 있다. 수상돌기(dendrite) : 가지가 고도로 발달되어 있으며 정보를 받아들이는 부위 주변 뉴런으로부터 자극을 받아들여 정보를 전기적 신호로 세포체와 축색으로 보낸다. 축색 : 기다란 돌기로 신호를 먼 거리까지 전달할 수 있도록 특수화 수상돌기나 세포에서 오는 신호를 신경충격(neural impulse) 또는 활동전위(action potential; 축색의 기부에 있는 축색기시구(hillock)에서 생성)로 바꿈으로서 신호를 먼 거리로 전달

1.2 neuron 1, Neuron

1.2 neuron 1, Neuron 신경망 : 감지, 종합, 반응 세가지 기능을 함. 이러한 반응을 일으키게 하는 환경의 요소를 자극(stimulus)라 한다.

1.2 neuron 1, Neuron 수상돌기 뉴론 : 세포체 세포핵 축색 메를린 수초

1.2 neuron 1, Neuron 미엘린수초(myelin sheath) : 축색을 둘러싸고 있는 물질

1.2 neuron 2. NEURAL SIGNALS 활동전위(action potential; AP) : 축색을 따라 전해짐 차등성전위(graded signal) : 수상돌기나 세포체를 따라 전해지는 수동적 전위 저항의 영향을 받는다. 1) 활동전위(action potential) 계속 재생되기 때문에 거리가 멀어도 크기는 변하지 않는다. 활동전위 전달 순서 : 뇌에서 생긴 신경충격 → 척수의 운동뉴런 → 운동신경충격 → 축색 → 척수 밖 → 실행기의 신경근 접합부(이온의 이동이 선택적으로 조절됨으로써 발생) ⇒ 능동수송과 확산이 작용

1.2 neuron 2. NEURAL SIGNALS ① 휴지상태 - 이온의 확산(분극상태, poarized state) 휴지상태의 축색 : 안족이 바깥쪽에 비해 음전하를 띠고 있는 상태로 평형, 나트륨과 칼륨이온은 크기가 작아 쉽게 이동할 수 있다. 단백질 분자는 크기가 커서 원형질막을 통과할 수가 없으며 축삭안에 그대로 남게 된다. 나트륨이온 농도는 바깥쪽에 약 10:1 정도 많고, 칼륨이온은 축색 내부에 많다. ※ 나트륨/칼륨 교환펌프(sodium/potassium ion exchange pump) - 한 번 가동될 때마다 나트륨이온 3개, 칼륨이온 2개 수송 ※ 막의 투과성과 전하 축색의 원형질막은 Na+에 대한 투과성이 낮은 반면, K+에 대해서는 투과성이 높다 → 안으로 펌프되어 오자마자 밖으로 확산 그러나 밖에는 양전하를 띤 Na+가 많아 K+를 밀어내고, 막 안에 있는 음전하를 띤 단백질은 K+를 끌어당긴다.

1.2 neuron 2. NEURAL SIGNALS ② 휴지전위(resting potential) 내부의 칼륨이온에도 불구하고 바깥에 비해 음전하를 띠고 있음 막 사이의 전위차 : 약 -70mV 정도(마이너스 부호는 바깥에 비해 안쪽이 상대적으로 음전하를 띤다는 것을 의미) ⇒ 전기화학적 기울기(많은 양의 에너지 보유)

1.2 neuron 2. NEURAL SIGNALS ③ 활동전위(action potential)의 생성 축삭을 따라 이동해가는 탈분주의 파동 뉴런의 자극 → 수상돌기나 세포체는 수동적인 전기신호를 축색시기구로 전달 → 활동전위 생성 → 축색 → 다른 뉴런 자극 나트륨에 대한 축색의 투과도가 갑자기 증가하기 때문에 발생(Na+가 안으로 유입) ⇒ -70mV에서 약 +30mV로 증가 재분극(repolarization; 휴지상태로 돌아가는 것) 과정이 뒤따른다. 활동전위의 특성 : 실무율(threshold voltage; -40∼-50mV)를 가지며, 자극이 이보다 작은 경우 활동전위를 일으킬 수 없다. 일단 활동전위가 생성되면 크기나 속도는 자극의 변화에 의해 변하지 않는다.

1.2 neuron 2. NEURAL SIGNALS ④ 휴지전위의 회복 K+은 급속히 뉴런 밖으로 확산되어 나가며 유입된 Na+ 수와 평형이 될때까지 지속 K+은 밖에, Na+은 안에 다량 존재 → Na+/K+ 교환펌프에 의해 원상태 회복 - 불응기(refractory period) : K+이 축색에서 나가고 막전위가 다시 -70mV로 이동하는 시간 - 절대불응기(absolute refractory period) : 자극 강도에 상관없이 새로운 활동전위가 생성될 수 없다. - 상대적 불응기(relative refractory period) : 새로운 활동전위가 생성될 수는 있지만, 아주 강한 자극 필요

1.2 neuron 2. NEURAL SIGNALS (2) 이온채널(ion channel) 뉴런은 축색을 따라 많은 이온채널을 가지며, 이 채널은 특정 이온만을 통과시킴 Na+ 채널과 K+ 채널을 통해 휴지전위, 탈분극, 재분극이 이루어지며,두 채널 모두 전압에 민감 이온채널은 채널을 활성화시키는 활성화문(activation gate)과 채널을 불활성화시키는 불활성화문(inactivation gate)을 가지며, 서로 다른 전압에 의해 활성화

1.2 neuron 2. NEURAL SIGNALS ① 나트륨 채널 휴지상태에서 활성화문이 닫혀있다(불활성화문은 열려 있음) 휴지상태에 있는 원형질막은 나트륨 이온에 대하여 낮은 투과성을 보인다. 전기적 신호가 축색에 도달하면 인접한 나트륨 채널의 활성화문이 열림 → Na+이 유입되며 활동전위 발생 막전위가 +30mV 정도에 도달하면 Na+의 불활성화문 닫힘(재분극될 때까지 유지) 재분극은 칼륨의 이동에 의해 일어난다. ② 칼륨 채널 나트륨 채널에 비해 느리게 반응 +30mV가 되었을 때, 혹은 나트륨 채널의 불활성화문이 닫혔들 때만 열림 칼륨이온의 유출로 축색은 재분극되고 -70mV의 휴지전위 회복 휴지전위에 이르면 나트륨 채널의 활성화문과 칼륨 채널이 닫히고, 나트륨 채널의 불황성화문이 열린다.

1.2 neuron 2. NEURAL SIGNALS (3) 미엘린과 신경충격의 전도 속도 척추동물의 축삭은 미엘린 수초, 즉 수반세포나 휘돌기 세포가 만드는 막에 의해 둘러싸여 있다. 미엘린수초는 절연체로서 충격의 전도 속도를 높이는데 기여(지질로된 수초가 절연체 역할) 랑비에마디(미엘린수초가 없는 부분)에서만 활동전위가 일어남 칼륨 채널이 없어 재분극은 항상 열려있는 칼륨 채널에 의존 축색 직경이 커지면 신경충격 속도가 증가 신경계의 진화 : 축색의 지름이 커지는 것과 미엘린수초로 싸이는 것이 자연선택 도약전도(saltatory propagation) : 미엘린에 싸인 축삭의 경우 활동전위는 마디에서만 일어난다. 한마디에서 다음마디로 도약이 일어난다.

1.2 neuron 3. COMMUNICATION AMONG NEURONS 시냅스(synapse) : 뉴런들이 서로 정보를 나누는 특수한 장소) 한 뉴런의 축색은 이웃 세포의 수상돌기나 세포체와 시냅스 형성 (축색이 많은 가지를 치기 때문에 많은 시냅스 형성) 전기적 시냅스(electrical synapse): 뉴런 사이의 협간극 결합(gap junction)에서 발생 전기적 시냅스 사이에 작은 구멍이 있어서 세포질이 연결 → 휴지상태의 세포로 쉽게 전류 전달 장점 : 화학적 시냅스보다 빠르다 → 여러 무척추동물에서 발견 (2) 화학적 시냅스(chemical synapse) 두 세포간의 실제적인 접촉이 없다(시냅스틈(synaptic cleft)라는 20nm 정도 작은 공간에 의해 분리) 두 세포간의 대화 : 신경전달물질이라는 화학물질의 작용 전기적 시냅스에 비해 속도가 느리지만 다양한 종류의 반응 유도

1.2 neuron 3. COMMUNICATION AMONG NEURONS 시냅스(synapse) : 뉴런들이 서로 정보를 나누는 특수한 장소) 한 뉴런의 축색은 이웃 세포의 수상돌기나 세포체와 시냅스 형성 (축색이 많은 가지를 치기 때문에 많은 시냅스 형성) ① 시냅스에서의 작용(흥분성 시냅스, excitatory synapse) ② 억제성 시냅스(inhibitory synapse)

① 시냅스에서의 작용(흥분성 시냅스, excitatory synapse) 축색 매듭에 신경전달물질(아세틸콜린, acetylcholine) 저장낭이 있다. → 방출되려면 세포외액에 있는 칼슘이온이 필요 활동전위 축색 매듭에 도달 → 전압에 의해 칼슘채널 열림 → Ca+가 세포 안으로 확산 → 신경전달물질 저장낭이 시냅스전막(presynaptic membrane)과 융합 → 아세틸콜린 분자 방출(시냅스틈) → 확산되어 시냅스후막(postsynaptic membrane)에 있는 수용체에 부착 → 막의 이온채널(화학물질에 반응)이 열리고, 나트륨 또는 칼륨이 시냅스후 세포 안으로 들어가거나 나간다 → 전압이 역치를 넘으면 활동전위 발생 ※ 시냅스는 대부분의 뉴런에 있어 한쪽 방향으로만 전달되는 시스템 ② 억제성 시냅스(inhibitory synapse) 활동전위의 생성을 억제시켜 활동전위가 일어날 수 있는 가능성 감소 과분극(hyperpolarization)을 통해 일어나며, 세포내의 음전하가 더욱 증가 i) 분비된 신경전달물질과 결합하는 수용체가 염소채널을 열 경우 ⇒ 음전하의 염소이온이 뉴런 내부로 유입(보통 상태의 역치보다 높은 전압 필요) ii) 신경전달물질이 칼륨채널을 열게 할 경우 ⇒ 양전하의 칼륨이온이 세포 밖으로 유출 (나트륨의 유입 효과 상실)

1.3 Neural Network 모델 ∑ 1. Neuro의 특징 2. Neuron Model   ∎ Neuron computer, Neural Network등으로 불린다.    ∎Neuro는 고도의 병렬 분산처리 시스템 이다.    ∎Neuro는 학습 능력을 보유하고 있다. 2. Neuron Model NET INPUT ∑ F(NET) OUT NET = ∑ INPUT OUT = f(NET) 임계값 OUT = 1 NET >= T 0 NET < T

1.3 Neural Network 모델 2. Neuron Model 1) Unit(PE: Processing Element) Y = f(X)    ,    X=wixi w : weigh  (연결강도 , 결합하중, 결합 강도)

1.3 Neural Network 모델 2. Neuron Model Y X1 Xn W1 Wn ∶ OUT 입력 연결강도 뉴런 출력 예제 X =[ x1, x2, ….. xn] W =[ w1, w2, ….. wn] NET = ∑ xiwi n i=1 = x1w1+x2w2+ … +xnwn OUT = f(NET)= f( ) ∑ xiwi n i=1 OUT = 1 NET >= T 0 NET < T

T>mw-p : 부등식이 성립되어야 한다 1.3 Neural Network 모델 2. Neuron Model 2) MeCull0ch-Pitts 모델 X1 xm xm+1 Xn W1 흥분성 연결강도 예제 Wm Y OUT -p -p 억제성 연결강도 NET = ∑ xiwi -∑ xip m i=1 n i=m+1 T>mw-p : 부등식이 성립되어야 한다 Kw >= T > (k-1)w : k개 이상의 뉴런이 OUT = 1 NET >= T 0 NET < T

그림 3-2. The function of the Unit response 1.3 Neural Network 2. Neuron Model 2) Unit  response 특성 (1) McCulloh-Pitts model(멕컬로 피츠 모델)   a) step function                   b) sigmoid function           c) rectangular function  그림 3-2. The function of the Unit response  ∎ rectangular function, step function                                f(X)  =    1, X ≧ 0                                               0,  X ≤ 0  ∎ sigmoid function                                f(X)  =   

1.3 Neural Network 3. Network Model ∎ Neural Network model을 상호결합형 네트워크라 한다. ∎ 연결 강도는 학습에 의해 수정되며 unit들은 병렬처리 된다. 1) 계층 구조

1.3 Neural Network 3. Network Model 2)  Foreword 계층구조 3) Feedback 계층구조

1.3 Neural Network 3. Network Model Neural Network 의 분류 Neural Network Feed Back Feed Forward Constructed Trained Liner Non Liner BAM T.S.P Adaline Perceptron Hopfield CAM   Adaptive Resonance Kobonen Supervised Unsupervised Backpro

1.3 Neural Network 4. Learning  Model 1) 뉴로의 학습

1.3 Neural Network 4. Learning Model 2) 지도학습(교사 학습) 2)  지도학습(교사 학습) ∎입력 값과 출력 값을 지정해 주고 학습한다.  ∎ weight를 학습에 의해 최적 weight 값을 구해낸다.

1.3 Neural Network 4. Learning  Model 3) 자율 학습 ∎입력 값만 주고 학습하는 방법