Ch13_ 신경 세포 모델링 : 인공 신경망

01_ 신경세포의 모델링과 신경망의 태동: McCulloch and Pitts(1943) 02_헤브의 학습 규칙: Hebb(1949) 03_신경망의 번성과 퍼셉트론: Rosenblatt(1958) 04_LMS 학습 규칙: Widrow and Hoff(1960) 05_신경망의 암흑기: Minsky and Papert(1969) 06_신경망의 부활과 역전파 알고리즘: Rumelhart, Hinton and Williams(1986) 07_패턴인식과 신경망의 구조 08_MATLAB 실습

01_신경세포 모델링과 신경망의 태동 신경 세포의 모델링 나는 뇌를 가진다. 나는 뇌이다. 어느 것이 옳은 문장인가? 인간의 사고와 지능의 뿌리가 뇌라면, 그 메커니즘은 무엇일까? 신경세포의 동작 메커니즘을 모델링 할 수 있을까? 뇌의 적응력이란 무엇인가? 그리고 그것을 어떻게 모델링 할 것인가? 인간의 의식을 기계로 구현하는 것은 가능한가? 컴퓨팅의 기본소자와 패턴분류와 예측은 구현 가능한가?

01_신경세포 모델링과 신경망의 태동 생물학적 신경 세포 생물학적 뇌는 뉴런으로 구성 뇌는 놀라운 적응력이 있어 새로운 생각과 경험에 따라 계속 변화 학습과정을 통해 신경 세포를 재구성 가능 생물학적 신경세포는 수상돌기(dendrite), 축색돌기(axon), 세포체(cell body or soma)로 구성 수상돌기 : 인접 뉴런으로 부터 신경 흥분이 세포체로 입력되는 통로 축색돌기 : 신경 흥분을 전달 세포체 : 일정시간동안의 입력 자극을 세포체에 가중하고 임계치 이상이 되었을때 축색돌기로 자극을 전달

01_신경세포 모델링과 신경망의 태동 맥클로크 –피츠 모델 신경세포를 모델링한 뉴런이라는 매우 단순한 기능을 하는 유닛을 상호 연결하여 네트워크를 구성할 경 우 간단한 논리 연산이 가능하다는 것을 보여줌 생물학적 신경 세포를 모델링 (각 유닛과 가중치 : 모두 변수화) 입력값 : 수치적으로 설정 입력 받는 과정 : 입력값을 변수에 저장 가중치(뉴런간의 연결 세기) : 2차원 배열로 처리 세포체의 기능 : 연산자를 통해 구현 활성화 : 활성화 함수 구현(시그모이드 함수) 신경세포가 가지는 일종의 편견을 바이어스로 구현 (바이어스는 1, 가중치 변경으로 구현)

01_신경세포 모델링과 신경망의 태동 맥클로크 –피츠 모델 AND, OR, NOT 게이트 구현 바이어스 입력을 포함하여 입력이 3개, 출력이 1개인 구조 연결 가중치 설정이 중요

01_신경세포 모델링과 신경망의 태동 맥클로크 –피츠 모델 AND, OR, NOT 게이트 구현 3차원 입력 경우 허나 결정 경계가 2개 필요한 XOR 구현은 불가능 3차원 입력 경우 평면은 연결 가중치로 결정

02_헤브의 학습규칙 연결 강도 결정 방법 : 학습에 의해 연결강도 최적화 헤브의 학습규칙 수식화 연결 강도 결정 방법 : 학습에 의해 연결강도 최적화 어떤 신경세포의 활성이 다른 신경세포가 활성화하는데 계속적인 공헌을 한다면, 두 신경세포간의 연결 가중치를 증가시켜줘야 함. 헤브의 학습규칙 수식화

02_헤브의 학습규칙

03_신경망의 번성과 퍼셉트론 헤브의 학습 규칙을 기초로 발전 로젠 블레트의 퍼셉트론 델타 규칙 이라는 학습규칙 사용 목적 패턴을 이용한 신경망의 학습을 인위로 제어 델타 규칙 : 만일 어떤 신경세포의 활성이 다른 신경세포가 잘못된 출력을 내는데 공헌을 했다면, 두 신경 세포간의 연결 가중치를 그것에 비례하게 조절 퍼셉트론 신경망에 적용된 학습규칙 델타 규칙(Delta Rule)

03_신경망의 번성과 퍼셉트론 델타 규칙

03_신경망의 번성과 퍼셉트론 델타 규칙

04_LMS 학습 법칙 기본 개념 전체 학습 데이터에 대한 전체 오차를 최소화하는 방향으로 연결 강도를 갱신 입력 x에 대한 목표 출력이 y인 경우, 자승 오차 경사 강하법(gradient descent)

04_LMS 학습 법칙 LMS 학습 경사 강하법 연결 강도 갱신 규칙 최소 오차점을 찾기 위해서는 W에 관하여 오차 함수식을 편미분한 결과가 기울기의 크기를 의미함. 그 값이 음의 값을 가지면 그 기울기만큼 ΔW를 이전 연결 강도에 더함. 양의 값을 가지면 그 기울기만큼 ΔW를 빼주는 과정을 반복하면 최소점에 도달할 수 있을 것임. 이러한 방식으로 최적값을 찾아가는 방법을 경사 강하법(gradient descent)이라고 함. 연결 강도 갱신 규칙

05_신경망의 암흑기 신경망의 활발한 연구는 60년대 말 즈음해서 결정적인 계기를 맞이함. 1969년 민스키와 파벳은《Perceptrons》라는 책을 발표함. 퍼셉트론 모델이 선형 분리 기능밖에 없음. 많은 실제 문제를 해결하지 못한다는 퍼셉트론의 한계를 수학적으로 증명함. Ex) 2 개의 2 진 패턴을 2 개의 종류로 분류하는 문제 중 2 개가 같은 것을 한 종류 (B) 로, 다른 것을 2 번째 종류 (A) 로 분류하는 XOR 문제는 2 차원공간에서 최소 2 개의 직선 경계가 필요하고 한 개의 직선으로 경계를 만들 수 없으므로 퍼셉트론으로는 절대 이 문제를 해결하지 못함.

06_신경망의 부활과 역전파 알고리즘 다층 신경망 패턴 인식에서 해결하여야 할 대부분의 입력 패턴은 선형으로 분리 불가능한 문제 이를 해결하기 위하여 우리가 생각해 볼 수 있는 방법은 여러 개의 퍼셉트론을 여러 층으로 연결하여 복잡한 영역을 곡면으로 둘러싸는 결정 영역을 구하는 것. 활성화 함수를 비선형으로 하고 층의 개수가 증가함에 따라 나눌 수 있는 영역이 복잡해 질 때 층의 구조에 따른 결정 경계의 차이를 보여줌.

06_신경망의 부활과 역전파 알고리즘 신경망의 부활 문제는 어떻게 다층으로 연결된 연결 강도를 갱신하는 학습 규칙을 만들 것 인지이다. 사실1960년대 민스키과 페퍼트도 위와 같은 가능성은 알고 있었으나, 이를 학습시킬 수 있는 적절한 학습 규칙을 찾지 못하고 있었던 것이다. 룸멜하트(Rumelhart)와 힌톤(Hinton)은 1980년대 후반에 다층 퍼셉트론에 대한 효율적 학습 방법인 역전파 알고리즘을 개발하였다. 이 알고리즘은 항상 최적해에 수렴하지는 못하지만, 많은 문제에 성공적으로 응용될 수 있는 계기를 만들고 신경망 연구가 부활하는 계기를 마련하게되었다. 1980년대 초 신경망 연구의 부활은 MLP 학습 방법의 발견뿐만 아니라 여러 가지 이유에서 기인한다. 그 중 하나가 컴퓨터의 급속한 발전으로 빠른 시간 내에 시뮬레이션을 해볼 수 있었다는 사실이다. 그리고 신경 생리학의 발전도 간과할 수 없는 사실 중의 하나다. 또한 VLSI 및 광학 기술의 발달로 신경망의 장점인 병렬 특성을 살리는 구현이 가능해진 점을 들 수 있다. 그리고 기존의 인공지능 연구가 한계에 부딪쳤다는 사실도 신경망 연구의 부흥을 가져온 이유 중의 하나라고 할 수 있다.

06_신경망의 부활과 역전파 알고리즘 역전파 알고리즘 이제 신경망의 실용화의 기수라고 할 수 있는 역전파(BP, Back-Propagation) 알고리즘에 관하여 알아보자. 역전파 알고리즘 학습은 전향 단계와 후향 단계로 이루어진다. 학습에서 중요한 것은 연결 강도의 갱신인데 역전파 알고리즘은 후향 단계에서 연결 강도의 갱신이 이루어진다. 전향 단계는 신경 회로망에 입력 패턴을 제시하고, 각 노드에 대해서 입력 함수와 활성화 함수를 이용하여 출력을 산출하는 단계다. 이 때 입력 신호는 전방향, 즉 출력층 방향으로만 전달된다. 초기에 임의로 정한 연결 강도로 인해 출력층에서 출력값과 목표값이 일치하지 않고 큰 오차가 발생하게 될 것이다.

06_신경망의 부활과 역전파 알고리즘 다층 신경망 출력 층이 K개, 은닉층이 j개, 입력층이 i개 일 때 다층 퍼셉트론(MLP)

06_신경망의 부활과 역전파 알고리즘 출력층과 은닉층간의 연결 강도 변화

06_신경망의 부활과 역전파 알고리즘

06_신경망의 부활과 역전파 알고리즘

06_신경망의 부활과 역전파 알고리즘 입력층과 은닉층 간의 연결 강도의 변화

06_신경망의 부활과 역전파 알고리즘 입력층과 은닉층 간의 연결 강도의 변화

06_신경망의 부활과 역전파 알고리즘 입력층과 은닉층 간의 연결 강도의 변화

06_신경망의 부활과 역전파 알고리즘 입력층과 은닉층 간의 연결 강도의 변화

06_신경망의 부활과 역전파 알고리즘

06_신경망의 부활과 역전파 알고리즘

07_패턴 인식과 신경망의 구조 인공신경망은 구조에 따라 전방향 신경망과 패드백형 신경망 구분 학습방법에 따라 감독 학습과 비감독 학습으로 구분

07_패턴 인식과 신경망의 구조 교사 패턴의 설정 방법에 따라 예측과 분류로 구분

08_MATLAB 시뮬레이션

08_MATLAB 시뮬레이션

08_MATLAB 시뮬레이션 3‑입력, 1‑출력 퍼셉트론에 대한 결정 경계

08_MATLAB 시뮬레이션 3‑입력, 1‑출력 퍼셉트론에 대한 결정 경계

08_MATLAB 시뮬레이션 3‑입력, 1‑출력 퍼셉트론에 대한 결정 경계

08_MATLAB 시뮬레이션

08_MATLAB 시뮬레이션

08_MATLAB 시뮬레이션

08_MATLAB 시뮬레이션

Thank You !