개요 신경회로망(Neural Networks)

Slides:



Advertisements
Similar presentations
김수연 Capstone Design Realization Cost Reduction through Deep Artificial Neural Network Analysis.
Advertisements

인공지능과 예술 <PUBLIC ART 5월호> 뇌 과학자 김대식
한성대학교 멀티미디어 공학과 2011년 신입생 오리엔테이션.
(4) 우리 나라의 이상과 목표 2. 국가의 중요성과 국가 발전 중학교 2학년 도덕
연관규칙기법과 분류모형을 결합한 상품 추천 시스템:
자동차 보험회사의 마케팅 전략 소비자주거학과 김나영 소비자주거학과 조현희
Introduction of Deep Learning
경기도교육정보기록원 월호 월간 사이버보안 소식 경기교육사이버안전센터(GECSC)
Regularization 과적합(overfitting) 문제 Machine Learning.
Training Neural Networks
Machine Learning to Deep Learning_2
Lec 4 Backpropagation & Neural Network
Neural Network - Perceptron
MIS Report 2 제출일: 2008년 11월 04일 과목명: 경영정보시스템 교수명: 이 건창 교수님 성 명:조재선.
원가와 구매관리 원가의 이해 식자재 구매과정 검수절차 식음자재 확인 반품 보고서 작성 검수관리 입고관리 출고관리 재고관리
1. 근접경호의 개념 경호대상의 신변을 보호하기 위하여 지근거리에서 실시하는 호위활동을 말하며 경호행위의 마지막 보루이다.
Smart-phone 액정교체 비용 40만 원 2013년 model 12.0만 원 엣지model 30만 원 20만 원
03. 인쇄광고 알아보기.
Decision Tree 활용 사례 - YT세대의 이동통신사 선호도 조사분석 기말 프로젝트-
무선네트워크 WPA2-Enterprise 설정방법(구글 안드로이드 계열)
전자책도서관 스마트폰 및 태블릿 PC 이용 안내.
2018-2학기 신입학생 오리엔테이션 안내자료 동국대학교 미래융합교육원.
Chapter 5. Q-LEARNING & DEEP SARSA
8장 직접 파일.
신경망 2.
데이터마이닝 데이터마이닝.
소형화된 인공두뇌의 제작과 생물학적 이용에 관한 탐구
제4장 자연언어처리, 인공지능, 기계학습.
1장. 인공 지능 개론 인공 지능(Artificial Intelligence: AI)이란 무엇일까?
Computational Finance
3.2 구조 및 기능 예측 part 1 (Prediction of Structures and Functions)
소형화된 인공두뇌의 제작과 생물학적 이용에 관한 탐구
개요 신경회로망(Neural Networks)
제 3 장 신경회로망 (Neural Networks)
9. 기계학습.
뉴로 컴퓨터 개론 제 1 장 충 북 대 학 교 오 창 석.
인공 신경망의 종류 Hopfield Self-Organizing Map Perceptron
6장 연산 장치 6.1 개요 6.2 연산장치의 구성요소 6.3 처리기 6.4 기타 연산장치.
프로젝트의 관리 및 평가 1. 프로젝트의 관리 2. 프로젝트의 경제성 평가의 개요 2. 평가기법의 모형.
교육과정과 주요업무.
정보 추출기술 (Data Mining Techniques ) : An Overview
3장. 다층 퍼셉트론.
Ch06_인공 신경망.
뇌신경정보학연구사업 인지/추론 : 추론 기술 2002년 11월 15일 숭실대학교 컴퓨터학과 김명원.
뉴로 컴퓨터 개론 제 6 장.
인공신경회로망(Artificial Neural Networks; ANN)
Ch01. 지능형 시스템 개론.
인공지능 소개 및 1장.
라온피플 주식회사 대표이사 이석중 (직인생략)
정보처리학회논문지 B 제10-B권 제1호(2003.2) 김만선, 이상용
4 장. 신경망 오일석, 패턴인식, 교보문고. © 오일석, 전북대학교 컴퓨터공학.
Ch13_ 신경 세포 모델링 : 인공 신경망.
유럽배낭 이것만 알면 OK!! 배낭총괄팀-서유럽.
2015년도 스마트공장 지원사업에 대한 사업비 타당성 평가
인공신경망 실제 적용사례 및 가상사례 조사.
Neural Networks & Deep Learning
개요 신경회로망(Neural Networks)
01. ‘한글뷰어’ 설치 전 준비사항.
신경회로망 Perceptron 알고리즘 윤병국 양락준 양영준.
1학년 신입생 학부모교실 안내사항 2019년 3월 6일 1학년부장 김희선.
시민이 체감하는 편리한 건축인허가 절차 개선 추진.
정보검색 시스템 평가 및 테스트 컬렉션 개발 조영환, 박혁로, 이준호 정보과학회지
다층 퍼셉트론의 학습과 최적화 알고리즘 부산대학교 전자전기컴퓨터공학과 김민호.
신경망 (Neural Networks) (Lecture Note #23)
신경망 (Neural Networks) (Lecture Note #22)
Progress Seminar 선석규.
개요 신경회로망(Neural Networks)
Python 라이브러리 딥러닝 강의소개 정성훈 연락처 : 이메일 :
Deep Learning Basics Junghwan Goh (Kyung Hee University)
Model representation Linear regression with one variable
Presentation transcript:

개요 신경회로망(Neural Networks) 생물학적 시스템의 계산틀 → 컴퓨터로 모방 불가 → 생물학적 정보체계 연구를 위해 시작 - 심리학,신경과학,인지과학, 시스템 이론 병합 기본 작업 학습(learning): 패턴 부류에 따라 신경망의 연결가중치 조정 재생(recall): 학습된 가중치와 입력벡터와의 거리 계산하여 가장 가까운 클래스로 분류 → 사람과 같은 학습 능력: 패턴 분류, 인식, 최적화, 예측 → 기존 인공지능 문제 해결의 새로운 계산틀 제공 (인공)신경회로망 인간의 두뇌작용을 신경 세포들간의 연결관계로 모델링 → 인간의 학습을 모델링

개요 생물학적 뉴런 신경기능 탐구 핵 세포체 신경절 생물학적 신경회로망: 인간의 생체 기능 연구(생물, 생리, 신경과학자) → 동물 생체 실험 → 학습능력의 원천 밝힘 인공신경회로망 - 신경회로망의 기능, 구조를 H/W, S/W적으로 실현 → 수학적 모델 연구(기존의 시뮬레이션으로 구현된 알고리즘을 H/W화) 핵 세포체 신경절 수상돌기 축색돌기

역사 (1943) McCulloch와 Pitts - 신경세포들을 단순 연결한 신경회로망은 산술 및 논리연산을 수행할 수 있다. (1949) Hebb의 법칙 최초의 인공 신경회로망의 학습규칙 제안 신경회로망이 학습을 수행함을 증명 50, 60 년대 단층의 인공세포의 신경회로망 Rosenblatt, Widrow의 Perceptron- 일기예보, 심전도 해석, 인공시각 69년 Minsky 등에 의해 한계 지적(퍼셉트론은 XOR 문제해결 불가) 신경망 연구 침체 → 기호주의 AI 활성화 80 년대 중반이후 기호주의 AI 한계 Hopfield: 신경회로망  에너지 개념 오류역전파 학습 알고리즘(Rumelhart, McCleland): 다층 퍼셉트론 학습 → 신경회로망 연구 부흥

정의 및 특징 신경회로망의 정의, 특징 신경 세포가 신경절로 연결되어 정보전달 노드 또는 처리요소(processing element)를 연결 → 신경회로망 인공 신경회로망의 뉴런(처리요소)의 구조 뉴런1개는 단순기능 → 다중으로 연결되면 강력한 기능(그림9.4 단층) X1 W1 ∑i Xi • Wi -  F X2 W2 OUT = F(∑i Xi • Wi -  ) Wn 다른 뉴런의 입력으로 연결됨 Xn - 1 가중치 입력 임계치

정의 및 특징 신경회로망이 커지고 복잡해질수록 더 나은 기능 수행 다층 신경회로망: 입력층과 출력층 사이에 새로운 층 추가 → 은닉층(hidden layer) 또는 중간층(internal layer) 예를 통한 학습, 일반화, 연상기억, 결함 허용성의 특징을 보인다 예를 통한 학습 - 예를 계속적으로 제시함으로써 원하는 형태의 사상(mapping)을 만듦 : 지도 학습/비지도 학습 일반화 - 학습이 완료된 신경회로망은 학습되지 않은 입력에 대해서도 올바른 결과를 출력 연상기억 - 새로운 입력, 일부 유실된 정보 → 유사한 출력 결함 허용성 - 일부 뉴런 고장, 단절 → 남아 있는 뉴런들에 의해 작동 보장 연결가중치 조정방법 지도학습: 입력이 주어짐에 따라 원하는 출력값이 활성화 되도록 가중치를 조절 (Hopfield 학습규칙, 델타규칙, 오류 역전파 학습규칙) 비지도학습: 목표값 없이 학습 데이터만 입력, 스스로 연결가중치들을 학습 →미리 결정된 해가 불필요 (경쟁학습, ART 모델)

종류 신경회로망 모델 종류 입력형식 학습방식 신경회로망 모델 지도 학습 Hopfield network 지도 학습 및 비지도 Counterpropagation network 이진입력 학습을 결합한 학습 비지도 학습 ART model Perceptron Multilayer Perceptron 지도 학습 실수입력 Competitive learning SOM 비지도 학습

단층 퍼셉트론(Perceptron) 눈의 망막을 모델화함(Rosenblatt) 지도학습, 이진 & 아날로그 입력처리 알고리즘 전체 출력뉴런들에 대하여 계산된 출력값과 목표값과의 차이를 최소화시킴(Widrow-Hoff 규칙(델타규칙)이 유명) →만일 계산된 출력값과 목표값간에 차이가 없으면 연결 가중치는 변경되지 않으며,차이가 있으면 차이를 줄이는 방향으로 가중치를 변경. 학습단계 1단계. 가중치(Wi(0))와 임계치()를 초기화. 2단계. 새로운 입력패턴(X0, X1, … )과 목표출력 패턴(d(t))을 제시 3단계. 하드리미터 함수를 사용하여 실제 출력값(y(t))을 계산 4단계. 가중치를 갱신 5단계. 2단계로 분기하여 반복 수행

AND, XOR 예제 뉴런에 입력되는 가중치의 합이 임계치를 초과하면 1, 아니면 0 AND → W0, W1 : 0.3 or 0.4 입력 출력 X0 X1 AND f XOR X0 W0  = 0.5 Y 입력 출력 1 1 1 X1 W1 1 1 1 1 1

AND의 자동 학습 예 X0=1, X1=1, d=1에 대해(=0.4인 경우), 나머지 3가지에 대해서도 가중치를 변경한 후, 이를 반복 X0 W0(0.2) W1(-0.1) Y 입력 X1 출력 -1 (0.3)

학습된 가중치의 의미 예: W0=0.4, W1=0.2, =0.5 0.4X0 + 0.2X1 = 0.5를 분리선(separating line)으로 사용 X1 2 1 X2 1 2

XOR의 경우 → 만족하는 W0, W1 는 존재하지 않음 → 간단한 XOR 문제도 해결하지 못함 이러한 문제를 해결하기 위해서 2개 또는 3개의 층(layer)을 사용 다층 퍼셉트론: 3층 퍼셉트론으로 어떤 문제도 해결가능 퍼셉트론은 다층 퍼셉트론 및 오류역전파 알고리즘의 기반 모델이 됨 X1 2 1 X2 1 2

다층 퍼셉트론 (Multi-Layer Perceptron) 입력층과 출력층 사이에 하나 이상의 은닉층을 가지는 전방향 신경회로망 단층 퍼셉트론의 문제점을 해결 → 효과적인 학습 알고리즘이 없어서 60-70년대 사용되지 않았다. 80년대 중반 오류 역전파(EBP)알고리즘 학습규칙(Rumelhart) → 일반화된 델타 규칙(generalized delta rule) 알고리즘 : 원하는 목표값(d)과 실제 출력값(o) 사이의 오차제곱합으로 정의된 비용함수(cost function) E의 값을 경사하강추적법(gradient-descent method)에 의해 최소화 하는 방향으로 학습 p: p번째 학습 패턴 Ep: p번째 패턴에 대한 오차 dpj: p번째 패턴에 대한 j번째 요소 opj: 실제 출력의 j번째 요소

2층 퍼셉트론 k M-1 …… ……  k Wkj 임계치 j L-1  j 임계치 Wji i N-1 …… …… Xp0 Xpi k M-1 …… ……  k Wkj 임계치 j L-1  j 임계치 Wji i N-1 …… …… Xp0 Xpi XpN-1

학습 규칙 활성화 함수: 시그모이드 함수 1단계. 가중치와 임계치를 초기화 2단계. 입력과 목표 출력을 제시 입력: 목표출력: 3단계. 제시된 입력벡터를 이용하여 은닉층 j번째 뉴런으로의 입력값 계산 4단계. 시그모이드 함수를 사용하여 은닉층의 출력(Opj)을 계산

5단계.은닉층의 출력을 이용하여 출력층 뉴런 k로의 입력값을 계산 6단계. 시그모이드 함수를 사용하여 출력층의 출력(Opk)을 계산 7단계. 입력패턴의 목표출력(dpk)과 실제 출력 (Opk) 과의 오차값(pk)을 계산하고 출력층 오차합(E)을 학습패턴의 오차(Ep)로 누적 시킨다.

8단계. 출력층 오차값(pk)과 은닉층과 출력층의 가중치값(Wkj)을 이용하여 은닉층의 오차(pj)를 계산한다. 9단계. 4단계와 7단계에서 구한 은닉층 뉴런 j의 출력값(Opj)과 출력층의 오차 값(pk)을 사용하여 출력층의 가중치(Wkj)를 갱신한다(임계치도 조정)

10단계. 출력층에서와 마찬가지로 입력층과 은닉층의 가중치 값과 임계치값을 갱신한다. 11단계. 모든 학습패턴에 대하여 전부 학습 할 때까지 2단계로 분기하여 반복 수행한다. 12단계. 출력층의 오차합 E가 허용값 이하이거나 최대 반복회수보다 크면 종료, 그렇지 않으면 2단계로 가서 반복한다.

예제 Y X1 X2 XOR 문제 해결 사례 -6.3 -9.4 -4.2 -4.2 -2.2 -6.4 -6.4 X1=1, X2=0일 때의 출력 Y Y -6.3 -9.4 -4.2 -4.2 -2.2 -6.4 -6.4 X1 X2

XOR 문제의 자동 학습 초기 상태 1 -0.3 0.4 0.2 2 3 -0.2 0.1 0.1 0.2 -0.1 0.3 -1 4 5

입력 벡터가 (1,1)(X1=1, X2=1)이고 출력 벡터가 0일 때(Y=0) 전방향 전파 (1~6단계)

역방향 전파 (7단계 이후)

신경회로망 응용 화상처리, 문자인식, 음성인식 등의 패턴인식에 많이 응용 패턴인식: 미리 알고 있는 사실과 자료에 따라 미지의 입력을 클래스별로 분류하는 기술 연상기억: 일부 유실 되거나 변형이 가하여진 자료로부터 완전한 정보를 추출하는 기술 최적화 문제: 기존의 디지털 컴퓨터로는 다차 함수 시간 안에 풀 수 없는 NP문제이다. 알고리즘적 한계가 있으므로 Hopfield 신경회로망이나 Kohonen 신경회로망 등을 사용하여 TSP문제, 그래프 색칠하기, 채널 경로배정 문제를 해결 최근에는 정보여과, 데이터 마이닝 등에 응용