12장. 혼성 모델 오일석, 패턴인식, 교보문고, 2008. © 오일석, 전북대학교 컴퓨터공학.

Slides:



Advertisements
Similar presentations
3 학년 -54 명 4 학년 -53 명 3.4 학년 총인원 -107 명 교사 -21 명 초 등 부 총인원 -128 명 2008 년 1 월 인원보고.
Advertisements

기업 인사담당자가 밝힌 면접 합격 비법 취업포털 사람인 ( 기업 인사담당자 397 명 조사 )
가. 3 일 취업완성 ! 성취반 _ 성공 취업 반 1 일차 시간 프로그램 내용비고 17:00 ~ 17:10 출석 및 일정 안내 17:10 ~ 18:10 취업 전략 및 채용 프로세스 이해 18:10 ~ 19:30 입사지원서 작성법 및 주요 기업 에세이 작성법 19:30 ~
취업, 막막하세요 ? 걱정되십니까 ? 성공취업으로 가는 길 『경기청년뉴딜』이 함께 동행해 드립니다 ~ 일시 : ~ 대상 : 2013 년 2 월 졸업예정자 ( 기 졸업자 포함 ) 로서 경기도 거주자 문의 ∙ 접수 : 취업지원센터
객혈의 원인과 치료 국립목포병원 흉부외과 김 대 연 2010 년 9 월 28 일. 국립목포병원 대기중의 공기를 호흡하여 기도를 통하여 기관지를 거쳐 폐포에 이르게 하여 모세혈관을 통하여 산소는 흡수하고 이산화 탄소는 배출하는 가스교환의 과정을 거치게 된다. 이러한 일련의.
제 11 장 여성복지. Contents 1. 여성복지의 이해 2. 우리나라 여성 복지의 발달 3. 여성복지의 접근방법 4. 여성복지의 과제 2.
2007 학년도 수시 2 학기 한성대학교 인문계 구술면접 특강 상상력 CT 한성대학 교.
스토리텔링으로 내 꿈을 이루고 말리라! 천호중학교 스텔꿈바라기. 지속적인 독서활동 및 스토리텔링 으로 인문학적 사고 구축 운영 목적 연작소설 형식 장편소설 [타입캡슐 2044] 구성 시, 소설, 수필, 시나리오 등의 문학작품 만화, 삽화, 그림, 사진 등의 다양한 형식의.
7 월 24 일 7 번째 노사협의에서 분과는 외주업무 3 개에 대해 수정된 ( 안 ) 을 제시하였습니다. - 신호건널목 유지보수 외주화는 전국에 각역에 신호기, 선로전환기, 궤도회로장치, 건널목보 안장치 점검은 지난 몇 년동안에 외함 도색이 미비한 관계로 도색작업으로 대체와,
11 ) 위험예지 훈련 ( 행동요령 ). 22 재난현구분합계 총 계 1, 순 직 공 사 상공 사 상 1, 화재진압 25%
대장암의 검진과 예방 한국산업안전보건공단 대전지역본부 교육정보센터 전 이 구 목 차 대장암 이란 대장암 발생현황 발생원인 대장의 구조 대장내시경 검사 예방을 위한 건강관리 7 질의 및 응답.
세강병원 고정자산 재물조사 총무 UNIT. 1 차 : 2015 년 11 월 10 일 전체공지 2 차 : 2015 년 11 월 11 일 ~2015 년 11 월 18 일 까지 부서별 자료 취합 서면 및 엑셀 파일 작성 3 차 : 2015 년 11 월 19 일 ~ 12 월.
◎ 사회복지학과 ◎ 김금하 김무근 노경림 방미선 정지혜
산업재해보상보험 원무관리 제 5 강 (화) 강의실 9호관 506호 보건행정학과 2학년 B,C반.
乖乖♂坐好 开始♂上课.
제6과 이전에 이런 복통이 있으셨나요? 第六课 您以前有过这样的腹痛吗?
圣诞快乐 乖乖♂坐好 开始♂上课.
아하! 청소년의 성교육은 이렇게!.
한부모가정아동.
원가와 구매관리 원가의 이해 식자재 구매과정 검수절차 식음자재 확인 반품 보고서 작성 검수관리 입고관리 출고관리 재고관리
사 회 6학년 1학기 3. 대한 민국의 발전 [2]민주 시민이 승리하던 날들 (10 /14 ) 5.18 민주화 운동과
“컴퓨터와 소프트웨어 혁명” 이 점 숙 컴퓨터와 인터넷 “컴퓨터와 소프트웨어 혁명” 이 점 숙
인본주의 이론.
7장 환자권리 존중 및 보호 8장 경영 및 조직운영 9장 인적자원관리 12장 의료정보관리
요양병원 수가 및 급여기준 건강보험심사평가원 급여기준실.
1. 설비종합효율과 6대로스 조 업 시 간 계획 부 하 시 간 휴지 정지 고장로스 가 동 시 간 준비작업로스 로스 성능
정보화의 물결 인류사회의 3대 혁명 “제 1강 컴퓨터와 소프트웨어 혁명” 이 점 숙
해야 할일 (To-Do List)  해결내용
직업재활실습 김은비.
4장 접합의 기본.
현대 사회와 정치 제5강. 선거와 정치참여 신라대학교 국제관계학과 교수 이 동 윤.
인간의 신경인지기전의 모델에 기반한 추론/학습기술 개발
심 사 위 원 전 운 천.
머신 러닝 2 ㈜ 퀀트랩.
BLACK OUT 신개념 연합동아리 블랙아웃에서 1기를 모집합니다!
트레이닝의 기본원리 트레이닝의 궁극적인 목적은 발달시키고자 하는 체력요소를 목표 수준까지 증진시키는 것이다. 가 과부하의 원리
V. 인류의 건강과 과학 기술 Ⅴ-3. 첨단 과학과 질병 치료 1. 과학적 진단.
사업 계획서 위기의 남자.
제주북초등학교 영재학급 심화반 6학년 14번 오정훈
SMART-IX AUG.
한국원자력안전기술원 산업방사선이용평가실 서 보 균
2부 ♬ ‘진짜 사나이 - 남자 교사들의 합창으로 분위기를 up시킨다 - 학생들이 아주 실감나게 즐김.
제 17 장 파생상품과 위험관리.
제안개요 1. 프로그램 개요 및 세부일정 교육명 : 경북대학교 삼성 계열사 입사 대비 취업캠프
성공취업사관학교 1기 모집 모집내용 신청방법 문의 1. 교육일정
4.19 혁명의 원인과 과정, 결과 사 회 6학년 1학기 3. 대한 민국의 발전 [2]민주 시민이 승리하던 날들(9/14)
IPHONE용 cross21 사용법 1. 프로그램을 실행하면 아래와 같은 청이 뜹니다.
21st 스쿠터 스핀 138,000108,000M 대호토이즈 아우디 유아전동차 398,000319,000M    오토트랜스봇
본선대회 일정안내.
문서의 제목 나눔고딕 45pt 작성자 | 소속팀 / 상위부서 | 이 문서는 나눔글꼴로 작성되었습니다. 설치하기.
사회복지사무소 시범사업 안내 보 건 복 지 부
7장. 준지도 학습과 전이 학습.
CHAP 10 : 그래프.
건강기능식품 GMP의 적용확대를 위한 제도 발전방안
QI 주제 : 검사 전 환자 확인을 통한 오류감소 활동
1st 과제 Puzzle 개선 강원대학교 김순태.
진행상황 박노열.
|국립해양박물관 무기물보존과학실 환경개선공사(시설물유지관리)|
제목 입력란 그림 340mm x 170mm 글자 크기 30pt, 자간 52pt
문서의 제목 문서의 개요 작성자 이름 소속팀 소속팀 작성년월일
주간 콜센터 운영현황 보고 주간 인입콜 동향 주간 주요 Focus 고객민원 (콜+게시판) 요청사항 금주 진행 사항 차주 계획
K Nearest Neighbor.
생산수준, 고용수준, 잔업수준, 하청수준, 재고수준 결정
15 향 소 제 소사고 제15회 일시|` (목) 9:00~17:00 장소|소사고등학교 교정 th
정신보건 사회복지 제17장.
시민이 체감하는 편리한 건축인허가 절차 개선 추진.
토론의 기술 3 쟁점분석과 입론.
오 늘도 힘들고 어렵더라도 준 수할 원대한 꿈을갖고 석 양을 맞이하자 가중치 (Weighted) 코드   • 각 자릿수가 고유값인 가중치를 가진 코드  • 종류 : 8421코드, 2421 코드 51111코드, 바이퀴너리(Biquinany) 코드, 링 카운터(Ring.
Ⅳ. 기술과 발명 Ⅰ. 청소년의 이해.
성명 : 웹툰 제목 :.
Presentation transcript:

12장. 혼성 모델 오일석, 패턴인식, 교보문고, 2008. © 오일석, 전북대학교 컴퓨터공학

들어가는 말 패턴인식에는 아주 많은 다양한 알고리즘 존재 어느 것이 가장 좋은가? 보편적으로 우수한 알고리즘이 존재하는가? (12.1~12.2 절) 단일 알고리즘의 한계를 인정하고 여러 알고리즘을 결합하는 혼성 모델 (12.3~12.6 절) 여러 알고리즘을 결합하면 가장 좋은 단일 알고리즘보다 좋다는 것이 공통된 의견. 따라서 실용 시스템 구현에서 혼성 모델 많이 사용하는 추세 2019-01-13

12.1 알고리즘의 성능 측정 공학적 관점 특정 문제가 주어진 상황에서 그 문제를 푸는 가장 우수한 프로그램을 설계하는 것이 목표 공학적으로는 ②와 같은 분류기를 선택해야 함 2019-01-13

12.1 알고리즘의 성능 측정 공짜 점심 없음 모든 문제에 대해 다른 모든 알고리즘을 능가하는 알고리즘이 있나? (즉 그림 12.1에서 파란색 성능을 갖는 알고리즘 있나?) 없다.  Wolpert 와 Macready의 공짜 점심 없음 정리 2019-01-13

12.2 재 샘플링에 의한 성능 평가 재 샘플링 기법 데이터베이스의 질적 양적 품질은 인식기의 성능을 좌우함 분류기 모델을 선택하는데에는 훈련 집합 이외에 별도의 검증 집합 필요 현실적인 문제 데이터베이스 수집에는 많은 비용이 든다. 대부분 경우 양이 부족하다. 이런 경우 재 샘플링 기법을 사용하면 성능 측정의 신뢰도를 높일 수 있다. 2019-01-13

12.2 재 샘플링에 의한 성능 평가 교차 검증cross validation 훈련 집합을 k 개의 부분 집합으로 등분한 후, k-1 개로 훈련하고 나머지 한 개로 테스트. 이런 과정을 서로 다른 부분 집합으로 k 번 수행하여 얻은 성능을 평균함 이를 k-겹 교차 검증이라 부름 k=N인 경우 (N은 샘플 개수) 하나 남기기leave-one-out 또는 잭나이프jackknife 기법 2019-01-13

12.2 재 샘플링에 의한 성능 평가 붓스트랩bootstrap 2019-01-13

12.3 혼성 모델의 발상 2019-01-13

12.3.1 동기 사람들의 의사 결정 방식을 모방 여러 알고리즘이 협동하는 방식 여러 전문가의 의견을 듣고 그것을 결합하여 최종 결정을 내린다. 혼성 모델은 이러한 동기에서 출발한다. 여러 알고리즘이 협동하는 방식 2019-01-13

12.3.1 동기 세가지 문제를 풀어야 한다. 앙상블 생성: 여러 전문가를 확보하는 일에 해당 앙상블 선택: 전체 전문가 집단에서 보다 유용한 전문가의 선택에 해당 (선택적) 앙상블 결합: 전문가의 의견을 결합하여 최종 의견을 만드는 과정에 해당 2019-01-13

12.3.2 이유 혼성 모델을 사용하는 몇 가지 이유 나쁜 운을 피할 수 있다. 성능 향상을 꾀할 수 있다. 데이터 양에 따른 어려움을 극복할 수 있다. 데이터 질에 따른 어려움을 극복할 수 있다. 다중 센서 시스템에서 효과적이다. 결정 경계가 너무 복잡한 경우에 효과적일 수 있다. 점진 학습이 가능하다. 2019-01-13

12.4 앙상블 생성 여러 방식 앙상블을 구성하는 요소 분류기들의 다양성은 매우 중요하다. 재 샘플링 기법: 배깅, 부스팅 서로 다른 분류 알고리즘 사용 (예, MLP, SVM, k-NN 등) 서로 다른 특징 부분 집합 사용 앙상블을 구성하는 요소 분류기들의 다양성은 매우 중요하다. 2019-01-13

12.4.1 배깅 붓스트랩을 변형한 기법 Boostrap aggregating 2019-01-13

12.4.2 부스팅 2019-01-13

12.4.2 부스팅 라인 5와 라인 10-12의 가중치 관리가 부스팅의 핵심 라인 5 가중치가 큰 샘플을 보다 잘 맞추도록 분류기 ct를 학습 시킴 여러 구현 방식이 가능 라인 10-12 (가중치를 조절해 줌) 맞춘 샘플은 가중치 낮추어 주고, 틀린 샘플은 높여 준다. 왜? 또는 2019-01-13

12.4.2 부스팅 2019-01-13

12.4.2 부스팅 2019-01-13

12.5 앙상블 결합 2019-01-13

12.5 앙상블 결합 분류기들의 출력 특성 베이시언 분류기와 HMM은 엄밀한 부류 확률을 출력한다. 신경망과 SVM은 실수를 출력하지만 확률이 아님. 확률이 필요한 경우 softmax 함수로 변환한 값을 확률로 간주 2019-01-13

2019-01-13

12.5.1 부류 표지 다수 투표majority voting 가중 다수 투표weighted majority voting 최다 득표자 선택 여러 변형: 과반 득표 또는 만장 일치 가중 다수 투표weighted majority voting 분류기의 신뢰도 αt고려 (Adaboost로 생성한 앙상블의 경우에 적용 가능) 2019-01-13

2019-01-13

12.5.2 부류 순위 먼저 순위를 점수로 환산한다. 보다 계수에Borda count 의한 결합 여러 방식 r 순위에 M-r 점 부여 r 순위에 1/r 점 부여 예) ct가 Rt=(4, 5, 2, 1, 3)T을 출력했다면, 첫번째 방법은 St=(1, 0, 3, 4, 2)T가 되고, 두번째 방법은 St=(0.25, 0.2, 0.5, 1, 0.333)T이 됨 보다 계수에Borda count 의한 결합 2019-01-13

12.5.3 부류 확률 합, 가중 합, 최소, 최대, 메디언, 그리고 곱 규칙 (ct의 출력을 Pt=(pt1, pt2,…, ptM)T으로 표기) 위의 규칙으로 구한 값을 사용하여, (12.12) 식으로 ωq로 분류 2019-01-13

2019-01-13

12.6 앙상블 선택 2019-01-13

12.6.1 다양성 척도 2019-01-13

12.6.1 다양성 척도 Q-통계, 상관 계수, 불일치, 이중 과실 두 개 분류기 간의 다양성을 정의하고 그것으로부터 전체 분류기 다양성 측정 분류기 i와 k 간의 다양성 2019-01-13

12.6.1 다양성 척도 Q-통계, 상관 계수, 불일치, 이중 과실 (계속) T 개 분류기 간의 다양성 모두 [0,1]사이의 값을 가짐 불일치를 빼고 값이 클수록 다양성 떨어짐 (불일치는 반대) 2019-01-13

Q-통계를 계산해 보면, (다른 척도도 계산해 보길…) 세 개 분류기의 10 개 샘플에 대한 인식 결과 n11=6, n00=1, n10=2, n01=1 c1과 c2에 대해 계산해 보면, Q-통계를 계산해 보면, (다른 척도도 계산해 보길…) 2019-01-13

12.6.1 다양성 척도 엔트로피, Kohavi-Wolpert 분산, 그리고 평가자 동의 2019-01-13

2019-01-13

12.6.2 선택 알고리즘 특징 선택 (9 장)과 유사 따라서 9 장의 알고리즘을 그대로 활용할 수 있음 2019-01-13

12.6.2 선택 알고리즘 혼성 유전 알고리즘 자식해를 해집단에 넣기 전에 약간 개선함 미세 조정력 향상 2019-01-13

12.7 알고리즘을 바라보는 관점 아주 다양한 알고리즘이 있다. 개성과 통일 해 봐라. 이들은 근본적으로 다른가? 어느 것을 선택하여 사용해야 하나? 개성과 통일 알고리즘도 개성이 있다. 특성을 충분히 이해해야 적재적소에 활용할 수 있다. 개성이 다르지만 통일성도 지닌다. 이들에 대한 깊은 이해와 높은 통찰력을 지녀야 새로운 아이디어를 창출할 수 있다. 해 봐라. 알고리즘 선택에 마술은 없다. 직접 해 보는 것이 최선이다. 2019-01-13

2019-01-13