목 차 신용평가시스템의 적합성 검증 소매 신용평가시스템의 적합성 검증

Presentation on theme: "목 차 신용평가시스템의 적합성 검증 소매 신용평가시스템의 적합성 검증"— Presentation transcript:

0 국민은행의 소매 신용평가시스템 적합성 검증 현황 국 민 은 행
2006/09/22 국 민 은 행 국민은행

1 목 차 1 2 3 신용평가시스템의 적합성 검증 소매 신용평가시스템의 적합성 검증
목 차 1 신용평가시스템의 적합성 검증 1.1 적합성검증의 개요 1.2 적합성검증의 일반원칙 1.3 양적 적합성 검증 1.4 질적 적합성 검증 2 소매 신용평가시스템의 적합성 검증 2.1 리스크 세그멘테이션에 대한 적합성 검증 2.2 리스크 계량화에 대한 적합성 검증 3 국민은행의 소매 신용평가시스템 적합성 검증 현황 3.1 검증팀 현황 3.2 적합성 검증 프레임 워크(Framework) 개요 3.3 검증 결과 보고 및 문제점 해결

2 1. 신용평가시스템의 적합성 검증 (1/6) 1.1 적합성 검증의 개요 적합성 검증의 의미
리스크 측정치의 변별력과 예측력을 검증하는 것에서부터 신용평가시스템의 활용에 이르기까지 은행의 신용평가시스템을 평가하는 모든 절차를 의미함. 적합성 검증 대상 신용등급이 리스크를 적절히 차별화하는지 여부 리스크 측정 요소에 대한 추정치가 관련 리스크의 특성을 적절히 나타내는지 여부 ※ 참조 : 신용리스크 내부등급법 기본 세부지침(안) ( 금융감독원 : )

3 1. 신용평가시스템의 적합성 검증 (2/6) 적합성 검증의 구성요소 적합성 검증의 책임 은행에 의한 내부 적합성 검증
감독당국의 점검 신용평가시스템의 검증 신용등급 부여 절차의 검증 리스크 측정요소 모형설계 데이터의 정확성 보고 및 문제해결 심사역에 의한 내부활용 질적기준 사후검증 벤치마킹 양적기준 사후검증 안정성 등급 계량화 적합성 검증의 책임 - 은행은 내부등급법에서 사용하는 리스크 측정요소(PD, LGD, EAD 등)를 검증할 책임이 있음.

4 (Comprehensive validation) (Full range of available tools)
1. 신용평가시스템의 적합성 검증 (3/6) 1.2 적합성 검증의 일반 원칙 1.범위 (Scope) 2.책임성 (Accountability) 6.독립성 (Independence) 적합성 검증의 6대 원칙 3.반복성 (Iterative process) 5.포괄성 (Comprehensive validation) 4.다양성 (Full range of available tools)

5 1. 신용평가시스템의 적합성 검증 (4/6) 일반 원칙 내용 원칙 1:범위 원칙 4:다양성 원칙 5:포괄성 원칙 2:책임성
은행의 리스크 추정치의 예측력 및 신용 관련 업무에 신용 등급을 활용하는지 여부 평가 추정치의 미래지향성 신용평가시스템의 변별력 및 등급의 계량화 신용평가시스템의 일관성 예측력 및 정확성 지속적 유지를 의한 감독 및 통제구조 적합성 검증을 위한 다양한 방법 인정 모든 포트폴리오에 적용 가능한 단일한 방법 존재하지 않음 포트폴리오 및 시장별로 상이한 적합성 검증 방법 적용가능 원칙 5:포괄성 적합성 검증은 양적/질적요소를 모두 포함 기술적/수리적 방법을 사용하는 것만으로는 불충분 원칙 2:책임성 적합성 검증의 일차적 책임은 은행이 보유 신용평가시스템에 대한 검증수행 검증작업에 대한 경영진으로 구성된 위원회 검토 및 승인 자체 적합성 검증관련 문서는 승인 신청 서류의 일부분 원칙 6:독립성 적합성 검증 절차 및 결과는 독립적인 제3자의 점검을 받아야 함. 은행의 다양한 통제구조에 따라 다수 또는 단일 부문에서 분산되어 수행가능 내부감사는 적합성 검증절차의 이행 및 효과에 대한 감독 책임 보유 원칙 3:반복성 적합성 검증은 반복적인 절차 은행과 감독당국간 신용평가시스템의 강점 및 약점에 대한 지속적인 대화 필요

6 1. 신용평가시스템의 적합성 검증 (5/6) 1.3 양적 적합성 검증 변별력 안정성 등급의 계량화 양적 적합성 검증 변별력
부도와 정상 차주들을 사전적으로 구별하는 능력 상위 등급의 실제 부도율과 하위등급의 실제 부도율 간의 차이가 클수록 높은 변별력 보유 간주 변별력에 대한 절대치는 제한적 의미(상대적 위험정도 평가) 개발 데이터 집합 및 개발에 사용되지 않는 데이터 집합에 대한 검증 필요(out-of-sample test) 변별력 리스크 요인들과 신용도 간 인과관계의 적절한 모델링 안정성 평가방법 : 통계모형, 전문가 판단모형 통계모형은 리스크 요인에 대한 통계적 신뢰수준 측정 및 상관관계 확인테스트 포함 전문가 판단모형은 동일 조건 하에서 독립적인 제3자의 등급부여시 일관된 결과 산출 여부 점검 안정성 상대적 부도위험에 따라 등급이 부여된 차주들에게 PD를 할당하는 과정 위험의 절대 수준을 평가 등급의 계량화

7 1. 신용평가시스템의 적합성 검증 (6/6) 1.4 질적 적합성 검증 질적 적합성 검증 모형 설계 검증 데이터의 정확성
보고 및 문제해결 신용평가시스템 활용점검 (Use Test) 신용등급을 부여하는 절차가 투명하고 문서화 전산프로그램의 라인별 체크 및 정확한 데이터를 모형에 사용하고 있는지 확인 은행은 시스템에 입력되는 데이터를 상세히 점검하는 절차 보유 내부데이터의 차이 및 조정시 문서화 필요 모든 외부데이터는 적용될 포트폴리오의 특성과 밀접한 관련 은행은 최소 연1회 이상 내부의 부도경험을 기초로 양적기준에 대한 점검 실시 차이가 발생시 이를 분석하여 이사회 또는 경영진에 보고 내부등급에 의해 산출된 리스크 평가에 기초하여 중요한 영업정책에 대한 결정이 이루어지고 있는지 여부 평가

8 2. 소매 신용평가시스템의 적합성 검증 (1/4) 2.1 리스크 세그멘테이션에 대한 적합성 검증 개 요
은행은 리스크 세그멘테이션 절차가 소매 익스포져를 동질적인 리스크 특성을 가진 풀(Pool)들로 분류(Segment) 할 수 있는지 검증해야 함. 세그멘테이션 절차의 결과를 입증하고 확인하는 지속적인 과정 필요함. 지속적인 검증절차는 모형 설계(또는 개발증빙), 절차에 대한 검증, 그리고 사후검증의 과정으로 구성됨. ※ 참조 : 신BIS협약 신용리스크 소매 세부지침(안) ( 금융감독원 : )

9 2. 소매 신용평가시스템의 적합성 검증 (2/4) 세부 내용 모형 설계(또는 개발 증빙) 절차에 대한 검증 사후 검증
세그멘테이션 시스템의 설계와 구조를 분석하여 논리적인 방법론의 건전성을 평가 논리에 대한 평가는 세그멘테이션 절차에 대한 모든 과정을 검증하는데 필수적임. 모형 설계에 사용된 변수들과 방법론을 지지하는 문서화 필요 소매 익스포져의 풀(pool)별 차별화를 입증할 수 있는 경험적 개발 자료 필요 절차에 대한 검증 동질적인 리스크 특성을 가진 풀(pool)들로 지속적으로 잘 분류하는 지에 대한 평가 익스포져를 의도하는 대로 분류(segment)하는지에 지속적인 분석 수행 필요 모니터링의 방법과 결과에 대한 문서화 세그멘테이션 결과에 대한 적정성 확인을 위하여 벤치마킹(benchmarking) 노력 필요 사후 검증 각 세그먼트별로 리스크 측정요소별 추정치와 실제 관측치의 비교 예상 추정치와 실제 결과치 사이의 불일치에 대한 내부적인 허용 수준 수립 필요 불일치에 대한 특정 사유를 인식하고 이를 허용하는 것은 정당화되지 않음. 허용 수준을 넘어서는 경우에 대한 문제 해결 방안 보유

10 2. 소매 신용평가시스템의 적합성 검증 (3/4) 2.2 리스크 계량화에 대한 적합성 검증 개 요
은행은 세그먼트 수준에서 PD, LGD, EAD 에 대한 정확성 및 일관성 을 보장할 수 있는지 검증해야 함. 적합성 검증절차는 리스크 계량화에 대한 모든 과정을 포함해야 함. 매년 리스크 계량화에 대한 포괄적인 적합성 검증을 수행해야 함. 다양한 적합성 검증 방법과 수단을 사용해야 함. 은행은 적합성 검증에 대한 모든 과정이 포함된 정책을 수립해야 함.

11 2. 소매 신용평가 시스템의 적합성 검증 (4/4) 세부 내용 모형 설계(또는 개발 증빙) 절차에 대한 검증 사후 검증
리스크 계량화 절차에 대한 개발 증빙 또는 논리를 평가 리스크 계량화 절차에 대한 모든 과정 검증 (방법론/요인선택/조정/전문적인 판단 등) 검증은 논리적 타당성을 바탕으로 자료에 근거하여 실증적인 기법들을 반영해야 함. 경험적 자료에 설득력 확보 필요 절차에 대한 검증 리스크 계량화 절차에 대한 지속적인 검증 수행 필요 설계된 대로 사용 및 모니터링 되어 수정/개선 되어야 함 모델 결과 조정(Override)에 대한 모니터링 포함 다른 자료 원천이나 방법론을 사용하여 측정요소의 적정성에 대한 벤치마킹 필요 사후 검증 각 세그먼트별로 리스크 측정요소별 추정치와 실제 관측치의 비교 예측 추정치와 실제 결과값 사이의 차이에 대한 내부 허용수준 마련 필요 허용수준을 초과하는 경우에 대한 적절한 대응 방안 보유 필요 대응 방안의 유형들을 개괄적으로 검증 정책에 기술 필요

12 3. 국민은행의 소매 신용평가시스템 적합성 검증 현황 (1/10)
3.1 검증팀 현황 인원 : 9 명 검증대상 신용평가 모델 수 가계 SOHO 개인카드 ASS BSS 신용 담보 ○

13 3. 국민은행의 소매 신용평가시스템 적합성 검증 현황 (2/10)
3.2 적합성 검증 프레임 워크 (Framework) 개요 적합성 검증 (Validation) 개발과정 검증 방법론 검증 성과 검증 적용 검증 데이터 검증 활용 검증 개발과정 자체의 엄격성 평가 개발과정에 대한 문서화의 적정성 개발 데이터 수집/저장 데이터 통제 (원천/정확성) 개발 방법론 문서화 (선택/진행과정) 개발 방법론의 적절성 평가 개발방법의 목표/용도/PD or Score 포트폴리오 특성 선택된 평가요소들 평가요인들의 결합방법 개발방법 이용 및 적용규칙 모델의 한계 검증대상모델의 변별력, 안정성, 계량화를 중점 평가 사전검증/사후검증 벤치마킹 포트폴리오/신용등급별 예상부도율/실제부도율 Type I / Type II 에러 신용위험평가 프로세스가 의도된 대로 준수되는가를 평가 모델적용 검증 프로세스 검증 사용자 매뉴얼 검증 데이터 정의 명시 데이터 적정성 데이터 유효성 데이터 원천 데이터 저장 평가결과에 대한 사용자 이해/신뢰도/활용도가 어느 정도인지 평가 승인/거절 결정 가격결정 자본할당 모니터링 프로세스

14 3. 국민은행의 소매 신용평가시스템 적합성 검증 현황 (3/10)
3.2.1 개발과정검증 (Construction Validation) 구축 프로세스 추적 (Audit trail) 신용평가모델 개발 시에 따랐던 개발 프로세스와 도구들의 적절성 및 문서화 정도 평가 신용평가에 영향을 주는 모든 측면들을 평가 이용 가능한 데이터, 사용된 데이터 처리 기법, 적용된 테스트 기법, 가정사항 등 제3자가 전체과정을 복제할 수 있을 정도로 충분히 정확하게 문서화 등 개발 과정에서의 데이터 통제 개발에 사용된 데이터의 적절성 및 충분성 평가 데이터 원천, 데이터 정의, 데이터 유효성 제거된 데이터 및 그 근거 발생할지도 모르는 이슈 사항들 등 개발 과정에서 사용된 테스트 기준/ 방법론 문서화 채택된 기법(out-of-sample, out-of-time sample 등) 개발 방법론 선택 및 진행과정 지속적인 유지 보수 등

15 3. 국민은행의 소매 신용평가시스템의 적합성 검증 현황 (4/10)
3.2.2 방법론 검증 (Methodology Validation) 이론적 측면에서 개발된 신용평가 모델의 견고성(Robustness)을 평가 신용 평가 모델이 이론적으로 부도 위험을 타당하게 예측하는지 여부 평가 은행 익스포저의 성격 (신용 위험의 동질성 여부) 모델의 목적이 승인/거절인가? 예상부도율을 산출하는 것인가? (예) 통계적인 모델 개발 방법론 : 경험적인 자료에 기초한 방법론 1.변수들의 대표성 2.부도의 정의 3.변수 변환 4.단변량 변수 선정 5.변수의 독립성 6.다변량 변수 선정 7.모형의 가정/한계 8.테스트 결과/ 심각성 정도 등

16 3. 국민은행의 소매 신용평가시스템의 적합성 검증 현황 (5/10)
3.2.3 성과검증 (Performance Validation) 세그멘테이션 (Segmentation) 은행은 소매 익스포져를 특정 세그멘트에 할당하는 기준을 명확히 정의하고 문서화 해야 함. 적합한 세그멘테이션을 결정하기 위한 방법 통계적 여신 승인 모델 또는 신용 평가 모델의 결과값을 세그멘테이션 기준으로 활용 가능 통계적 모델의 입력변수를 세그멘테이션 기준으로 활용 가능 전문가 판단과 통계적 분석을 결합하여 세그멘테이션 기준으로 결정 가능 검증 방법 평점구간(Score Band)/담보유형/경과기간의 유효성 등 평가 신용등급에 대한 CHAID, CART, Clustering 등 기법 이용

17 3. 국민은행의 소매 신용평가시스템의 적합성 검증 현황 (6/10)
변별력 (Discriminatory Power) 신용평가모델의 부도와 정상 계좌들을 구별하는 능력에 대한 평가 지니 계수 (Gini Index) ; ROC 곡선으로 산출하며 계수가 클수록 모델의 변별력이 우수함. K-S 통계량 (Kolmogorov-Smirnov Statistic) ; 우량 누적 비율과 불량 누적 비율의 분포를 이용해서 산출하며 통계량 값이 클수록 변별력이 우수함. 정분류율 (Hit Ratio) ; 실제우량을 우량으로 예측하거나, 실제불량을 불량으로 예측하는 비율을 말하며 비율이 높을수록 변별력이 우수함. <ROC 곡선> 예측 우량 불량 실제 75% 25% 30% 70% K-S 통계량 불량건의 누적(%) 누적(%) 우량건의 누적(%) 1 2 신용등급 10 Hit Ratio

18 3. 국민은행의 소매 신용평가시스템의 적합성 검증 현황(7/10)
안정성 (Stability) 신용평가모델 내에 사용된 리스크 요인들(Risk Factors)과 신용도간의 인과관계(Causality)가 적절히 신용평가모델에 반영되었는지를 평가 모집단 안정성 지수 (PSI : Population Stability Index) - 개발시점의 모집단으로부터 산출한 신용등급별 구성비가 일정시점 경과후인 검증시점에서 얼마나 변화했는지를 측정 - PSI값이 낮을수록 모집단이 안정적임. 등급 변동율 분석 - 개발시의 등급 분포와 검증시의 등급분포 간의 변동율을 분석하여 등급일관성을 평가함. <그림1> <그림2>

19 3. 국민은행의 소래 신용평가시스템의 적합성 검증 현황 (8/10)
등급 계량화 (Calibration) 신용등급내의 예측 부도율과 실제 관측 부도율이 일치하는지, 즉 측정한 부도율이 적합한 값인지를 평가 신용등급별 예측부도율의 범위와 실제부도율의 신뢰구간 (Confidence Interval)을 비교 검증 방법 신용등급별 예측부도율의 범위(Range)와 실제부도율의 신뢰구간 (Confidence Interval)을 비교 부도율의 신뢰구간 부도율 예측부도율 최대값 예측부도율 범위 예측부도율 최소값 설명 검증 부적합 검증결과는 모호하지만 Calibration이 제대로 안됐을 수도 있다는 것을 시사함 추가데이터 분석필요 검증결과는 모호하지만 Calibration이 제대로 실행됨 추가데이터 분석 필요 결과는 모호하지 않음. Calibration의 적정성이 검증됨 검증의견 Calibration 개선 필요 분석 후 조정 필요 적 정

20 3. 국민은행의 소매 신용평가시스템의 적합성 검증 현황 (9/10)
LGD/EAD 검증 검증 내용 검증 방법 LGD 자산군(Segment)별 회수율 분포 대표값 선정 방법 주기적 변동성 여부 부도율과 회수율간의 상관성 등 Segment 적절성 검증 분포 적합성 검증 정규성 검증 대표값 선정 문제 주기성 test 상관분석 등 EAD 자산군(Segment)별 CCF분포 부도율과 CCF의 상관성 등

21 3. 국민은행의 소매 신용평가시스템의 적합성 검증 현황 (10/10)
3.3 검증결과 보고 및 문제해결 검증지침(Validation Guideline) 리스크측정모델 검증지침(2004년 6월 제정) : 총칙/모델검증/검증결과 조치와 사후관리 등. 신용평가시스템 검증치침(2006년 9월 제정 예정) : 총칙/모델검증/양적검증/질적검증 등. 검증 메뉴얼(Validation Manual) 검증 매뉴얼(2006년 9월 완성 ) : 리스크 관련 주요 용어/통계적 test 방법/등급동향 분석 지표 등. 경영진 보고 및 문제해결 리스크 관리 위원회 (Risk Management Committee) 승인 보고 리스크 관리 협의회 (Risk Management Council) 결의 보고 심의/결의 보고 개선권고 (사전검증/사후검증) 모델개발부서 모델검증부서 검증의뢰 검토의견/개선계획 이행결과

22 감사합니다