운영리스크 고급측정법 모형의 적합성 검증방안에 대한 연구

Presentation on theme: "운영리스크 고급측정법 모형의 적합성 검증방안에 대한 연구"— Presentation transcript:

1 운영리스크 고급측정법 모형의 적합성 검증방안에 대한 연구
조하현 (연세대학교 경제학부 교수) 김현중 (연세대학교 응용통계학과 교수)

2 목 차 1. 적합성검정의 필요성과 범위 2. 분포적합성 2.1. 심도분포 (a) 검정력(power) 기반
목 차 1. 적합성검정의 필요성과 범위 2. 분포적합성 2.1. 심도분포 (a) 검정력(power) 기반 (b) 최적 확률 선택 기반 2.2. 절단된 자료에 대한 적합성검정 (a) 모수 추정 (b) 분포적합성 2.3. 빈도분포의 적합성검정 2.4. 시사점 3. 안정성검증 3.1. 셀(cell)별 OP VaR 안정성 3.2. 투입 요소별 OP VaR 안정성 3.3. 집계화 방법 (Copula) 3.4. 시사점 4. 질적 검증

3 1. 적합성검정의 필요성과 범위 적합성 검정(validation)이란 은행이 리스크 측정에 있어 신뢰성 있는
타당한 방법을 통해 일관되게 평가하는지 여부를 검증하는 것을 의미 적합성 검정의 판단 기준 적절성(appropriateness) : 투입요소의 적절성 일관성(consistency) : 측정 로직의 일관성 안정성(stability) : 산출결과의 안정성 평가 → 운영리스크 고급측정법을 활용하는 은행의 경우, 리스크측정의 자율성이 보장되는 만큼 더욱 엄격한 적합성 검정절차를 확립하고 이를 일관되게 적용해야 함

4 1. 적합성검정의 필요성과 범위 질적 기준 양적 기준 은행에 의한 내부 적합성 검증 리스크 측정 모형에 대한 점검
절차와 구조에 대한 점검 리스크 요소 (빈도, 심도) 모형 설계 데이터의 정확성 보고 및 문제 해결 심사역에 의한 내부 활용 사후 검증 벤치마킹 질적 기준 양적 기준 감독당국의 점검 평가

5 목 차 1. 적합성검정의 필요성과 범위 2. 분포적합성 2.1. 심도분포 (a) 검정력(power) 기반
목 차 1. 적합성검정의 필요성과 범위 2. 분포적합성 2.1. 심도분포 (a) 검정력(power) 기반 (b) 최적 확률 선택 기반 2.2. 절단된 자료에 대한 적합성검정 (a) 모수 추정 (b) 분포적합성 2.3. 빈도분포의 적합성검정 2.4. 시사점 3. 안정성검증 3.1. 셀(cell)별 OP VaR 안정성 3.2. 투입 요소별 OP VaR 안정성 3.3. 집계화 방법 (Copula) 3.4. 시사점 4. 질적 검증

6 2. 분포 적합성 2.1. 심도분포 심도분포의 적합성 검정시 특정 한 가지 방법만을 활용하는 것은 자료의 수가 부족한 운영리스크의 경우 적절하지 않을 가능성 존재 - 특히 손실자료에 좌측절단 여부에 대한 검토 필요 심도분포의 적합성 검정을 위한 최소 데이터 수 : 20개 추천 - 즉, 데이터 수가 20이상이면 적합성 검정을 수행하고, 20미만이면 각 셀에 사전에 결정된 심도분포를 사용하거나, 피벗 셀(pivot cell)의 분포를 따름 데이터 수가 50 이상이면 AIC 혹은 SBC 방법을 사용하는 것이 바람직하나, 자료의 수가 20이상 50미만인 경우에는 AD 방법과 CVM 방법을 고려할 필요 좌측절단이 있는 자료에 대한 적합성 검정 - 좌측절단을 고려한 적합성 검정 결과, 대수정규분포와 와이블 분포에서는 AIC/SBC 방법이, 감마분포에서는 소표본과 중표본에서는 AD2UP 방법이, 대표본에서는 AIC/SBC 방법이 더 우수한 것으로 확인됨

7 2. 분포 적합성 2.1. 심도분포 운영리스크 심도분포의 모형화을 위해 이론적으로 활용 가능한 통계 분포는 대수정규분포(lognormal), 감마분포(gamma), 와이블분포(Weibull), 파레토(Pareto)분포 등이 가능하나, 현재 가장 많이 활용되는 분포는 대수정규분포임 국내은행의 심도분포 활용 현황 분포 은행 수 해당은행 대수정규분포 6 기업, 국민, 외환, 하나, 신한, 우리 감마분포 4 기업, 외환, 신한 와이블분포 3 외한, 신한, 우리 → 대수정규분포는 계산상 편리 등 장점이 있지만 정확한 검증절차 없이 동 분포를 활용하는 것은 리스크를 과소평가(underestimate)할 가능성이 존재함

8 2. 분포 적합성 2.1. 심도분포 분포적합성 검정 방법 Kolmogorov-Simirov 검정(이하 KS검정), Anderson-Darling 검정(이하 AD검정) Cramer-von Mises 검정(이하 CVM검정) KS검정 통계량 : 이론분포의 누적 확률값과 대응되는 실증(empirical) 분포의 누적확률값의 차이 중 최대 차이값을 활용 AD검정 통계량 : KS검정과 유사하지만 꼬리부분에 가중치를 더 부여함으로써 KS검정의 단점으로 지적되는 꼬리부분의 영향을 반영하는 방법 CVM검정 통계량 : 이론분포의 누적 확률값과 그에 대응되는 실제 분포의 누적확률 값과의 차이에 대한 제곱합을 구하는 방법 AIC, SBC 우도함수를 이용하여 최적분포를 선택해주는 방법 AIC(Akaike Information Criterion) 방법과 SBC(Schwartz Bayesian Criterion) 방법 모두 우도함수값에 과도한 모수 활용에 대한 벌칙(penalty)에 해당하는 항 - AIC인 경우 2k/N이며 SBC인 경우 (k*logN)/N이다 - 을 가지고 있음

9 2. 분포 적합성 2.1. 심도분포 (1) 검정력 (power) 기반의 적합성 검정
검정력 기반의 적합성 검정 모의실험 과정 Step ① 임의로 선정된 분포와 모수에 입각하여 n개의 모의실험을 위한 확률표본 생성 Step ② 이전 단계 ①에서 생성된 확률표본에 단계 ①에서 가정한 분포의 적합성 검정을 KS, AD, CVM 등 세가지 방법을 활용하여 수행. 이때 제1종 오류는 5%가 되도록 기각역을 결정함 Step ③ 이전 단계 ②에서 결정된 기각역을 이용하여 귀무가설이 잘못 설정되었을 때 (즉, 잘못된 분포로 설정됨) 귀무가설을 기각하는 확률인 검정력을 산출 Step ④ 이전의 단계 ① ~ ③을 m번 반복 수행 (본 연구에서는 m=1,000) Step ⑤ m번 반복 수행된 KS, AD, CVM 통계량의 검정력에 입각하여 최적 방법 선택

10 ① 소매금융/외부사취 셀의 적합성 검정 (대수정규 vs 와이블분포)
다음 그림은 소매금융/외부사취 셀의 손실자료에 대해 대수정규분포에서 추출한 자료를 활용한 검정결과임 (귀무가설 : 와이블분포) 자료가 대수정규분포로부터 나왔으므로 기각함이 옳은 결정이며 그 기각확률(검정력)을 계산한 결과 소표본이나 중표본에서는 적합성 검정방법들이 유사한 결과를 보이고 있고 대표본에서 AD검정방법이 약간 우수한 결과를 보인다. 대수정규분포 (자료) 대 와이블분포 (귀무가설) 검정력 비교

11 ① 소매금융/외부사취 셀의 적합성 검정 (와이블 vs 대수정규분포)
와이블분포로부터 추출한 자료를 활용한 검정결과 (귀무가설 : 대수정규분포) 자료가 와이블분포로부터 나왔으므로 기각함이 옳은 결정이며 그 기각확률(검정력)을 계산한 결과 소표본이나 중표본에서는 적합성 검정방법들이 유사하며 대표본에서 AD검정방법이 약간 우수한 결과를 보임 와이블분포 (자료) 對 대수정규분포 (귀무가설) 검정력 비교

12 ① 소매금융/외부사취 셀의 적합성 검정 (대수정규분포 vs 감마분포)
대수정규분포에서 추출한 자료의 검정결과(귀무가설 : 감마분포) 자료가 대수정규분포로부터 나왔으므로 기각함이 옳은 결정이며 그 기각확률(검정력)을 계산한 결과 표본크기에 관계없이 AD검정방법이 매우 우수한 결과를 보임 대수정규분포 (자료) 對 감마분포(귀무가설) 검정력 비교

13 ① 소매금융/외부사취 셀의 적합성 검정 (와이블분포 vs 감마분포)
와이블분포( ,3.3745)에서 추출한 자료의 검정결과 (귀무가설 : 감마분포) 자료가 와이블분포로부터 나왔으므로 기각함이 옳은 결정 AD검정방법이 대표본에서 약간 우수한 결과를 보임 와이블분포 (자료) 對 감마분포(귀무가설) 검정력 비교

14 ① 소매금융/외부사취 셀의 적합성 검정 (감마분포 vs 대수정규분포)
감마분포에서 추출한 자료의 검정결과 (귀무가설 : 대수정규분포) 자료가 감마분포로부터 나왔으므로 기각함이 옳은 결정 표본의 크기에 관계없이 AD검정방법이 매우 우수한 결과를 보임 감마분포(자료) 對 대수정규분포(귀무가설) 검정력 비교

15 ① 소매금융/외부사취 셀의 적합성 검정 (감마분포 vs 와이블분포)
감마분표에서 추출한 자료의 검정결과(귀무가설 : 와이블분포) 자료가 감마분포로부터 나왔으므로 기각함이 옳은 결정 소표본에서는 AD검정방법이 우수하나 그 외 표본크기에서는 비슷한 결과를 보임 전반적으로 검정력이 낮은 이유는 감마분포와 와이블분포의 형태가 매우 비슷하기 때문 감마분포(자료) 對 와이블분포(귀무가설) 검정력 비교

16 검정력 (power) 기반의 적합성 검정 - 소매금융/외부사취
소매금융/외부사취 자료에 대한 적합성 검정의 결과를 자료 수를 기준으로 소표본(1개-10개), 중표본(11개-30개), 대표본(30개 이상)으로 분류하여 검정력에 대한 순위를 표로 작성 각 표본크기별로 검정력이 우수한 순서대로 1, 2, 3의 순위를 부여하고 소표본, 중표본, 대표본내의 순위를 합산 전반적으로 AD가 가장 우수하고 소표본과 중표본에서는 KS가 검정력이 높게 나타남 Rank sum (검정력기준) Total 소표본 중표본 대표본 KS 187 103 50 34 AD 170 94 52 24 CVM 234 120 69 45

17 검정력 (power) 기반의 적합성 검정 - 본부지원/유형자산 손실
본부지원/유형자산손실 자료에 대한 적합성 검정의 결과 역시 전반적으로 AD가 가장 우수하고 중표본에서는 KS가 검정력이 높게 나타남 Rank sum (검정력기준) Total 소표본 중표본 대표본 KS 199 100 47 52 AD 182 101 56 25 CVM 248 115 76 57

18 최적확률선택 기반의 적합성 검정 모의실험 과정
(2) 최적확률선택 기반의 적합성 검정 최적확률선택 기반의 적합성 검정 모의실험 과정 Step ① 임의로 선정된 분포와 모수에 입각하여 n개의 모의실험을 위한 확률표본(random samples) 생성 Step ② 이전 단계 ①에서 생성된 확률표본에서 단계 ①에서 가정한 분포의 KS, AD, CVM, AIC, SBC 계산 Step ③ 이전 단계 ① ~ ②를 m번 반복 수행 Step ④ m번 반복 수행된 KS, AD, CVM, AIC, SBC 통계량에 입각하여 최적 검증법 선택

19 소매금융/외부사취 True distribution : 대수정규분포
소매금융-외부사취 셀의 적합성 검정 (평균: 3.129, 분산: ) 대수정규분포를 참인 분포로 설정하여 얼마나 정확한 선택을 하는지를 그림으로 표현한 것으로 1에 가까울수록 정확 결론적으로 AIC와 SBC는 표본 數에 관계없이 우수한 것으로 판단 자료가 대수정규분포인 경우 : 상대적 검정력 비교

20 소매금융/외부사취 True distribution : 와이블분포
와이블분포를 참인 분포로 설정 AIC와 SBC는 표본 數에 관계없이 우수한 것으로 판단 자료가 와이블분포인 경우 : 상대적 검정력 비교

21 소매금융/외부사취 True distribution : 감마분포
소표본에서는 KS가 우수 중, 대표본에서는 AIC와 SBC가 우수 자료가 감마분포인 경우 : 상대적 검정력 비교

22 본부지원/유형자산손실 True distribution : 대수정규분포
소표본에서는 AD, CVM이 우수 중, 대표본에서는AIC와 SBC가 우수 자료가 대수정규분포인 경우 : 상대적 검정력 비교

23 본부지원/유형자산손실 True distribution : 와이블분포
소표본에서는 CVM이 우수 중, 대표본에서는AIC와 SBC가 우수 자료가 와이블분포인 경우 : 상대적 검정력 비교

24 본부지원/유형자산손실 True distribution : 감마분포
AIC와 SBC는 표본 數에 관계없이 우수 자료가 감마분포인 경우 : 상대적 검정력 비교

25 상대적 분포적합성 검정 순위합 : 대수정규분포
AIC, SBC가 상대적으로 우수, 다음으로 AD, CVM, KS 순서임  소매금융/외부사취 셀의 경우 Total 소표본 중표본 대표본 KS 87 45 24 18 AD 58 31 15 12 CVM 65 26 21 AIC/SBC 5 4  본부지원/유형자산 셀의 경우 77 41 23 13 29 11 6 59 22 16 37 7 소매금융/외부사취 & 본부지원/유형자산 자료 총합 결과 164 86 47 43 124 34 38 8

26 AIC, SBC가 상대적으로 우수, CVM이 소표본에서 우수
상대적 분포적합성 검정 순위합 : 와이블분포 AIC, SBC가 상대적으로 우수, CVM이 소표본에서 우수  소매금융/외부사취 셀의 경우 Total 소표본 중표본 대표본 KS 89 44 25 20 AD 58 31 17 10 CVM 43 13 14 16 AIC/SBC 19 7 5  본부지원/유형자산 셀의 경우 90 45 53 30 15 8 57 21 26 6 소매금융/외부사취 & 본부지원/유형자산 자료 총합 결과 179 50 40 111 61 32 18 100 34 12 11

27 AIC, SBC가 상대적으로 우수, KS가 소표본에서 우수
상대적 분포적합성 검정 순위합 : 감마분포 AIC, SBC가 상대적으로 우수, KS가 소표본에서 우수  소매금융/외부사취 셀의 경우 Total 소표본 중표본 대표본 KS 51 11 21 19 AD 64 31 12 CVM 79 44 18 17 AIC/SBC 29 20 5 4  본부지원/유형자산 셀의 경우 48 23 15 10 74 43 25 6 67 38 소매금융/외부사취 & 본부지원/유형자산 자료 총합 결과 99 34 36 138 46 146 82 28 49 8

28 검정력 VS 최적 선택 확률에 관한 comment
검정력 기준 : 전반적으로 AD가 가장 우수 중표본에서는 KS가 우수 최적선택확률 : AIC, SBC가 전반적으로 우수 AIC, SBC는 검정력 기준 하에서 활용 불가능한 방법 그러나, 최적선택확률에 기반을 둔 분포 적합성 검정이 상대적으로 우수하고 이를 활용하는 것이 운영리스크의 경우 적당할 것이라 판단 최소 자료의 수가 약 20개 정도인 경우에 검정력 및 최적 선택 확률이 70%~80% 정도를 유지하는 경우가 다수 존재함. 따라서 분포 적합성 검정을 위한 최소 자료의 수는 20개 정도가 적절할 것으로 판단됨

29 2. 분포 적합성 2.2. 절단된 자료에 대한 적합성 검정 운영리스크 손실분포는 일정 임계치 이상만을 고려하는 절단(truncated)된 형태를 보임 절단분포의 경우 적합성검정에 활용되는 통계량과 모수추정 역시 절단에 의해 영향을 받고 절단을 반영하지 않은 경우 심각한 왜곡을 가져올 수 있음 특히 손실분포의 왼쪽꼬리가 절단(truncated)된 경우 절단사실을 고려하지 않은 모수추정 결과는 일반적으로 평균은 과대추정, 표준편차는 과소추정할 수 있음

30 외국 선진은행 사례 소개 : Credit Lyonnaise
1) 자료1(영업영역1) : 10K 유로 절단 자료 2) 자료2(영업영역1)  : 15K 유로 절단 자료 3) 자료3(industry-pooled data)  : 다수의 절단이 존재 좌측 절단을 고려한 경우의 실제평균과 분산의 차이 실제 임계치 손실 발생 수 표본평균 실제평균 표본표준편차 실제분산 자료1 10k 2000 10.39 8 0.97 4 자료2 15k 2500 10.75 0.95 자료3 10, 20, 50k 5000 10.25 1.00  실제 VaR값에 비하여 자기자본이 과대추정되는 결과를 초래 추정 VaR 실제 VaR 자료1 32.9 37.8 자료2 45.9 자료3 80.1  *크레딧리요네 은행에서 발표한 논문 How to Avoid Over-estimating Capital Charge for Operational Risk?, (2002) 발췌

31 절단된 자료에 대한 T-MLE & MLE 비교 모의실험 과정
Step ① 임의로 선정된 분포와 모수에 입각하여 n개의 모의실험을 위한 절단된 확률표본(random samples) 생성 절단된 확률표본을 생성하기 위하여 절단된 임계치를 평균으로 하는 확률표본을 추가로 생성하고 임계치보다 작은 값을 원래 자료에 포함하여, 절단되기 전의 평균과 분산을 구한다. 이때 추가되는 확률표본의 개수는 원래 자료에 다음과 같은 비율을 적용한다. (n/4, n/2, n, 2n) Step ② 이전 단계 ①에서 생성된 확률표본에서 단계 ①에서 가정한 분포의 모수를 MLE와 절단된 MLE 방법으로 추정 Step ③ 이전 단계 ①~②를 m번 반복 수행 Step ④ m번 반복 수행된 MLE, 절단된 MLE 추정량의 평균제곱오차(MSE)에 입각 최적의 모수추정법 선택

32 좌측절단 자료의 추정 결과 비교 : 대수정규분포의 경우
절단된 자료에 대한 T-MLE & MLE 비교 좌측절단 자료의 추정 결과 비교 : 대수정규분포의 경우 소매금융/외부사취 자료 (추가된 표본 수 : n/4) 대수정규분포에 대한 모수추정에 있어서 통상적인 MLE과 절단된 최우추정법(T-MLE)의 성과를 비교한 결과, (실제 평균과 표준편차는 추가된 표본 數에 따라 달라지며 그림에서는 직선으로 제시) 절단으로 인해 자료의 결측이 발생한 경우 관찰된 자료의 수에 관계없이 T-MLE는 평균을 정확하게 추정하는 것으로 결론 내릴 수 있고, 표준편차의 경우에는 표본수가 10미만인 경우는 과대추정하나 10이상에서는 정확하게 추정하는 것으로 판단 → 즉, 절단이 있는 손실자료의 경우 절단을 고려해야 정확한 추정이 가능

33 절단된 자료에 대한 T-MLE & MLE 결과 비교
좌측절단 자료의 추정 결과 비교 : 대수정규분포의 경우 (추가된 자료의 수가 n/2인 경우) T-MLE의 경우 평균을 정확하게 추정하고 있으나 MLE는 그렇지 못함 T-MLE의 경우 표본 수 10 이상에서는 MLE에 비해 표준편차를 정확하게 추정함 (10 미만일 때 표준편차를 과대 추정함)

34 절단된 자료에 대한 T-MLE & MLE 결과 비교
(1) 좌측절단 자료의 추정 방법 비교 : 대수정규분포의 경우 추가된 표본 수가 n 및 2n의 경우에도 MLE에 비해 T-MLE의 정확도가 높음. (추가된 표본 수 : n) (추가된 표본 수 : 2n)

35 절단된 자료에 대한 T-MLE & MLE 결과 비교
원 자료가 와이블분포인 경우 절단으로 인해 자료의 결측이 발생한 경우 관찰된 자료의 수에 관계없이 T-MLE는 평균을 정확하게 추정함 표준편차의 경우에는 T-MLE는 표본 수 20이상에서는 정확하게 추정 (표본수가 20미만인 경우는 과소추정) (추가된 표본 수 n/4)

36 절단된 자료에 대한 T-MLE & MLE 결과 비교
원자료가 와이블 분포인 경우 (추가된 표본 수 n/2) T-MLE의 경우 평균을 비교적 정확하게 추정하고 있으나 MLE는 그렇지 못함 T-MLE의 경우 표본 수 50 이상에서는 MLE에 비해 표준편차를 정확하게 추정함 (50 미만일 때 표준편차를 과대추정함)

37 절단된 자료에 대한 T-MLE & MLE 결과 비교
절단되기 전의 평균 1.184, 표준편차 (추가된 표본 수 n) 절단되기 전의 평균 1.323, 표준편차 (추가된 표본 수 2n)

38 절단된 자료에 대한 분포 적합성검정 좌측절단을 고려한 경우의 적합성 검정통계량

39 소매금융/외부사취 자료에 대한 분포 적합성검정
좌측 절단된 대수정규분포를 참인 분포로 설정하여 대수정규분포와 와이블, 그리고 감마분포중에서 얼마나 정확한 선택을 하는지를 그림으로 표현한 것으로 1에 가까울수록 정확한 것임 결론적으로 AIC, CVM, KS 방법들이 상대적으로 우수 대수정규분포가 참인 경우 (추가된 표본 수 n/4)

40 소매금융/외부사취 자료에 대한 분포 적합성검정
대수정규분포가 참인 경우 : (추가된 표본 수 n/2)

41 소매금융/외부사취 자료에 대한 분포 적합성검정
대수정규분포가 참인 경우 : (추가된 표본 수 n)

42 소매금융/외부사취 자료에 대한 분포 적합성검정
대수정규분포가 참인 경우 : 절단 전의 평균 1.225, 표준편차 (추가된 표본 수 2n)

43 Rank sum (대수정규분포가 참인 경우)
2.2 절단된 자료에 대한 분포 적합성검정 <표 설명> 좌측 절단된 소매금융/외부사취 자료와 좌측 절단된 본부지원/유형자산손실 자료에 대한 적합성 검정의 결과를 자료 수를 기준으로 소표본(1-10개), 중포본(11-30개), 대표본(31개 이상)으로 분류하여 참분포가 대수정규분포인 경우 검정력을 비교하여 순위를 작성한 것임 AIC가 상대적으로 우수하며 그 다음으로 CVM, KS 순서로 나타남 Rank sum (대수정규분포가 참인 경우) Total 소표본 중표본 대표본 KS 359 158 113 88 ADup 689 360 198 131 AD2up 469 257 111 101 CVM 343 178 96 69 AIC 244 119 78 47

44 2.2 절단된 자료에 대한 분포 적합성검정 Rank sum (와이블분포가 참인 경우) Total 소표본 중표본 대표본 KS
479 256 129 94 ADup 550 214 176 160 AD2up 565 302 148 115 CVM 371 204 98 69 AIC 185 103 49 33 Rank sum (감마분포가 참인 경우) Total 소표본 중표본 대표본 KS 515 256 153 106 ADup 414 141 115 158 AD2up 268 126 66 76 CVM 502 269 143 90 AIC 447 284 119 44

45 2.2 절단된 자료에 대한 적합성검정 결과 정리 T-MLE는 MLE에 비해 평균과 표준편차의 추정 결과에 있어 정확성이 더 높음 이런 결과는 소매금융/외부사취 및 본부지원/유형자산 true distribution이 대수정규분포, 와이블분포, 감마분포 등 모든 경우에 대하여 성립 절단된 자료에 대해 MLE가 아닌 T-MLE를 활용하는 것은 모수 추정 방법론적으로 더욱 정확할 뿐 아니라 금융기관의 입장에서는 운영리스크 자기자본을 감소하는 효과를 가져옴 분포 적합성 검정의 결과는 AIC가 전반적으로 가장 우수한 것으로 나타남 좌측 절단된 감마분포가 true distribution인 경우 AD2UP이 가장 우수한 것으로 나타남

46 2.3 빈도분포의 적합성검정 금융기관의 빈도분포 활용 현황
해당은행 포아송분포 기업, 국민, 외환, 하나, 신한, 우리 연도별 손실발생에 대한 빈도분포는 자료가 충분치 않은 (20개 미만) 경우에는 포아송 분포를 사용 손실빈도에 대한 자료가 충분한 기간(20개 이상)동안 누적된 경우에는 카이제곱 검정 또는 AIC/SBC 방법과 같은 빈도분포에 대한 적합성 검정을 수행해야 함 포아송분포를 활용하는 경우 모수의 안정성에 대한 평가를 해야 함 포아송분포의 모수가 시간에 따라 변하는 경우 비동질적 포아송과정(non-homogeneous Poisson process)에 대한 모형화를 고려하는 것이 바람직 본 연구에 활용된 자료는 3개 년도의 자료이기 때문에 정확한 빈도분포의 적합성 검정을 수행할 수 있지만 그 결과는 신뢰할 수 없을 것이다. 따라서 본 연구에서는 빈도분포로서 포아송분포를 활용할 것이다. 향후 자료가 충분히 축적되면 빈도분포의 적합성검정 역시 반드시 수행되어야 할 것이다.

47 2.4 시사점 심도분포의 적합성 검정은 특정 한 가지 방법만을 활용하는 것은 자료의 수가 극단적으로 부족한 운영리스크의 경우 매우 위험하다 - 특히 손실자료에 좌측절단이 있는지 여부에 따라 검정통계량을 적절하게 선택해야 함 심도분포의 적합성 검정을 위한 최소 데이터 數로서 본 연구진은 20을 추천한다. - 즉, 데이터수가 20 이상이면 적합성 검정을 수행하고, 20 미만이면 각 셀에 사전에 결정된 심도분포를 사용하거나, 영업유형 혹은 손실유형별 피벗 셀(pivot cell)의 분포를 따름 좌측절단을 고려하지 않은 경우, 검정력 기준으로는 AD검정이 우수 - 최적분포선택확률에 의하면 대수정규분포와 감마분포에서는 AIC/SBC, AD순으로, - 와이블분포에서는 AIC/SBC, CVM순으로 우수한 방법으로 판단 좌측절단이 있는 자료에서는 적합성 검정통계량이 달라져야 함 - 대수정규와 와이블에서는 AIC/SBC방법이, 감마분포에서는 소표본과 중표본에서는 AD2UP방법이, 대표본에서는 AIC/SBC방법이 더 우수한 것으로 확인

48 2.4 시사점 (계속) 연도별 손실발생에 대한 빈도분포는 자료가 충분치 않은 (20개 미만) 경우에는 포아송분포를 사용
- 빈도자료의 평균과 분산이 크게 차이가 나면 음이항분포를 고려해야 함 - 손실빈도에 대한 자료가 충분한 기간(20개 이상)동안 누적된 경우에는 카이제곱 검정 또는 AIC/SBC방법과 같은 빈도분포에 대한 적합성 검정을 수행 필요 최우추정법(MLE)은 적률추정법(Method of Moment) 보다 더 안정적인 Op VaR값을 산출 - 심도분포의 좌측절단 사실을 고려하지 않는 경우, 모수 측정이 부정확할 수 있음 심도분포의 좌측절단 사실을 고려한 모수추정법의 경우에는 Op VaR 안정성이 미흡할 수도 있으므로 반드시 안정성을 확인 후 사용해야 함 - 모수 추정에 있어 좌측절단된 분포에 적합한 방법을 사용하면 평균의 추정은 매우 우수한 결과를 보이며 표준편차의 추정은 표본의 크기가 이상에서 더 우수

49 1. 적합성검정의 필요성과 범위 2. 분포적합성 2.1. 심도분포 (a) 검정력(power) 기반 (b) 최적 확률 선택 기반 2.2. 절단된 자료에 대한 적합성검정 (a) 모수 추정 (b) 분포적합성 2.3. 빈도분포의 적합성검정 2.4. 시사점 3. 안정성검증 3.1. 셀(cell)별 OP VaR 안정성 3.2. 투입 요소별 OP VaR 안정성 3.3. 집계화 방법 (Copula) 3.4. 시사점 4. 질적 검증

50 3. 안정성 검증 손실분포의 안전성(stability) 평가방법
셀별 Op VaR의 확률분포를 생성하여 Op VaR의 안전성을 측정함. 붓스트랩 방법(bootstrap method)을 활용 손실분포의 안전성(stability) 평가 절차 내부 손실자료를 활용하여 재표본을 추출하는 방식을 1,000번 반복(replication)하여 추출된 재표본에 모수 추정을 새롭게 함 이를 활용하여 손실분포를 1,000개 생성함 붓스트랩을 활용한 손실분포는 실제 자료에 포함된 극단값에 많은 영향을 받게 됨 붓스트랩 방법은 주어진 자료를 활용하여 반복적으로 자료를 재생산(bootstrap sample)하여 재생산된 자료로부터 적합성을 평가하기 위한 통계량을 반복적으로 계산하는 통계적 기법 이러한 방법은 미래지향적 손실분포의 생성을 위해 모수의 불확실성을 반영하는 방법이며, 또한 Op VaR의 안정성을 비교하는 가장 적절한 방법임

51 심도분포의 변화에 따른 소매금융/외부사취 셀의 Op VaR 안정성
네 가지 심도분포에 의한 Op VaR의 분포는 파레토분포를 제외하면 매우 유사한 형태를 가짐 (추정 방법은 MLE) 파레토분포에 의한 Op VaR의 분포는 fence의 상단의 길이가 길고 다른 분포에 비해 더욱 두터운 꼬리를 가짐 (skew to the left) 나머지 심도분포들을 활용하여 구해진 Op VaR 값의 분포는 차이가 거의 없음 따라서 소매금융/외부사취 셀에 대하여 분포선택에 따른 Op VaR의 안정성이 확립되었다고 잠정적 결론 이상치

52 추정방법에 따른 소매금융/외부사취 셀의 Op VaR 안정성
모수추정방법에 따른 OP VaR의 안정성을 비교 : 적률추정법(MM)과 최우추정법(MLE) 시뮬레이션을 통해 Op VaR 값을 1,000번 생성시키고 그 분포를 상자그림으로 비교 결과적으로 MLE가 MM보다 Op VaR 값을 더 적게 추정하고 있음 Op VaR값들의 표준편차를 비교하면 MLE가 훨씬 더 안정적인 결과를 보임 따라서 추정방법에 따른 OP VaR의 안정성에는 차이가 있음

53 심도분포 & 추정방법에 따른 소매금융/외부사취 OP VaR 안정성
대수정규 와이블 감마 파레토 MM MLE Q1 424.9 416 423 422.6 416.3 327.0 MEDIAN 487.9 474.8 484.1 480.8 484.9 472.9 404.1 MEAN 888.2 515.5 798.8 566.8 733.8 607.3 7568.1 Q3 594.6 557.5 586.6 574.9 586.2 564 608.1 SD 179.91 335.71 641.23   Op VaR값들의 표준편차 비교 : MLE 방법은 MM방법보다 훨씬 더 안정적인 결과를 보임 Op VaR값들의 Median (중위수) 비교 : MLE방법과 MM방법은 유사함 Op VaR값들의 평균 비교 : MLE 방법은 MM방법보다 더 적은 값을 추정함 따라서 추정 방법에 따른 OP VaR의 안정성에는 차이가 있음  MLE를 활용하는 것이 바람직함

54 좌측 절단된 자료에 대한 심도분포 변화에 따른 Op VaR 안정성 (소매금융/외부사취)
좌측 절단된 자료를 이용해 Op VaR값을 1,000번 생성시키고 Op VaR 분포를 상자그림으로 비교 (추정 방법은 MLE) 네 가지 심도분포에 의한 Op VaR의 분포는 파레토분포를 제외하면 매우 유사한 형태를 가짐 파레토분포에 의한 Op VaR의 분포는 fence의 상단의 길이가 길고 다른 분포에 비해 더욱 두터운 꼬리를 가짐 (skew to the left) → 따라서 좌측 절단된 소매금융/외부사취 셀에 대하여 분포선택에 따른 Op VaR의 안정성이 확립되었다고 잠정적 결론

55 좌측 절단된 자료에 대한 추정 방법 변화에 따른 Op VaR 안정성 (소매금융/외부사취)
MM방법은 MLE방법보다 Op VaR 값을 더 크게 추정하고 있음 Op VaR값들의 표준편차를 비교하면 MLE가 훨씬 더 안정적인 결과를 보임

56 좌측 절단된 자료에 대한 심도분포 & 추정 방법 변화에 따른 Op VaR 안정성 (소매금융/외부사취)
대수정규 와이블 감마 파레토 MM MLE Q1 453.2 439.9 482.4 472.5 474.3 450.4 451.4 MEDIAN 522 500.9 565.2 539.2 557 514.2 545.8  MEAN 1160.3 553.2 1225.4 679.9 1472.7 751.7   Q3 632.4 578.1 695.7 634.4 692.1 601.3  816.6 SD 3155.9  235.43    577.00     Op VaR값들의 표준편차 비교 : MLE 방법은 MM방법보다 안정적인 결과를 보임 Op VaR값들의 Median (중위수) 비교 : MLE방법과 MM방법은 유사함 Op VaR값들의 평균 비교 : MLE 방법은 MM방법보다 더 적은 값을 추정함 따라서 추정 방법에 따른 OP VaR의 안정성에는 차이가 있음  MLE를 활용하는 것이 바람직함

57 Op VaR 안정성 (소매금융/외부사취) - 좌측 절단을 고려함 VS. 좌측 절단을 고려하지 않음 -
T-MLE 방법은 MLE에 비해서 Op VaR의 평균이 대체로 약간 낮은 값을 가짐 T-MLE 방법은 MLE에 비해서 Op VaR의 표준편차가 약간 높은 값을 가짐 T-MLE 방법은 MLE에 비해서 Op VaR의 안정성이 낮은 것으로 평가 대수정규 와이블 감마 T-MLE MLE 평균 표준편차 7.495 4.817 7.517 7.238 6.587 6.257

58 셀별 OP VaR 안정성 연구 요약 1) 모수 추정 방법에 따른 Op VaR 값의 안정성에 관한 연구 요약
최우추정법(MLE)은 적률추정법(MM) 보다 더 안정적인 Op VaR값을 산출 심도분포의 좌측절단 사실을 고려하지 않는 경우, 모수 측정이 부정확할 수 있고, 그 결과 운영리스크 자기자본을 정확하게 측정하기 어려움 반면 심도분포의 좌측절단 사실을 고려한 모수추정방법의 경우에는 Op VaR의 안정성이 미흡할 수도 있으므로 반드시 안정성을 확인 후 사용해야 함 모수 추정에 있어 좌측절단된 분포에 적합한 방법을 사용하면 평균의 추정은 매우 우수한 결과를 보이며 표준편차의 추정은 표본의 크기가 이상에서 더 모수추정방법에 따른 Op VaR의 변화가 있으며 안정성이 낮음, Op VaR값의 변동성을 고려하면 MLE에 의한 Op VaR의 안정성이 가장 우수함 MM 방법은 일반적 MLE보다 Op VaR의 안정성이 낮으며, T-MLE는 일반적인 MLE보다 Op VaR의 안정성이 낮음

59 셀별 Op VaR 안정성 연구 요약 2) 분포 선택에 따른 Op VaR 값의 안정성에 관한 연구 요약
빈도분포와 심도분포의 convolution 과정 후 생성된 손실분포는 심도분포의 선택에 의해 큰 영향을 받지 않음, 즉 심도분포에 의한 Op VaR의 안정성은 유지 파레토분포와 같은 극단치이론에 속하는 분포는 Op VaR의 안정성이 미흡 이는 극단치분포의 특성상 당연한 결과로 판단

60 집계화 방법 집계화방법의 주요 내용 및 비교

61 Copula 함수의 추정방법 모수 추정 방법 방법 비고 최우추정법 (Exact Maximum Likelihood
Estimation) 최우추정법은 우도함수를 최대화 하는 추정량을 구하는 방법 정규 코풀라의 경우 아래식을 최대화하는 모수를 찾음 차원이 증가하면, 추정해야 할 모수의 수가 증가하면 효율적이지 못함 모수 추정 방법 방법 비고 IFM 추정법 (Inference Functions for Margins) IFM 추정법은 개별 주변부 확률분포의 모수와 코풀라 모수로 구분할 수 있다는 사실에 근거한 추정 방법. 즉, IFM 방법에 의한 추정은 아래의 두 단계로 나누어짐 최우추정법을 이용하여 개별 주변부 확률분포의 모수를 추정 위 단계에서 구한 주변부 확률분포의 최우추정량을 활용하여 코풀라 모수를 MLE 방법으로 추정 이 방법으로 구한 추정량이 항상 우도함수를 최대화하는 추정량이 아닐 수 있음

62 Copula 함수의 추정방법 모수 추정 방법 방법 비고 CML 추정법 (Canonical Maximum Likelihood)
개별 주변부 확률분포에 대한 모수적 가정 없이 아래 두 단계에 의해 추정하는 방법 IFL 방법과는 달리 개별 주변부 확률분포에 대한 모수적 가정 없이 개별 자료를 실증분포로 변환 후 코풀라 모수를 추정하는 방법 개별 자료를 실증분포 변환 (empirical transformation)을 이용하여 균일분포로 변환 IFM의 단계 (2)와 동일 개별 변수의 확률분포를 명시화 할 필요가 없음 추정해야 할 모수가 코풀라 모수 외에는 없다는 장점을 가짐 실증분포는 자료가 많아야 의미가 있기 때문에 자료의 수가 작으면 문제가 있음 실증분포 변환이란 자료의 확률분포를 정확히 모르는 경우 활용하는 방법으로, 자료의 값보다 큰 자료의 값이 몇 개인지를 누적해서 헤아려 자료의 개수로 나누어주는 변환을 의미 → 본 연구에서는 CML 방법을 활용하여 코플라 모수를 추정하였음

63 Copula함수의 선택 Q-Q plot을 활용하는 방법 실제 자료와 코풀라와의 편차의 제곱합을 최소로 하는 방법
가설 검정을 활용하는 방법 코풀라 A 코풀라 B 자료의 관측값 (점으로 표시)과 직선(이론적 분포로부터 도출) 위에 가까이 있을수록 자료에 적합한 코풀라임 코풀라B가 주어진 자료의 최적 코풀라임

64 Copula함수의 선택 편차의 제곱합을 최소로 하는 최적의 코풀라 선택
비모수 코풀라 Copula A 편차 제곱합 Copula B Copula C 0.007 4.8E-05 4.88E-05 4.75E-05 0.13 1.33E-06 2.63E-05 0.22 2.24E-05 3.63E-08 0.3 1.72E-05 8.32E-05 0.368 4.05E-05 0.449 0.853 0.0046 0.883 생략 0.952 4.01E-07 0.978 2.56E-06 1 QQ plot을 그리는 과정과 동일한 방법으로 비모수적 코풀라와 이론적 코풀라 값을 계산 위 식의 값을 최소화하는 코풀라가 최적의 코풀라 예시 자료의 경우 코풀라 A가 가장 최적의 코풀라.

65 집계화 방법의 Op VaR 결과 비교 전행 차원의 Op VaR 결과
단순합 횡단합 영업영역별 손실유형별 Op VaR 102,114.10 37,126.69 41,356.62 Elliptical Copula Archimedian Copula Gaussian T-copula Gumbel Frank 모수 R R, df=146 Θ=1.02 Θ=0.01 Op.VaR 편차 제곱합 집계화 방법에 따른 OP VaR 산출 결과, 단순합이 가장 크고 주어진 자료의 최적 코플라는 Gaussian copula임

66 셀별 의존성에 따른 Op VaR의 안정성 소매금융/실행전달, 소매금융/외부사취, 소매금융/유형자산 등 3개 셀의 자료를 활용하여 의존성을 구체적으로 파악 셀별 의존성을 파악하기 위해 손실분포(MC-loss), 빈도분포(Frequency), 총손실액(loss amount)의 의존성을 규명하고 이를 활용 셀별 상관계수 상관계수 분석 결과, 빈도와 손실분포의 상관계수는 크기는 다르지만 부호는 동일하게 유지됨 총손실액의 경우 상관계수의 부호가 다른 경우가 발생. 이는 총손실액이 개별 손실액의 영향을 받기 때문인 것으로 판단됨 MC-loss Frequency Loss amount   1.0000      0.0000          1.0000    0.0267        1.0000      0.3934      

67 빈도분포의 상관관계를 반영한 OP VaR 값은 loss amount의 상관관계를 반영한 OP VaR 값 보다 적음
Gaussian t Gumbel Frank 모수 Op VaR MC-loss R (0.080)** (0.083) 1.02 (3.750) 0.01 (0.232) loss amount (0.073)** R, 27 1.04 (0.305) 0.81 (0.085) Freq. (0.146) R, 7 (0.16) (0.06)** (0.59) 빈도에 대한 코플라 활용은 실용적 의미로 작업을 수행함 상단: Op Var 값, 하단: 편차제곱합, **: 최소 편차제곱합 빈도분포의 상관관계를 반영한 OP VaR 값은 loss amount의 상관관계를 반영한 OP VaR 값 보다 적음 이는 셀 간에 음의 상관이 강하기 때문임

68 집계화 방법: 연구요약 전행 차원의 운영리스크 자기자본을 산출하기 위해 셀별 상관성을 반영 가능
- 코플라를 활용하는 경우 최적 코플라 선택의 논리적 기준 필요 Elliptical copula를 활용하는 경우, t-코플라는 가우시안보다는 운영리스크의 특성을 반영하기에 적합하지만 t-코플라는 upper tail과 lower tail의 움직임이 동일하기 때문에 이론적으로 약점이 존재 Archimedean copula를 활용하는 경우 Gumbel 코플라와 같이 upper tail의 의존성을 반영하는 코플라를 선택하는 것이 논리적으로 적절하다고 판단 셀별 의존성 구조는 손실분포, 빈도분포, 혹은 손실액 (loss amount) 등에 의해 측정될 수 있으며, 다양한 상관성을 규명하여 가장 보수적인 자기자본을 산출하여야 함 → 빈도분포가 손실분포의 의존성을 파악하는 일차적 구성 요소이며 핵심적 요소라고 판단, 따라서 빈도분포의 의존성을 우선적으로 파악하여 전행 차원의 손실분포를 생성시키고 그에 따른 Op VaR값을 산출하는 것이 적절하다고 판단

69 셀별 의존성에 관한 연구결과의 시사점 운영리스크 셀별 의존성은 전행 차원의 운영리스크 자기자본에 심각한 영향을 미치는 요인임
과거 자료의 이력이 짧은 상황에서 자료로부터 신뢰할 수 있는 셀별 의존성을 추정하기는 어려움 손실분포의 의존성을 반영하는 모형의 논리적 어려움이 존재함 손실분포의 셀별 의존성의 여부 및 크기의 판정 기준이 필요함 셀별 의존성을 빈도, loss amount, loss distribution의 세 가지 자료로 의존성 파악한 후 가장 보수적인 값을 자기자본으로 적용 가능 빈도의 의존성이 손실액과 손실분포의 의존성을 유발하는 중요한 원인이라고 판단하기 때문에 빈도의 의존성을 규명하고 이를 자기자본산출 또는 내부통제의 목적으로 활용하는 것이 바람직함

70 1. 적합성검정의 필요성과 범위 2. 분포적합성 2.1. 심도분포 (a) 검정력(power) 기반 (b) 최적 확률 선택 기반 2.2. 절단된 자료에 대한 적합성검정 (a) 모수 추정 (b) 분포적합성 2.3. 빈도분포의 적합성검정 2.4. 시사점 3. 안정성검증 3.1. 셀(cell)별 OP VaR 안정성 3.2. 투입 요소별 OP VaR 안정성 3.3. 집계화 방법 (Copula) 3.4. 시사점 4. 질적 검증

71 4. 질적 검증 1) 자료의 완결성 체계 확립 내부 자료의 완결성을 확보하기 위한 자료 분류 기준 체계 및 일관된 관리 체계 확립이 필요하고 정기적인 확인 절차를 명시적으로 거쳐야 한다. 내부 자료의 완결성을 위해 자료의 최초 입력부터 분류까지 일관된 관리 체계를 확립해야 한다. 자료의 분류 기준은 의사결정나무(decision tree) 형태로 명시하여 분류가 애매한 사건의 경우 동 분류 기준에 입각하여 분류하고 확인 절차를 거쳐 활용해야 한다. 2) 시나리오 생성 논리의 일관성 유지 및 평가 결과의 유용성 평가를 위한 체계 확립 무분별한 시나리오 생성 및 평가 결과의 남용을 방지하기 위해 시나리오 생성 논리의 일관성을 유지하고 이를 정기적으로 수정 보완해야 한다. 새로운 영업영역 및 영업환경의 변화를 반영하는 체계를 확립해야 한다. 시나리오 활용은 내부자료의 부족을 해결하는 목적과 미래지향적 손실분포 생성의 목적으로 구분가능하므로 시나리오 적합성검증 역시 두 개로 나누어 별도의 적합성검증 논리를 적용하여야 한다. 시나리오 평가 결과 일정 수준 이상의 이상치는 제거하면서 의견 일치를 위해 지속적인 반복 평가 절차를 확립하는 것이 바람직하다. 평가 결과에 대한 정성적인 검증과 정량적 검증이 체계적으로 필요하다.

72 4. 질적 검증 3) 시나리오 생성 논리의 일관성 유지 및 평가 결과의 유용성 평가를 위한 체계 확립
시나리오 평가 결과의 적합성은 내부 자료의 부족을 위한 시나리오의 경우 은행은 피벗 셀을 정하여 동 셀을 기준으로 과거 발생 패턴 및 추이 분석 등을 활용하여 적정성을 평가하여야 한다. 꼬리부분에 대한 적합성평가 기준은 외부 자료를 활용하여 과거 발생 패턴 및 추이 분석 등을 활용하여 적정성을 평가하여야 한다. 미래지향적 시나리오 평가 결과는 새로운 영업환경의 변화 그리고 잠재적으로 발생 가능한 꼬리 부분의 손실사건을 대비하기 위한 것으로 피벗 셀의 꼬리 부분과 평균과의 거리가 일정하게 유지되는지를 확인하면 된다. 4) 내부 자료와 외부 및 시나리오 평가 자료를 통합하는 방법 통합 방법은 신뢰도이론이나 베이지안 통합 방법 등과 같은 객관적인 접근법을 활용하기를 권고한다. 신뢰도이론을 활용하는 경우 빈도분포와 심도분포의 조정 모수를 활용하여 손실분포를 생성한다. 베이지안 활용의 경우, 사전분포의 선택에 의한 Op VaR에 미치는 영향이 내부 자료가 부족한 경우 상대적으로 크기 때문에 일률적으로 특정 분포를 가정해서는 안 된다. 사전분포의 선택에 따른 규제자본의 변동성을 확인하여 일관된 논리로 사전분포를 선택해야 한다.