고객DB정제 및 Data Processing 안내

Presentation on theme: "고객DB정제 및 Data Processing 안내"— Presentation transcript:

1 고객DB정제 및 Data Processing 안내

2 Contents I. 지속적 Data Cleansing 필요이유 II. Data Processing 안내
III. Data Quality 증대 방안 IV. Data Cleansing의 기대 효과

3 I. 지속적 Data Cleansing 필요이유
데이터 품질관리의 속성과 그 효과 데이터의 정확성 Validation Check, Digit Check 데이터의 완전성 Null 여부, Length Check 데이터의 최신성 신 우편번호 적용, 4자리 DDD, 2자리 국변변경 데이터의 활용성 수신 가능한 주소, 전화번호, 여부 Data Cleansing 을 통한 고객만족도 향상 Data Quality Management 가능 기존의 Data Cleansing 기간을 대폭축소 Data Cleansing 결과의 지속적 관리를 통한 Data Quality관리 체계 확립 가능 향후 DQM(Data Quality Management)솔루션으로 Upgrade를 위한 사전 준비로 데이터 품질측정의 기초 데이터로 활용

4 I-1 Data Cleansing의 요구배경
II. Data Processing 안내 CRM Project Challenges 0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% Managing Vendor Relations Adequate Funding Evaluating Technology Remote User Support Executive Support Determining ROI Managing Rollout Customizing Software Matching Tech to Process Getting Users Productive DATA CLEANSING/MANAGEMENT Identifying Process Holes Managing Resistance 고객정보 획득이 어려움 고객정보 통합이 어려움 고객정보의 질을 관리하는데 많은 노력이 소요됨 데이터를 통해 유의미한 정보, 지식 획득이 어려움 [출처: Dun & Bradstreet]

5 I-2 Data Processing의 서비스 범위
II. Data Processing 안내 고객기본정보 중 주소, 전화번호 정제 및 시스템 구축을 1단계 범위로, 외부 DB를 이용하여 주소,전화번호 업데이트 하는 것을 2단계 범위로 예상하고 있습니다. 데이터마이닝에 의한 고객 세분화 타겟팅 데이터 정제 작업의 난이도 Scoring (RFM 등) DW 구축 가구화 DB구축 외부DB Matching (주소, 전화번호 업데이트) 중복처리 외부DB Append (아파트 평형 등) 주소 정제 新우편번호 체계로 변환 연락처정제 고객데이터 수집(ETL) (전화번호 등) (1) 고객데이터 기본 정제 단계 (2) 고객데이터 강화 단계 정제작업범위 작업량의 크기

6 I-3 Data Processing의 실행전략
II. Data Processing 안내 [CRM 자료정리기]의 고객정보 정제 프로세스 및 제공 기능 고객정보 표준화 필드 정형화 중복처리 고객중복로직설정 Merge/Purge (투입 시 유일Rec) 출처 정보 부착 Data 투입 상태 모니터링, 조치] 불량데이터 처리 다양한 형식 (xls,txt,mdb etc.) 의 Data를 통일化 표준 구조화 Data구성 분석 구조 템플릿 고객정보를 필드별 로 정제 주소정형화 (상,하 분리) 우편번호 정제 전화번호 (DDD, 국번) 직장명 정형화 오류정정 등… 하위주소 세분화 DB Matching (집주소,전화번호 등 ) DB Append (아파트평수, 시가 등 ) 가구화 (세대화)

7 I-4 Data Processing의 서비스 내용
II. Data Processing 안내 [CRM 자료정리기]의 상세서비스 내용 서비스 내용 1단계 新 우편번호 변환 주소정보 세분화 전화번호 및 기타필드 정제 주소 정제 한국감정원 APT DB 세부 내용 주소 표준화, 정형화 (주소 상, 번지, 대량우편 배달처, 아파트 등) 행정구역 변경이력적용 정형화 신 우편번호 체계로 시스템적 변환 Eye-Check 필요건 목측수정 실시 집전화, 핸드폰 정보 필드 분리 DDD, 국번 정형화 직장명 정형화 주소세분화 패턴로직을 적용하여 APT DB와 Matching될 수 있도록 하위주소 세분화 한국감정원 APT DB와 Matching하여 평형정보 Append 2단계

8 Customer’s 오류 데이터 처리 방법 설정
I-5 고객정보 정제방안 – Workflow 1 II. Data Processing 안내 고객정보의 주소, 전화번호 필드 정제 프로세스 원본 Data 수령 별표표시는 공영DBM이 노하우를 통해서 가지고 있는 비즈니스 Logic과 Reference DB가 적용되는 부분입니다. Customer’s 오류 데이터 처리 방법 설정 고객사에 “旣” 이용하고 있는 오류데이터에 대한 대한 처리를 수행한다. 新 우편번호 변환 처리 “CRM자료 정리기”를 이용하여 고객 사 주소 데이터에 대한 신 우편번호처리를 수행한다. 주소 상하 분리 고객 주소에 대한 주소 상하에 대한 분리를 수행한다. “CRM자료 정리기”에서 제공되는 기본 패턴을 인식해서 오류 처리를 표시한다. 주소 상하로 분리되지 않은 데이터의 경우 다시 신 우편번호 처리를 수행하여 정확도를 높인다.(아르바이트 활용하여 목측 확인 기본) 에러데이터 오류 처리 (매핑의 정확성 입증) *지금까지의 작업결과로 에러로 판정된 데이터는 “에러데이터”로 정의할 수 있으며, 공영DBM은 목측 확인 후 에러 데이터를 중간 산출물로 전달해 드릴 예정입니다.

9 I-5 고객정보 정제방안 – Workflow 2 II. Data Processing 안내
주소 정형화 및 전화번호 정형화(1차 정형화) 1. 약어 표준화 => 아파트, B/D =>빌딩 ) 2. 오류 정보 정리 ( 주민번호에러 및 전화번호 에러) => 주민번호의 3번째 자리가 0,1이 아닌 것, 5번째 자리가 0,1,2,3이 아닌 것, 4. 주소하 에서 전화번호 및 배송정보 분리 4. 주소하 에서 분리된 정보 중 정상 전화번호 분리 5. 전화번호 필드 중 에러 삭제 및 해당 필드로 이동 => 자택번호 중 핸드폰은 핸드폰 필드로 이동, 6. CUS_NAME(이름) 에러 정리 등 다수 주소 정형화 Rule 적용 22월은 없음. 65일도 없음 콤마를 삭제 주소 내 기타정보 전화번호 분리 주소 하에 있는 전화번호 혹은 기타정보를 해당필드로 분리해낸다. 기존 전화번호 및 분리된 정보를 휴대전화 혹은 자택 / 직장 전화로 정리/이동시킨다.(직장,자택,핸드폰번호 Cross-Checking방식) 전화번호 정리/이동 별표표시는 공영DBM이 노하우를 통해서 가지고 있는 비즈니스 Logic과 Reference DB가 적용되는 부분입니다.

10 별표표시는 공영DBM이 노하우를 통해서 가지고 있는 비즈니스 Logic과 Reference DB가 적용되는 부분입니다.
I-5 고객정보 정제방안 – Workflow 3 II. Data Processing 안내 세분화를 통한 주소 하 의 정형화(2차 정형화) 별표표시는 공영DBM이 노하우를 통해서 가지고 있는 비즈니스 Logic과 Reference DB가 적용되는 부분입니다. 1차 정형화된 데이타 표준화된 주소 하로부터 시스템이 이해할 수 있는 패턴을 추출한다. 주소 하 부분 패턴 추출 해당 고객사에 맞게 Customizing된 패턴이력을 참조한다. 패턴 이력은 데이터 분석가가 패턴이력 프로그램을 이용하여 추가 및 수정작업을 수행할 수 있다. 주소 하 부분 패턴 이력 패턴 적용 참조되어진 패턴을 이용하여 주소하 정보를 세분화 한다. <패턴적용 후 DATA>

11 I-5 고객정보 정제방안 – Workflow 4 II. Data Processing 안내 3차 마무리 정형화 정형화 Data
세분화 처리가 완료 건은 세분화된 주소로 병합 세분화 처리가 미처리 건은 원본을 유지한다. 정형화 Data 전화번호 이동 전화번호에 대한 이동한다. 예) 휴대전화는 휴대전화 필드로 국번변경 우편번호와 전화번호를 이용하여 국번변경을 수행한다.전화번호 변경이력 데이터 적용(경기도 0361,0362등 031)

12 I-6 Appending II. Data Processing 안내 □ 한국 감정원 아파트 정보 Appending
아파트 DB업데이트 맵핑 성공율 적법성 (고객수용도) 지속적인 업데이트 아파트 기준 시가 정보 및 평형 정보를 첨부 시킬 수 있습니다.

13 I-6 Appending 3 II. Data Processing 안내 □ 한국전화번호부 전화번호 업 데이트(1)
법인, 개인에 대한 바뀐 전화번호, 주소를 찾을 수 있다. 전화번호와 주소가 변함이 없는지를 확인할 수 있다.

14 I-6 Appending II. Data Processing 안내 □ 한국전화번호부 전화번호 업 데이트(2) 최신 전화번호
2000만 정리後 데이타 CRM 자료정리기 외부 데이타 속성 이름/전화/주소… 정정 데이타 속성 이름/주소/전화… 정정 데이터 150만 내부고객 300만 보유 데이타 속성 이름/주소/전화/직장명… CJ삼구쇼핑 Name ZIP 주소1 주소5 DDD TEL 수정일 1 홍길동 서울시 마포구 서교동 현대아파트 A동 707 02 최신성 비교 전화번호 Name ZIP 주소1 주소5 DDD TEL 수정일 1 홍길동 서울시 마포구 서교동 대림아파트 5동 1101 02 머지 後 CJ삼구쇼핑 Name ZIP 주소1 주소5 DDD TEL 수정일 1 홍길동 서울시 마포구 서교동 대림아파트 5동 1101 02

15 가구율의 정확성 향상을 위한 주소 하 부분 정밀 세분화
I-7 가구화 II. Data Processing 안내 Enhancement : 가구화 □ 개요 가구화로 고객데이터가 그룹핑 되면 Catalog 제작 및 마케팅비용을 획기적으로 절감하며, 세대별 다양한 마케팅활동을 전개할 수 있다. 데이터 마이닝 등 분석에 변별력을 더할 수 있음. 대부분의 금융상품과 대규모 구매는 출생, 사망, 결혼, 은퇴, 자녀의 입학 등 가족 관계와 밀접한 연관을 맺고 있습니다. 가구化 엔진 가구로 구성 개별 고객데이터가 가구化로 Grouping 되는 Process 주소,전화번호,등 필드 표준화 가구율의 정확성 향상을 위한 주소 하 부분 정밀 세분화 중복고객 처리 (모든 고객을 유일고객으로) 가구패턴 적용을 통해 가구구성 가구관계 구성

16 III. Data Quality 증대방안 수집 정리 평가 활용 해결 방안 마케팅(캠페인) 시스템 방안
프로세스/제도 조직 마케팅(캠페인) 시스템 방안 프로세스 개선(고객접점/입력 /제도) ● 필요 수집 정보 표준화 및 생성(기본/ 마케팅/CRM ) ● ○ 타사 제휴 마케팅 실시 ● ● Data Cleansing Enhancement : 가구화, Appending ● ● Data Quality Audit (개인/조직별) ● 고객정보 획득 /업데이트/활용 ● 고객정보 품질관리 체계 및 운영 ● Data Quality KPI 개발 ● ○

17 수집 정보 표준화 대상 선정 : 기본정보, 마케팅 정보, CRM 정보
III. Data Quality 증대방안 수집 정보 표준화 대상 선정 : 기본정보, 마케팅 정보, CRM 정보 이벤트 기존고객 기존DB Data Cleansing Data Quality Audit(개인/조직별) 입력 DB 통합 통합 DB 활용/ 획득 프로세스(고객접점/입력 /제도) Enhancement - 가구화 - Appending 고객정보 획득/업데이트 고객정보 활용 제휴 마케팅 외부 정보 외부DB 타사 제휴 Data Quality 평가(KPI) 충실도 정확도 활용도 고객정보 품질관리 체계 및 운영

18 III. Data Quality 증대방안 프로세스 개선(고객접점/입력 /제도) 고객접점(원천) 관리 항목
반송/거부 △ 고객DB CLEANSING CRM DB CRM 관리 DB 고객 A 기획→운영→관리 A그룹 -- 기획→운영→관리 --그룹 Z 기획→운영→관리 Z 그룹 캠페인 기획/운영/관리 APPENDING 가구화 모델링 - VIP/우량 /일반/불량 캠페인 이력/고객반응 관리 ○ 고객접점(원천) 관리 항목 - 가족 관계, 관심상품, 구매력 정보(월평균 소득), 직업군, 아파트 평수, Relationship 포인트 (밀착도, 애호도 등 접점에서 개별고객에게 점수 부여) - 고객만족도 : 해피 콜 결과 입력 - 캠페인 관련 자료 : TM/상담/DM이력, DM 유형 등(DM, TM 반송 등 오류정보 flag 및 업데이트/PERMISSION 정보 등) CRM 그룹 프로세스 개선 - 고객세그먼트별 CRM그룹 고객 전담관리화 - 입력 관리 항목 · 고객Response : 캠페인에 대한 반응, 문화행사 등 기타 이벤트 참여 기록 · 스코어 등급 : 마이닝用 분석마트로 부터 고객스코어 등급(후에 로얄, 우량 등으로 고객등급으로 사용) · R점수/F점수/M점수/종합/최우량 표시 : 매년 이력 남겨서 고객 원투원 기간 추이 분석됨

19 Data Quality Audit (개인/조직별)
III. Data Quality 증대방안 Data Quality Audit (개인/조직별) DATA 입력 AUDIT 기능 클린징 Rule 반영 (빈도수가 높은 특정 Pattern 보강) 오류 Data 원인 파악 정확도/충실도 현황 정확도 충실도 REPORT - 오류 유형 Code · 오류 유형 Code 현황 - 개인/부서별 입력오류 유형 및 현황 - 정확도 및 충실도 현황 현업 Feedback

20 III. Data Quality 증대방안 고객정보 품질관리 체계구성 및 운영
□ 고객정보 관리 및 마케팅 Trends Issue Target Customer 고객 Needs의 다양화 및 변동심화 차별적 상품 및 서비스 제공 요구 다양한 정보 습득 채널 생성 고객의 변화 이슈 해결방안 및 전략 Employee 환경변화 경쟁심화 고객정보 습득 요구 확대 확보된 고객정보의 분석 및 활용 요구확대 마케팅 자동화 구현 요구(이벤트 구현 등) 업무 ROI에 따른 효율성 재고 요구 정보기술 발전 고객의 변화 자체 요구 고객 이탈 영업활동 효율성 분석 요구 마케팅 자동화를 통한 서비스 비용 감소요구 기업 이미지 제고

21 III. Data Quality 증대방안 고객정보 품질관리 체계구성 및 운영 고객정보 관리 목적 대상 고객정보 종류
고객정보 관리 방안 Callcenter Internet 고객정보 통합 외부정보 우수고객정보 개인신용평가 최신화 표준화 측정 고객정보 수집 고객정보 기반확대 고객정보 클린징, 표준화로 고객대상 가치모델링 목적 캠페인DB Update 기본정보 마케팅정보 CRM 정보 주소등 연락처 위주 정보 자택주소, 전화번호 직장 주소 등.. 마케팅 활용 가능한 연소득, 주거소유 구분, 주거형태 기념일, 차량정보 등.. 특정업무에서 관리되는 정보 기본정보 및 신용정보를 활용하여 생성한 고객가치 및 스코어 정보 고객정보 기반확대 고객정보 클린징, 표준화로 고객대상 가치모델링 고객정보 수집 표준화 POOL 기준 설정 업무별/부서별 요구 반영 표준화 POOL 확정 고객정보 표준화를 위해서는 업무양식(Business Process) 및 진행 시스템에 대한 변경 (Re-Engineering)이 필요함 고객정보 수집활동 지속적인 업무개선 고객만족 마케팅기반구축 고객정보의 적극 적인 관리, 활용

22 III. Data Quality 증대방안 고객정보 품질관리 체계구성 및 운영 □ 데이터 품질관리 조직 구성
내부 구성원에게 데이터 품질의 중요성 인식시키고 제공 데이터의 신뢰성을 확보하기 위해서는 데이터 전담 관리조직이 필요하며 품질관리 조직의 보유여부는 기관 내부에 적절한 품질관리 기준과 개선의지가 있음을 의미한다. 데이터 품질관리 조직은 데이터를 생성, 활용하는 현업 담당자를 중심으로 구성되어야 하며, 전산 조직은 데이터 품질 관리 업무를 지원하는 역할을 수행하는 것이 바람직하다. 데이터 품질관리 전담 조직의 역할 [조직구성 체계] 데이터 Life Cycle 관리 데이터의 생성 – 수정/변경 – 폐지 및 원칙 관리 데이터 Ownership 관리 데이터 성격, 중요도, 관리 효율성에 따라 중앙 집중 또는 부서별 데이터 오너쉽 정의 및 관리 데이터 품질관리 데이터에 대한 지속적인 모니터링, 측정, 분석 및 개선을 통해 일정 수준이상의 데이터 품질 유지 정보통합관리 데이터 표준관리 절차를 도입하여 통합유 개발 및 운영시 적용함으로써 일관된 정보 서비스 강화 데이터관리총괄 데이터 관리 정책 및 지침마련 전사데이터 관리자 데이터 표준 관리자 표준화 절차 수립 표준 배포 및 정지적 표준점검 전사 데이터 모델 통합관리 데이터 요구사항 조정 및 확정 데이터 관리자 표준확인 후 적용 단위 영역 데이터 모델 통합지원 단위데이터 관리자 데이터베이스 디자인 데이터베이스와 데이터의 형상관리 데이터베이스 모니터링 및 튜닝 데이터베이스 관리자

23 IV. Data Cleansing의 기대 효과
기대효과 데이터 정제의 효과 IT 비용의 절감효과 2. 마케팅 비용 절감 3. 마케팅(Campaign, Delivery) 도달 성공율 증대 고객정보 정제 Net효과 13% 수기 에러 주소 下 無 중복 제거 자택->직장 가구화 편입 전체 고객정보 약 800만 약12만 약 7% (약56만) 정제 후 약 696만 (약 87%) 약 6% (약50만) 매체 비용 절감 효과 매월 약10% 절감 (년 120만부 절감 기준 및 인쇄 1,600원  년간 약 19억원 절감 효과) Targeting 정교화 고객데이터 정제 후 가구단위 데이터 집계하여 고객의 거래 이력을 가지고 단순 RFM 적용 Data Mining보다 Score 그룹에 대한 변별력이 뛰어남 Data 품질관리 시스템 효과 .- 현재의 고객정보 품질상태 평가를 통해 지속적이고 전사적인 고객정보 품질개선 활동 실시 가능

24 IV. Data Cleansing의 기대 효과
비용절감 - 우편요금 추가 감액 효과 구분 월 금액 년 금액 비고 신 우편번호 변환에 의한 우편요금 추가감액 (우편요금의 6%) \ 5,040,000 \60,480,000 월 평균 40만부 DM 발송한다고 가정. 우편요금은 개당 210원이라고 가정 할 경우. (개당 12.6원이 절감) DM 발송 건수 및 DM단가에 따라 차이가 발생할 수 있습니다. 우정사업본부 우편 요금 감액 제도에 의할 경우 우편번호를 6자리까지 구분하고 집배원별 우편번호 사용 바코드 인쇄를 하게 될 경우 최고 6%까지 추가요금 감액 받을 수 있는 제도를 운영하고 있습니다. - 불필요한 불량 주소 정리로 인한 효과 구분 월 금액 년 금액 비고 불량 주소 제거로 인한 절감 (전체 우편요금 제작 및 우편비용의 1%) \ 6,000,000 \72,000,000 고객 당 접촉 비용을 600원이라고 가정(DM 제작비용 및 우편요금 비용) *불량주소의 예 서울시 종로구 63빌딩 456층 DM 발송 건수 및 DM단가에 따라 차이가 발생할 수 있습니다.

25 Contact 찾아오시는 길 - 서울시 금천구 가산동 60-19 SJ테크노빌 12층 1203호~1204호 연락처
- 김 학 범 과장 - Database Marketing Team / - 연락처 - 김 병 혁 컨설턴트 - Database Marketing Team / - 찾아오시는 길 - 서울시 금천구 가산동 60-19 SJ테크노빌 12층 1203호~1204호