CRM에서의 Data Quality Management

Slides:



Advertisements
Similar presentations
회사소개서 ㈜비스데이타시스템
Advertisements

Sogang e-Biz Outsourcing Seminar ASP Network Inc. 애경 산업의 ASP 를 통한 Outsourcing 사례 June, 2001 The following material was used by ASP Network Inc. during.
SQL Server 2005 기반의 Microsoft Business Intelligence 전략 박명은 차장 SQL Technology Specialist 기술사업부 기업고객사업 한국마이크로소프트.
지식정보의 전략적 관리 한국대학교육협의회 중급관리자 핵심역량 개발과정 (2004 년 7 월 15 일 ) 건양대학교 조세형.
2011년 신입사원 교육자료 Draft Text Here Documentation Skill
1. IT 환경 변화 Ⅳ. 프로젝트 추진방안 기업이 당면한 다양한 문제 해결을 위해서 문제를 효과적으로 해결할 수 있는 IT 시스템이 개발되었으며, 이는 기업 내 데이터 발생의 원인으로 작용하고 있음. IT 환경 변화는 단순 데이터가 아닌 다양한 형태의 데이터를 급격하게.
3차원 입체영상 pc방 사업제안서 2005.
표적시장과 유통관리 세분시장의 분석 구매자 세분시장의 규모와 성장성 (Customer)
CRM에서의 고객 세분화를 통한 이탈방지 마케팅 전략
MrDataBld 2.x 제품 소개 2007.
Data Warehouse 이현우
CRM 추진 제안서 OVERVIEW CRM PROCESS 고객 DB 구축 프로세스 고객 DB 분석 프로세스
목차 1. CRM의 개념 2. CRM의 기대 효과 3. CRM의 구축/실행 4. CRM 추진의 걸림돌
2.1 In-Memory Computing 디스크 기반 데이터베이스에서 인메모리 기반 데이터베이스로 BW시스템 전환
CRM : 고객 관계 관리 Process Customer Relationship Management
인사전략과 인적자원개발 Wisdom21 Management Consulting
사업관리 제안범위 End User Computing 재무관리 범위관리 계약관리 품질관리 의사소통관리 자원관리 위험관리 일정관리
Global network Los Angeles N. AMERICA EUROPE ASIA AFRICA S. AMERICA
2018 교육 및 연수 연간 일정표 - KSSA Total Education & Benchmarking Program -
2016 교육 및 연수 연간 일정표 - KSSA Total Education & Benchmarking Program -
사업관리 제안범위 End User Computing 재무관리 범위관리 계약관리 품질관리 의사소통관리 자원관리 위험관리 일정관리
KMS/Portal 에서의 효율적인 정보검색
Database Marketing(DBM)의 효율적 활용방안 연구 (B to C 및 금호그룹의 서비스산업 중심으로)
SAP QUERY SAP R/3 4.6C.
6σ 연계 TPM 추진 안내서 TPM컨설턴트/공학박사/품질기술사 권오운 6σ 연계 TPM 추진 안내서 전체편 6 σ T P M
고객만족경영 추진방법.
경영혁신 트랜드.
INI STEEL 성과관리시스템 구축을 위한 SAP 제안설명회
CRM의 개념과 국내 도입 현황.
Comshare Decision을 이용한 SCM Monitoring
Knowledge Enterprise Portal Solution(iKEP)
Business Strategy & KMS in Financial Industry
교육평가 및 효과측정 시스템 POSCO 인재개발원 홍 성 근.
Enterprise Data Warehouse
데이터마이닝의 소개 Data Mining Introduction
12. 데이터베이스 설계.
최 연식 ( ) EDMS를 활용한 EKP 구축 전략 2002년 09월 04일 성우시스템 주식회사 김 정훈 ( ) 최 연식 ( )
Excel OLAP Reporting / OWC를 이용한
국립중앙박물관 조직 및 기능진단 연구용역 최종보고서
지식저장 및 활용사례 삼성SDS 아리샘 KMS 오승연 책임
[2008년 상반기 신입사원 입문 교육] 비즈니스 프로세스 관리 기술지원센터 기술기획팀.
데이터웨어하우스(DW)
SSAS 변화된 구조와 사용자 분석 화면 구현 우철웅 기술이사 BI 사업부 인브레인.
BPMS의 이해 (Business Process Management System)
고객DB정제 및 Data Processing 안내
SK 4Front KM 방법론 SK C&C.
- Make Processes Manageable -
중소기업청 인사제도 진단 PROJECT 보고서
8.
Dept. of CSE, Ewha Womans Univ.
B S C Balanced Scorecard System 구축 사례
BPR 추진전략 및 사례 1.
품질경영(ISO/FDIS 9001:2008) 개정규격 핵심내용 설명
디지털 시대 CEO의 역할.
장애인고용지원 콜센터 운영 제안서
제 2 장 기업경영이란.
Data Mining.
사업계획/예산수립을 위한 OLAP구현방안
아메바경영의 이해와 실천 Wisdom21 Management Consulting
행 복 한 사 람 들 COOPERATION PROPOSAL 주식회사 해피플 더블적립카드소개
현대백화점 CRM 구축 사례.
- Process 분석 기법 (As-Is, To-Be)
CRM ; 고 객 관 계 관 리 Customer Realationship Managament.
정보 INFRA 구축 RF카드를 이용한 고객관리시스템 구축 에클라트소프트.
현대증권 eMarketing 전략 현대증권/사이버영업지원팀.
울산 신천지구 도시개발사업 용역 제안서 영산대학교 부동산연구소.
【국립정신건강센터】.
목 표 관 리.
E-HR 설계 기본(안) for x x x HR 팀.
DB 마케팅 대행 서비스 안내.
Presentation transcript:

CRM에서의 Data Quality Management 56차 KDMA발표자료 CRM에서의 Data Quality Management 2003. 10. 23 김 홍 식 부장 (SK 주식회사) hskim226@skcorp.com

IV. SK Data Quality Management System Agenda Data Quality 개요 1. Data Quality의 필요성 2. 저품질 데이터로 인해 발생하는 비용 3. Data Quality의 정의 Data Quality Management 개요 1. Data Quality Management 개념도 2. Data Quality Management Framework III. Data Quality Management 활동 1. DB기획업무 2. Data Enrichment 3. Data Process 개선 IV. SK Data Quality Management System V. Conclusion 1. Total Cost of Data Quality 개선활동 2. 제언사항

부정확한 Data로 인한 cost 증가가 있습니까? 1. Data Quality의 필요성 I. Data Quality 개요 부정확한 Data로 인해 발생되는 비용은 전체 수입 또는 예산의 10~25%를 차지하고, 이의 재작업에 소요되는 비용은 일반적인 IT예산 중 40~50% 이상을 차지하고 있어, 미국 등에서는 이를 해결하기 위한 Data Quality 관리활동에 오래 전부터 관심을 쏟아왔음. 부정확한 Data로 인한 cost 증가가 있습니까? Data Strategy 관련 Issue 외국의 Business와 IT관련 최고경영층은 Data Quality Management를 기술분야에서 가장 큰 도전 중 하나로 받아들이고 있음. Not sure 9% Little 4% High 42% - IT분야 Issue Database Performance 16% Management Expectations 17% Business Rule Analysis Moderate 49% 22% * Assential社, Priority Learning社 공동조사 - 아시아지역 100개 우수기업 대상, 2001 Legacy Data Transformation 25% - Non quality data costs End-user Expectations 29% 저품질 정보의 처리 비용 고객LTV, 가망수익의 손실 기업의 Mission달성실패로 인한 잠재된 위험 등 Business Data Modeling 31% Managing Data Quality 46% * The Data Warehouse Institute 조사 - 1,670개 기업 대상, 2000

Gartner의 보고에 따르면, CRM실패의 첫번째 원인은 Data를 무시하는 데에 있다 1. Data Quality 의 필요성 계속 I. Data Quality 개요 Gartner의 보고에 따르면, CRM실패의 첫번째 원인은 Data를 무시하는 데에 있다 (According to a report by Gartner, Inc., the no. 1 reason for CRM failures is ignoring the data) 7 Key Reasons Why CRM Fails, Gartner, Inc.Nelson & Kirkby, 2001 경험상 구축된 DW의 절반 이상이 Data Quality가 부족해 [Information customer의] 기대를 충족시키지 못하고 있다 (Experience is revealing that more than half of data warehouse built fail to meet expectations because of poor information quality) Improving DW and Business IQ, Larry English, 1999 Data Warehousing Institute에 따르면, 미국 기업들은 한 해 6,000억 달러(한화 720조원)이상을 Data Quality문제로 인해 지출하고 있다 (The Data Warehousing Institute estimates that data quality problems cost U.S. businesses more than $600 billion a year) DQ and the Bottom Line, Wayne Eckerson, 2001 CRM실행을 위한 가장 중요한 장벽은 여러 조직에 고립되어 퍼져 있는 Data와 Application, 그리고 운영계를 통합하는 것이다. Integrating disparate distributed data, applications, and legacy systems across multiple organizations is the single most significant barrier to enterprise CRM execution Research Report, Meta Group, 2000

기업의 Mission 달성 실패로 인한 잠재된 위험 2. 저품질 Data로 인해 발생하는 비용 I. Data Quality 개요 저품질 정보의 처리 비용과 고객 LTV 상에서 발생되는 손실, 기업의 Mission 달성이 어려움으로 인해 야기될 수 있는 잠재적인 위험으로 크게 구분될 수 있음. 이 중 저품질 정보의 처리 비용은 즉각적으로 발생되나, 고객 LTV 상의 손실 및 Mission 실패로 인한 위험은 비용 측정이 어렵기 때문에 간과하기 쉬우나 결과적으로는 기업에 훨씬 더 큰 손실을 가져오게 됨. 정보 삭제 및 재작업 비용 Data 수정에 소요되는 비용 (Cleansing 포함) 저품질 정보의 처리 비용 오류/누락된 Data를 찾고 원인을 규명하는 데에 소요되는 비용 불만족한 고객들을 예전 상태로 회복시키는 데에 드는 비용 Process Failure를 복구하는 데에 드는 비용 고객 LTV, 가망 수익 상의 손실 Non quality Data로 인해 놓친 기회에 대한 비용 Non quality Data로 인해 상실된 주주 가치 기업의 Mission 달성 실패로 인한 잠재된 위험 기업의 Mission 달성 실패 해당 사업분야에서의 퇴출 가능성

별도 작업을 통해 정확해진 정보가 D/W로 반영되지 않음 2. 저품질 Data로 인해 발생하는 비용 : 사례1 I. Data Quality 개요 Data Mining 시 Sampling ~ Modification까지 소요되는 시간과 노력이 전 단계의 50~70%를 차지하며, 이후 단계에서 제대로 수정되지 않은 데이터를 Modeling에 사용할 경우, Model의 Quality가 저하되고 잘못된 마케팅 의사결정으로 이끌 수 있음. Data Mining Process < Risk of Non-quality Data > 입력 시점에 부정확 정보가 유입됨 정확하게 수정된 정보가 피드백 되지 않아 D/W 부정확 정보가 정정되지 않음. D/W 별도 작업을 통해 정확해진 정보가 D/W로 반영되지 않음 Sampling 부정확한 Data 추출 부정확 Data의 Scrap 별도 작업을 통해 정확한 Data로 수정하는 비용 발생 대상의 특성을 제대로 설명하지 못하는 Data를 변수로 선택 Exploration 및 Modification Modeling 및 Assessment 부정확한 Data의 사용으로 인한 Model 상의 왜곡 발생 최종 도출된 Model이 현상을 제대로 설명하지 못함. 마케팅 의사결정 잘못된 마케팅 의사결정을 유도함.

2. 저품질 Data로 인해 발생하는 비용 : 사례2 고객 Communication I. Data Quality 개요 Slang으로 입력된 고객명을 고객접촉시에 그대로 사용할 경우, 심각한 고객 불만을 야기하게 되고 기업 이미지에도 나쁜 영향을 미칠 수 있음. 고객 Communication 성명: 개똥이 주민번호: 1111 회원 가입 시 고객이 성명란에 Slang을 기입 D/W Slang에 대한 정제 과정 없이 D/W에 적재 고객 성명 대신 Slang 상태로 고객과 접촉 고객 불만 야기 기업 이미지 하락

3. Data Quality의 정의 I. Data Quality 개요 “ Consistently meeting all knowledge worker and end-customer expectations ” through Data and Data services to accomplish enterprise and customer objectives - Larry English “Consistently” : Data Quality는 일부 지식 노동자가 아닌 전체 지식 노동자의 기대에 부응하는 것으로 Data간의 일치성 유지가 중요 “Meeting” : 모든 Data가 완전무결할 필요는 없으며, 소비자의 Needs에 부합하는 수준이면 됨. “Knowledge Worker & End Customer” : Data가 자신의 업무를 수행하는데 얼마나 도움이 되는지를 근거로 Data Quality가 만족스러운지 아닌지를 결정하는 Information Customer “Expectations” : Information Quality의 실제 목표는 사용자와 이해관계인의 만족을 증대시키는 것이며 최종 사용자의 만족도로 측정되어야만 함

IV. SK Data Quality Management System Agenda Data Quality 개요 1. Data Quality의 필요성 2. 저품질 데이터로 인해 발생하는 비용 3. Data Quality의 정의 Data Quality Management 개요 1. Data Quality Management 개념도 2. Data Quality Management Framework III. Data Quality Management 활동 1. DB기획업무 2. Data Enrichment 3. Data Process 개선 IV. SK Data Quality Management System V. Conclusion 1. Total Cost of Data Quality 개선활동 2. 제언사항

1. Data Quality Management 개념도 II. Data Quality Management 개요 1. Data Quality Management 개념도 Data Quality Management의 목적은 데이터의 충실도와 정확도를 제고함으로써 활용도를 높이고, 이를 통해 마케팅을 보다 효율적/효과적으로 수행할 수 있도록 지원하는 것임. 활용도/중요도 높은 Data를 중심으로 충실도/정확도 제고 DB 기획 Data Enrichment 활용도 제고 충실도 제고 정확도 제고 Data Process 개선 충실도/정확도 제고 통한 Data 활용도 증대 Data Quality Management System

Data Quality Management Data Quality Management System 개발 및 개선 2. Data Quality Management Framework II. Data Quality Management 개요 Data Quality Management는 크게 DB 기획 활동과 Data Enrichment 활동, Data Process 개선 활동으로 구분될 수 있으며, 이에 대한 효율적인 지원을 위한 Data Quality Management System의 개발 및 개선 활동이 병행되어야 함. Data Quality Management DB 기획 Data Enrichment Data Process 개선 전사 변화관리 현황 파악 및 개선 신규 필요 정보 Needs 파악 및 지원 기존 정보 활용 현황 파악 및 지원 고객 DB의 충실도/정확도 현황 조사 Enrichment 대상 데이터 및 방안 선정 Enrichment 활동 수행 데이터의 획득/갱신-관리-활용 단계별 데이터 관리 현황 조사 개선이 필요한 Process 선정 Data Process 개선 작업 수행 Data Quality Management System 개발 및 개선 Merge/Purge Tool DataStat, 컬럼별 통계현황, 메타 데이터 탐색기 등 현재 데이터 충실도 상태를 파악하기 위한 Tool

IV. SK Data Quality Management System Agenda Data Quality 개요 1. Data Quality의 필요성 2. 저품질 데이터로 인해 발생하는 비용 3. Data Quality의 정의 Data Quality Management 개요 1. Data Quality Management 개념도 2. Data Quality Management Framework III. Data Quality Management 활동 1. DB기획업무 2. Data Enrichment 3. Data Process 개선 IV. SK Data Quality Management System V. Conclusion 1. Total Cost of Data Quality 개선활동 2. 제언사항

1. DB 기획 III. Data Quality Management 활동 DB 기획은 데이터 품질의 중요성에 대한 전사 변화관리를 이끌어 전사 구성원들의 품질관리에 대한 Mind-set 형성과 지속적인 품질 개선이 이루어지도록 하는 한편, 마케팅 담당자의 정보 관련 Needs를 파악하여 전사 마케팅 목표 달성 및 신규 사업 기회 창출에 필요한 신규 정보 항목을 정의하고, 기존 정보의 활용을 지원하는 것임. 전사 고객정보 전담 부서 신설 및 운영 관련부서 간 DB기획 협의회를 구성하여 데이터 관련 Issue 협의 및 개선방안 수립 전사 구성원의 Mind-set 형성 및 업무 상의 지속적인 개선을 위한 교육 및 설명회 실시 전사 변화관리 수행 Data 관련 Needs 조사 및 필요 정보 구체화 정보항목별 타당성 조사 수집대상 신규 필요정보 항목 최종 선정 (선정된 정보는 Data Enrichment 활동을 통해 획득함) 신규 필요 정보 Needs 파악 현업 정보 사용자의 Data 활용 활성화를 위한 Application 교육 및 설명회 실시 활용도 조사를 통해 Scrap 대상 데이터 선정 및 활용상의 Issue 도출 (도출된 Issue는 Data Enrichment 및 Process 개선활동을 통해 개선함) 기존 정보 활용 현황 파악 및 지원

2. Data Enrichment Data Enrichment III. Data Quality Management 활동 Data Enrichment는 현업의 마케팅 성과 증대를 위해 필요한 Data를 수집하는 활동으로서, 크게 고객으로부터 직접 획득하거나 외부 Source를 활용하거나 기 보유 정보로부터 추정/파생하는 방법으로 구분할 수 있음. Data Enrichment의 목적 Data Enrichment 활동 현업의 현재 Needs와 향후 Data 활용 Needs를 충족할 수 있는 정보를 제공함으로써 내부고객과 외부고객의 만족을 증진시켜 마케팅효과를 극대화하고자 함. Data Enrichment 활동은 크게 3가지로 구분될 수 있음. 고객으로부터 직접 획득 고객과 접촉하는 모든 경로에서 필요 정보를 수집하는 것으로써, 접촉채널에서의 업무수행 과정 혹은 고객이 마케팅 프로그램에 참여하는 과정에서 정보를 획득하게 됨. 내부고객(마케팅 현업) 만족 증대 외부 고객 만족 증대 외부 Source를 활용한 획득 고객정보의 수집/변경과 관련된 외부 서비스를 활용하여 자사 고객의 정보를 수집 Data Enrichment 기 보유 정보로부터 추정/파생 현재 Marketing Needs New Biz 등 향후 Data 활용 방안 고객으로부터 직접 수집하기 어려운 정보에 대해 거래 정보 및 타 속성 정보로부터 추정/파생함으로써, 마케팅 활동에 필요한 고객정보를 확보하는 것

2. Data Enrichment 계속 III. Data Quality Management 활동 Data Enrichment는 현업에서 발생되는 Data 관련 Needs를 반영하여 대상 정보 및 고객 Segment를 선정하고, 세부 활동 계획을 수립하여 수행한 후, 수행 결과에 대해 효과 분석을 실시하고 결과를 보고하며, 금번 활동을 수행하면서 발생한 Issue 및 시사점을 차기 Data Enrichment 계획 시 반영하는 Cycle로 이루어짐 . Data Enrichment 단계 현업이 마케팅 활동을 수행하는 과정에서 발생하는 Data 관련 Needs를 수집함. 현업의 Data 관련 Needs 수집 Needs가 존재하는 정보 간의 우선순위에 따라, 핵심 고객을 중심으로 정보가 획득/변경될 수 있도록 Enrichment 대상 정보 및 고객 Segment를 선정하는 등, 상세 실행 계획을 수립함. Data Enrichment 활동 계획 대상 정보 및 고객의 특성에 맞춰 다양한 방법으로 Enrichment 활동을 수행함. Data Enrichment 활동 수행 Enrichment 전/후 고객 Data의 상태 비교 및 참여 고객 특성 분석 등 Data Enrichment 활동의 수행 효과를 분석함. 효과 분석 Data Enrichment 결과에 대해 보고하고, Enrichment 활동을 수행하면서 발생한 Issue 및 시사점은 다음 Data Enrichment 활동 기획 시 반영함. 결과 보고 및 Feedback

2. 사례 : 마케팅 프로모션과 연계한 Data Enrichment III. Data Quality Management 활동 2. 사례 : 마케팅 프로모션과 연계한 Data Enrichment 항목 내용 연계 프로모션 주유복권제 진행 Process 주유소/충전소에서 주유 후 수령한 영수증 하단에 기재된 복권번호를 고객이 주유복권제 행사참여를 위해 Enclean,com 에 입력시 고객정보의 입력을 유도함. 대상 고객 Segment 엔크린 유실적 고객 대상 정보 항목 접촉정보 : 자택/직장 주소, 자택/직장 전화번호, 핸드폰, 이메일 차량정보 : 차종, 연식 획득/입력 채널 Enclean.com 실행 기간 연중 실시 고객 인센티브 경품제공

3. Data Process 개선 III. Data Quality Management 활동 Data Process는 Data가 고객이나 외부로부터 획득된 후 DW에 저장되고 현업 Knowledge Worker에 의해 활용되기까지의 전 과정을 의미하며, 입력/갱신  ECTL  추출되는 전 단계에서 Data 품질을 저하시키는 요인이 없는지 모니터링하고 개선하는 활동이 필요함. 고객 대상 마케팅 활동 추출 및 분석 Data Warehouse Strategic/Tactical Knowledge Worker ECTL Repository/ Data Dictionary 추출 Business Data Operational Knowledge Worker Customer 정보 제공 입력 및 갱신 Information Producer External Data

3. Data Process 개선 계속 III. Data Quality Management 활동 Data Process개선활동은 Data 획득/갱신-관리-활용의 3단계 Process로 구분하여 현황을 파악한 후, 데이터 Process상의 Issue를 도출하고, 개선방안을 도출하여 Data품질을 개선하는 제반 활동임. Data 획득/갱신 Process 영역 Data 관리 Process 영역 Data 활용 Process 영역 데이터 생성/갱신 운영계 System 분석계 System 캠페인 수행 System 운영계 A 반응정보 획득채널 DW 표준화 및 통합 DM, EM, SMS Inbound TM 오프라인 운영계 B 반응 및 추가정보 획득채널 In/Outbound TM Web 온라인 이벤트/캠페인을 통해 고객이 획득/갱신한 Data Feedback 고객의 채널별 접촉 반응결과 Feedback Data 획득/갱신 Process : 온/오프라인을 통해 획득된 고객정보가 System 내에 적재되기까지의 과정  정기/비정기 마케팅 프로그램 실행시 고객정보 수집 및 처리현황 파악  데이터 확보/갱신 관련 업무 수행시 고객정보 품질과 관련된 업무 Process 현황 파악 Data 관리 Process : 적재된 Data가 활용을 위한 Application으로 이동하고 활용된 결과가 다시 피드백 되는 과정  운영계 ~ 캠페인 수행 시스템의 Data Flow 및 캠페인 채널별 반응결과 관리 및 활용 현황 파악 Data 활용 Process : 적재된 Data가 마케팅 활동을 위해 추출/활용되는 과정임.  DM/EM/TM 실행을 위한 고객 접촉정보 추출 과정 파악

Data Source Management: 양재천 살리기 Data Quality Management III. Data Quality Management 활동 3. 사례 : Data Process 개선 한강을 살리기 위해 한강의 지천인 양재천 수질 개선 작업을 실시하는 한편, 서울 시민들을 대상으로 생활하수 방지 캠페인을 실시하여 시민들의 인식 및 생활 습관 변화를 유도하고, 이를 통해 자연스레 한강의 수질개선 효과를 얻음. Data Source Management: 양재천 살리기 한강의 제2지천인 양재천 살리기 운동 실시 1) 콘크리트를 흙 제방으로 변경하여 생명체 서식 2) Data 정제: 수초를 이용한 자연 정화 수질정화시설(자갈정화시스템) 도입 Low Quality Data High Quality Data Data Quality Management 변화 관리: 생활하수 방지 캠페인 실시 생활하수를 줄이도록 시민 대상 캠페인 실시 1) 쓰레기 분리수거 2) 오염유발물질 사용 자제  구성원들의 인식 및 생활 습관 변화를 유도

IV. SK Data Quality Management System Agenda Data Quality 개요 1. Data Quality의 필요성 2. 저품질 데이터로 인해 발생하는 비용 3. Data Quality의 정의 Data Quality Management 개요 1. Data Quality Management 개념도 2. Data Quality Management Framework III. Data Quality Management 활동 1. DB기획업무 2. Data Enrichment 3. Data Process 개선 IV. SK Data Quality Management System V. Conclusion 1. Total Cost of Data Quality 개선활동 2. 제언사항

IV. SK Data Quality Management System 1. Merge/Purge System Merge/Purge는 크게 표준화 작업, 부가정보 부여, 결과 보고서 제공의 3단계 업무로 구성됨. Source 1 정제 초기모델 FTP Source 2 M/P 표준화 M/P 부가정보 표준화 결과 Source별 고객 공통 … Apt DB 행정동/ 법정동 우편번호 실명 DB M/P 정제보고서 작성 Step 1. 표준화 작업 이름 주민등록번호 전화번호(자택, 직장, HP) 우편번호 주소(자택, 직장) 등 Benchmarking DB EM/ DM DB : HP DB 결과 보고서 Step 2. 부가정보 부여 추가정보 부여 .주택형태코드, 아파트부가정보, 가구화 등. 접촉정보 정확도 부여 .EM, DM, 핸드폰 정확도 등 DataStat Step 3. 결과 보고서 제공 표준화 항목별 충실도 표준화 오류코드별 분포 등

1. Merge/Purge System : 결과 보고서 예시 IV. SK Data Quality Management System 1. Merge/Purge System : 결과 보고서 예시 M/P 전/후의 Data 상태를 비교하고 각 항목의 오류코드별 건수와 비율을 파악함으로써 데이터별 충실도의 변화 원인을 찾아내고, 이를 바탕으로 Data 처리 process를 개선할 수 있음. [ M/P 전후 상태 비교 ] [ M/P 대상 Data별 오류현황 check ] 항목명 M/P 이전 소스 데이타수 M/P 이전 소스 데이터 기재율(%) M/P 이후 표준화 데이타수 M/P 이후 데이터 충실도(%) 충실도 변화율 항목 코드 에러유형코드 건수 주민번호 정상 3,879,217 자리수 오류 14,018 체크디지트 오류 149,433 생년월일 오류 527 성별 오류 12 자택전화번호 2,116,827 10,128 지역번호 오류 204,062 국번에러(3자리미만,4자리이상) 71,272 핸드폰번호 입력 39,743 직장전화번호 190,973 6,686 8,907 국번에러 (3자리미만,4자리이상) 6,727 12,504 전체 4,043,207 - 4,043,207 - 주민번호 4,043,207 100 3,879,217 95.94 163,990 자택전화 번호 2,442,159 60.4 2,116,827 52.35 325,332 직장전화 번호 229,952 5.69 190,973 4.72 38,979 Example 핸드폰 번호 371,800 9.19 384,761 9.52 -12,961 자택우편 번호 3,570,960 88.32 3,222,352 79.7 348,608 자택주소1 3,461,797 85.62 3,225,030 79.76 236,767 자택주소2 1,909,486 47.23 -1,909,486 직장우편 번호 1,505,547 37.24 291,000 7.2 1,214,547 직장주소1 1,473,622 36.45 291,345 7.2 1,182,277 직장주소2 213,542 5.28 -213,542

IV. SK Data Quality Management System 2. DataStat 항목별로 값이 들어간 건수를 ‘소스 데이터 수’ 및 ‘소스데이터 기재율’로 표시하고, 해당 항목에 대해 Merge/Purge Process 및 다른 Data Source를 통해 보완되거나 좀더 정확해진 정도를 ‘타겟 데이터 수’ 및 ‘타겟 데이터 충실도’로 표시함.

IV. SK Data Quality Management System 3. COSMOS : Column Statistics Monitoring System DB 내 모든 Column에 대해 각각의 Total Count, Not Null count 및 비율을 보여줌으로써, 실제 DB내에 들어가 있는 Data 값의 분포를 확인하고 점검할 수 있게 함. - Numeric성 Data에 대해서는 Min값, Max 값, Average 값, Sum 값, 음수값, 0값, 양수값 각각의 Count 등의 통계정보를,. - Date성 Data에 대해서는 문법적 오류 발생건수(Invalid Count), Min값, Max값, 현재시점 초과건수 등의 통계정보를, - Code성 Data에 대해서는 Domain 명, Domain 값 및 해당 건수 분포를 보여줌으로써 전체적인 Data 상태를 모니터링할 수 있음.

IV. SK Data Quality Management System 4. Meta 정보 탐색기 Meta 정보란, 각 항목에 대해 Data 원천, 정의 및 관련된 Biz Rule, Data 속성(Type, Length) 등, 항목과 관련된 모든 정보를 포함하는 것으로서Data라는 제품에 대한 명세서라고 볼 수 있음. Meta 정보 탐색기에서는 DB 내 모든 Column에 대해 해당 Column이 포함되어 있는 위치와 명칭, Column 정의 및 관련된 Biz Rule, Type, Length 등의 Column 상세 정보를 포함하고 있어, Data 관리의 효율성을 높임. 코드성 정보일 경우에는 코드테이블내의 코드명과 코드값, 코드별 정의를 보여줌.

IV. SK Data Quality Management System Agenda Data Quality 개요 1. Data Quality의 필요성 2. 저품질 데이터로 인해 발생하는 비용 3. Data Quality의 정의 Data Quality Management 개요 1. Data Quality Management 개념도 2. Data Quality Management Framework III. Data Quality Management 활동 1. DB기획업무 2. Data Enrichment 3. Data Process 개선 IV. SK Data Quality Management System V. Conclusion 1. Total Cost of Data Quality 개선활동 2. 제언사항

Danger Point 1. Total Cost of Data Quality Management V. Conclusion 1. Total Cost of Data Quality Management 저품질 정보의 처리 비용은 기업의 DQM 단계에 따라 다음과 같은 형태로 발생됨. 특히, Awakening 단계에서는 품질 개선 비용이 저품질 Data의 처리 비용보다도 크게 소요되기 때문에 품질 개선활동을 중단하기 쉬운 Danger Point임. Data Quality Cost Danger Point Information Scrap & rework & Process Failure Costs Data Correction Costs Assessment Costs IQ Improvement, Environment Investments Time Stage 1 Uncertainty Stage 2 Awakening Stage 3 Enlightenment Stage 4 Wisdom Stage 5 Certainty “우리 기업에 information quality 문제가 발생하는 이유를 모르겠다” “항상 information quality에 문제가 있는 것은 어쩔 수 없는 것인가?” “경영진의 참여와 information quality 제고를 통해, 우리는 문제를 발견하고 해결해나가고 있다.” “Information quality 문제의 예방은 작업 수행의 일상적인 부분이다.” “우리에게 Information Quality 문제가 발생하지 않는 이유를 알고있다.”

DQM활동은 주관부서만의 Task가 아닌 전사적인 과제 : 변화과제 전담부서를 두고서 지속적으로 관심을 가져가야 한다. V. Conclusion 2. 제언사항 DQM활동은 주관부서만의 Task가 아닌 전사적인 과제 : 변화과제 전담부서를 두고서 지속적으로 관심을 가져가야 한다. 한번에 달성할 수 있는 목표가 아니라 단계적 / 지속적으로 진행해야 하는 기나긴 여정 일회성 프로그램이 아닌 상시적인 활동, 습관이 되어야 한다. Start Now : 선택의 문제가 아니라 생존의 문제이다.(회사뿐만 아니라 CRM부서)

Q & A