Data Warehouse 이현우 hyun1822@paran.com

< 目 次 > 등장배경 정의 구축목적 DW유형 및 기대효과 시스템 구성 적용 분야/사례

기업환경의 변화 1. 등장배경 기업경쟁 기준변화 수익율 저하 고객 요구 변화 기술의 발전 Global 경쟁 심화 Demand를 상회하는 Supply 영업 이익 지속 하락 Matured Industry 고객 요구 변화 Value for the money 고객 요구의 다변화 고객중심의 사고 지향 Internet Business 요구` 기술의 발전 Internet 환경으로의 변화 Supply Channel간의 Interaction 증가로 물류개선의 기회 제공 신규 개념의 사업형태 등장 기업경쟁 기준변화 양적 성장 → 수익성 중심 Local 경쟁 → Global 경쟁 원가 경쟁 → 고객 중심 Global 경쟁 심화 생존을 위한 M&A, 대형화 Global communication중요 Dramatic Global shift 예상 경영정보의 중요성 증대 전략적 의사결정 지원 부족 정보의 다양화 – 비정형 정보 증가 Learn & Adjust 능력 제고 필요 KPI활용을 위한 정보 제공

기업환경 변화에 따른 정보기술의 투자변화 1. 등장배경 전세계적으로 정보 기술을 전략적으로 사용하고 있는 기업들은 이미 운영시스템보다 분석시스템에 더 많이 투자해가는 추세임 정보화 (Informating) 정보 기술 투자 분석시스템 자동화 (Automating) 운영시스템 1960 1970 1980 1990 2000 효율적인 단순업무 처리 업무자동화와 생산효율성 증대 의사결정 지원

기존 정보시스템의 상황 짧고 빠른 트랜잭션 처리 중심 처리이후 데이터 삭제 – 시계열적 데이터 부족 1. 등장배경 짧고 빠른 트랜잭션 처리 중심 처리이후 데이터 삭제 – 시계열적 데이터 부족 운영시스템이 많을 경우, 통합된 보고서 작성 곤란 분석을 위하여 많은 별도의 시간과 인력 투여 새로운 프로그램을 개발하는데 시간이 비교적 많이 소요 현재의 데이터를 과학적 기법에 의해서 신속하게 분석, 예측 곤란 고객 Data가 여러 군데 산재 되어 있어 통합된 고객이해 불가능

기존 의사결정 지원환경 기존의 의사결정 지원환경 다변화된 시장환경에 효과적으로 대응하며, 1. 등장배경 기존의 의사결정 지원환경 사용자의 의사결정을 효과적으로 지원하지 못함 시스템은 통합되어 있지 않으며, 데이터는 일관성 결여 중복되고 잘못된 응용프로그램으로 인해 쓸모없는 데이터가 만들어짐 이러한 데이터에서 제공되는 정보는 잘못된 의사결정 원인제공이나 심지어 의사결정을 위한 자료로서 부적절 다변화된 시장환경에 효과적으로 대응하며, 끊임없이 변화하는 고객의 기호를 신속/정확하게 파악하고 새로운 시장을 개발하는 등 적극적인 경영활동을 수반하기 위해서는 새로운 정보기반이 필요

정보시스템의 요구사항 시장을 잘 이해할 수 있어야 함 고객을 잘 이해할 수 있어야 함 1. 등장배경 시장을 잘 이해할 수 있어야 함 고객을 잘 이해할 수 있어야 함 시장 동향에 민감하고 신속히 대응하여야 함 끊임없이 고객에 맞는 제품, 서비스를 개발하여야 함 이러한 제품,서비스 개발과정이 과학적이며, 신속하고, 신축성이 있어야 함

DW 등장 배경 1. 등장배경 경쟁적 우위 달성 전략적 의사결정의 신속화 전사적인 통합 정보 획득 효율적인 목표시장 접근 고객의 요구 경쟁적 우위 달성 전략적 의사결정의 신속화 전사적인 통합 정보 획득 효율적인 목표시장 접근 고객 관계형 마케팅 필요 외부환경 내부환경 경쟁의 심화 고객취향의 다양화 제품 수명주기의 단축 데이터의 산재 데이터의 불일치 상이한 정보시스템 혼재 적절한 정보제공 곤란 정보기술환경 기술의 발전 End User Computing Open Computing Client/Server Internet 하드웨어 소프트웨어 데이터베이스 네트워크 데이터 웨어하우스

Data Warehouse 정의 2. 정의

Data Warehouse 정의 (계속) 2. 정의 Data Warehouse 시스템은 ? 의사 결정 과정을 지원하기 위해 수년간의 기업의 운영계 시스템에서 생긴 내부 데이터와 외부 데이터를 주제별로 통합하여 별도의 프로그래밍 없이 즉시 다양한 비즈니스 관점에서 교차 분석을 가능하도록 구축된 통합 데이터베이스 시스템이다 historical data Internal data external data subject-oriented end-user computing on-line cross-functional analysis database System Data Warehousing은 ? 기업의 비즈니스 변화에 맞게 Data Warehouse의 기획/설계/구축/운영/활용/확장하면서, 데이터 웨어하우스의 데이터를 분석하여 비즈니스에 대한 의사 결정을 지원해주는 일련의 프로세스

Data Warehouse 특징 2. 정의

Data Warehouse 특징(계속) 2. 정의

Data Warehouse 특징(계속) 2. 정의

Data Warehouse 특징(계속) 2. 정의

Data Warehouse 특징(계속) 2. 정의

기존시스템과 차이점 2. 정의

Data Warehouse vs Data Mart 2. 정의

Data Mart 2. 정의

기업환경변화와 정보요구 3. 구축목적

마케팅의 시대적 변화 3. 구축목적

DW 도입 목적 3. 구축목적 1세대 DW 사용자들에게 보다 나은 Business Intelligence 제공 – 89% 정보에 대한 검색,접근,분석에 소요되는 시간의 절감 – 85% 흩어져 있는 정보 소스들의 통합 – 82% 보고서 작성 요구의 경감 – 75% 효용성이 부족한 구식 DSS systems의 교체 – 51% * 응답자 : 100명의 IT전문가 Source : Cutter Consortium, 1998.10. U 2세대 DW CRM/eCRM을 위한 고객 정보 추가 (Web Log, Contents Categorization, CRM을 위한 추가 Measure) CRM을 통한 고객 정보 추가(캠페인 관리 및 결과 등) 통합 고객 DB를 통한 Operational 영역의 일관된 고객 Data 제공

집중형 DW 4. 구축유형 및 기대효과 복수의 사용자 그룹들에 의한 Ad-hoc Query와 drill-down 분석을 허용하도록, 모든 관련된 source system들로부터 수집된 상세데이터의 중앙 집중화된 저장 장점 : 사실의 단일 Version 제공 전사적 데이터 모델 제공 견고한 Data transformation Cross-functional data 가용성 단점 : 고도로 중앙 집중화되어 시스템의 부하가 증가됨 사용자와 데이터 증가에 따른 작업부하가 요구됨 주제 영역

분산된 DW 특정 사용자 그룹에 의한 목적을 둔 Operational Data의 특정 분산된 subset 장점 : 단점 : 4. 구축유형 및 기대효과 특정 사용자 그룹에 의한 목적을 둔 Operational Data의 특정 분산된 subset 장점 : 즉각적인 Data Navigation 기능 보다 빠른 Query 성능 제공 단점 : 각 주제영역별 간에 많은 양의 상세 데이터와 이력데이터가 중복 각 주제영역별 간의, 또는 주제영역과 운영계 시스템과의 Interface 불가 매출 회계 인사

Data Mart를 가진 DW 4. 구축유형 및 기대효과 데이터 마트는 보다 대규모의 데이터 웨어하우스에서 데이터가 일련의 특정한 사용 요구를 위해 선택되어 구성된 특별 목적용의 Subset 장점 : 사실의 단일 Version 제공 전사적 데이터 모델 제공 견고한 Data transformation Cross-functional data 가용성 비 집중화 및 즉각적인 data navigation가능 데이터 증가와 사용자 증가에 따른 균형있는 작업 부하능력 제공 단점 : 1단계로 DW를 구축 후, 향후 특정 주제영역별 독립된 데이터마트를 구축하는 것이 효율적임 주제 영역 CRM

DW 구축 시 기대효과 4. 구축유형 및 기대효과

DW 도입 효과 4. 구축유형 및 기대효과 경쟁력 있는 기업으로의 도약 마케팅 경쟁력 제고 기업내부 데이터 고객 서비스 강화 Customer Share 제고 (Site) Loyalty제고 마케팅 자원의 효율적 활용 고객 행동에 따른 마케팅 전략 타겟마케팅 이탈 고객 방지 통합적이고 지속적인 분석 가능 다양한 욕구 분석 가능 고객 데이터에 대한 품질,신뢰도 향상 마케팅 경쟁력 제고 기업내부 데이터 경쟁력 있는 기업으로의 도약 고객 서비스 강화 기업내부 프로세스/시스템 고객 불만 감소 당사 이미지 제고 고객 반응률 증가 고객의 선호 채널에 의한 접촉 가능 구성원 역량 강화 리포트 작성 및 작업시간 단축 신속한 의사 결정/지원 업무 가능 종합적인 데이터 관리 기능

DW Architecture 5. 시스템구성 EDW 추출 통합 정제 검증 ODS DW 데이터 추출영역 데이터 관리영역 기간시스템 EDW 추출 통합 정제 검증 사용자 ODS DW 외부데이터 데이터 추출영역 데이터 관리영역 데이터 활용영역 ETT Tool DBMS OLAP Tool Mining Tool 하드웨어(서버) Reporting Tool

DW Architecture (예) 5. 시스템구성 운영계 Data Warehouse 최종 사용자 ETL DBMS OLAP & EUC 유통채널시스템 다차원 모델 주문정보 Real Time 추출 전송 적 재 WEB 서버 WEB 판매정보 ODS 재고정보 EAI 경영자 변환 프로모션정보 DW 반품정보 OLAP 서버 수금정보 정제 관리자 POS 배치 추출 Report 서버 판매정보 재고정보 FTP 상품정보 일반 사용자 수금정보 요약 고객정보 ERP ETL 메타 데이터 메타 OLAP 메타 개발자 기타정보

< Source: Gartner Research 2001 > ETL 5. 시스템구성 OLAP(Online Analytical Processing) 정의 기간시스템으로부터 Data Warehouse를 구축하기 위해서는 일반적으로 “추출 /변환 /전송 /저장”의 단계를 거쳐야 하는데 이러한 일련의 과정을 ETL(Extraction Transformation Loading) 라고 함 ETL Tool 기본요건 Files 단순한 Architecture, 투명한 Mapping정보 Schedule 관리, Log 관리 Performance보장, 관리 용이 Vendor와 Product간의 독립성 VSAM IMS Data APIs Acquire Integrate Transform Cleanse Prepare Move Transient Data Hub Data Warehouse < Source: Gartner Research 2001 >

Completeness of Vision ETL (계속) 5. 시스템구성 ETL 솔루션 ETL 솔루션 시장점유율 Completeness of Vision Visionaries Niche Players Challengers Leaders As of 5/01 ETI IBI Ascential Microsoft Showcase CA DataMirror SAS Oracle Data Junction Compuware IBM Sagent Acta Informatica Hummingbird Cognos Ability to Execute Informatica 17% DataStage SAS WA 10% Genio 8% 기타 Teradata WB 4% ETI Sagent 7% Oracle WB Cognos DS < Source: Gartner Research 2001 >

OLAP 5. 시스템구성 OLAP(Online Analytical Processing) 정의 Codd(1993)에 의해 OLAP 용어 처음 사용 최종 사용자(end-user)가 다차원 정보에 직접 접근하여 대화식으로 정보를 분석하고 의사결정에 활용하는 과정 다차원 분석을 용이하게 하여 최종 사용자가 다차원 정보에 직접 접근하여 대화식으로 정보를 분석하여 의사결정에 활용하게끔 해주는 기능의 집합(OLAP Council, 1995) OLTP에서 발생한 원시 데이터를 활용할 수 있도록 가공하고 분석하는 과정 OLAP 도구 저장고(DW)에 있는 데이터를 사용자가 액세스하여 데이터를 분석하는 도구 OLAP 방식 ROLAP(Relational OLAP) MOLAP(Multidimensional OLAP) HOLAP(Hybrid OLAP) DOLAP(Desktop OLAP)

OLAP (계속) 5. 시스템구성 OLTP vs OLAP 차이 구분 OLTP DW(=OLAP) 사용자 계층 사원 관리자 사용자 요구사항 사전정의 기능(Pre-defined) 사용자도 모름 (Uncertain) 시스템 사용도 지속적 간헐적 응답시간 성능에 민감 Tifht(2.3초 내지 몇분의 1초) 질의 전용으로 조건이 완화 Loose(수초 내지 몇분까지 가능) 데이터 성격 트랜잭션 중심 데이터 구조가 복잡 주제중심 데이터의 구조가 단순 데이터 구성 애플리케이션별로 구성 전사적인 주제별로 구성 데이터 갱신 데이터가 순간순간 갱신되어야 함 - 동적(動的) 사용자 요구조건에 따라 주기적으로 갱신 – 정적(靜的) Volume of Transaction High Volume Low to Huge Volume 데이터 기간 과거 30딜 내지 90일 걸친 데이터를 다룸 과거 5년 내지 10년간에 걸친 시계열적인 데이터를 다룸 Query의 성격 예측이 가능하고 주기적이다. (periodic) 예측이 어렵고 특수함 (Ad-hoc) 데이터 모델 정규, 핵심업무 데이터 비정규, 판독용, 인덱스에 의존 ※ 주) OLTP : Online Transaction Processing

OLAP (계속) 5. 시스템구성 OLAP 차이 구분 ROLAP MOLAP HOLAP 기존 구조 RDB MDB 대용량 데이터 O X 원시 데이터 액세스 분석 가능 구축 시간 6개월 이상 3개월 이내 ROLAP와 동일 핵심 기술 다차원 모델링 다차원 데이터베이스 다차원 모델링 + 다차원 데이터베이스 적용 전사적 데이터 웨어하우스 데이터 마트, EIS 예 Microstrategy MSTR, Oracle Discoverer, Infomix, Metacube, Brio Query, Platinum InfoBeacon Cognos Powerplay Oracle Express, Arbor ESSBASE

DW 구축 접근 방안 5. 시스템구성

실패로 이끄는 길 5. 시스템구성

실패로 이끄는 길(계속) 5. 시스템구성

DW 적용 업종/업무 분야 6. 적용분야/사례

DW 응용 분야 OLAP Data Mining 6. 적용분야/사례 Sales and Marketing Analysis Budgeting Financial Reporting and Consolidation Management Reporting Profitability Analysis Quality Analysis Data Mining Customer Acquisition & Branding Profitability & Risk Assessment Making Customers More Profitable Personalization Inventory/Resource Management                                                                                                                                          

영업조직, Call Center, Internet 활용방법 6. 적용분야/사례 EDW, Data Mining 및 캠페인 실행 및 분석 시나리오 Data Warehouse 시스템 운영 DW OLAP Data Mining 데이터 수집 데이터 이관 데이터 통합 데이터 축적 다차원 분석 문제 발견 심층 원인 분석 고객세분화 교차판매분석 고객이탈분석 영업조직, Call Center, Internet DM, TM, WWW, Email 캠페인 실시 전략 수립 Test/Full Marketing(캠페인) 성과분석 마케팅프로세스 켐페인 상세실행 계획 수립 긴밀한 고객 관계 유지

내부/외부 데이터를 이용한 캠페인 계획/ROI분석 활용방법 6. 적용분야/사례 캠페인 계획에 기반한 다중 채널 캠페인 실행 및 분석 시나리오 테스트 컨트롤 그룹 생성 다중 채널 캠페인 실행 CRM 팀 TM 세분화/수익성 분석/예측 모델을 통한 캠페인 안 평가 DM BV 최적화 Call Center Operational CRM E-Mail SMS 내부/외부 데이터를 이용한 캠페인 계획/ROI분석 캠페인 관리 OLAP/Mining 시나리오 기반 캠페인 & 캠페인 수행 중 수정 캠페인 반응 분석 실행 중 결과반영 방향제시 캠페인 반응 정보 수립 임원진 EDW

기업의 정보계 시스템의 핵심 사업 과제가 될 것으로 고려됨 DW 시장 전망 6. 적용분야/사례 DW시장은 향후 2~3년간은 CRM과 함께 기업의 정보계 시스템의 핵심 사업 과제가 될 것으로 고려됨 엔터프라이즈 CRM을 위한 EDW의 구축 통합을 위한 통합 메타데이터의 필요성 대두 제조권중심으로 ERP를 DW로 통합하는 인텔리전트웨어하우징(IW ,Intelligence Warehousing) 기업정보포털(EIP) 예상 e채널로 생성된 데이터와 기존 오프라인 데이터간의 통합 오프라인 데이터 중심의 데이터마트, e채널을 통해 생성된 DW를 EDW로 구축하는 기업들이 통신,카드,보함,증권,유통을 중심으로 확장될 것으로 예상 기업정보 포털을 위한 백본의 역할 중요도 부상 기업의 인텔리전스를 제공하기 위한 정보 제공 아키텍처로서의 핵심적인 솔루션으로 부상 기존 데이터웨어하우스 정보와 웹로그 데이터의 활용을 통해 웹사이트 상에서의 고객 또는 방문객의 활동성향과 관심분야 등에 대한 정보를 함께 관리하는 기술이 필요 e-비즈니스 시대에는 데이터웨어하우스의 확장된 개념으로 EDW, 메타, 웹하우스를 통한 웹사이트 방문객의 행동에 대한 정보를 제공하고 대량의 클릭 스트림 데이터를 분석하고, 이를 통해 고객의 새로운 트렌드를 파악하고 마케팅전략을 수립, 결정하는데 도움을 주는 향상된 DW개념이 요구됨