빅데이터 딥러닝 기술활용 스마트 T-커머스 서비스 더블유쇼핑 김덕중 주관 더블유쇼핑 김덕중 참여 한동대학교 김인중 교수

목차 0. 1. 2. 사업의 배경 양방향 데이터방송 기술 기반 전자상거래 서비스 딥러닝(Deep Learning)을 이용한 지능화 방송 편성 소싱된 상품 기준 상품의 특성과 프라임타임을 고려하여 최고의 편성으로 최적화 2. 빅데이터 기반 개인 맞춤형 큐레이션 고객 별 최적의 상품 큐레이션으로 T-커머스 서비스의 편리성 높이고 수익성 극대화

사업의 배경: T-커머스란? 양방향 데이터방송 기술을 이용한 TV기반 미디어 커머스 산업 TV 리모콘을 이용 상품정보를 조회, 주문, 상품 VoD 재생 등 양방향 서비스 약2,700만 유료방송서비스 가입자에게 서비스됨 온라인 방송기술로 구현, 빅데이터 딥러닝 등 ICT 기술을 서비스에 반영하기 적합

국내 T-커머스 시장 현황 과기정통부 승인을 받은 10개의 T-커머스 사업자가 있음 홈쇼핑계열 5개사, T-커머스 전용 5개사 채널명 GS홈쇼핑 GS MT SHOP CJ오쇼핑 CJ오쇼핑+ 현대홈쇼핑 현대홈쇼핑+Shop 롯데홈쇼핑 롯데One TV NS홈쇼핑 NS Shop + KTH K쇼핑 신세계TV쇼핑 신세계쇼핑 쇼핑&T SK스토어 SK 스토어 더블유쇼핑 W쇼핑 출처: NEWSIS

홈쇼핑, T-커머스, 인터넷 쇼핑 특징 TV홈쇼핑은 단방향 방송에도 가능한 서비스 TV홈쇼핑과 T-커머스는 방송시간에 전국민에게 하나의 상품을 소개하고 판매 함 인터넷 쇼핑은 개인별 다른 화면 구성 가능 TV홈쇼핑 T-커머스 인터넷 쇼핑 단방향 방송 양방향 방송 + 통신 양방향 통신 한 가지 상품을 모두에게 판매 전화 주문/ARS 개인별 다른 상품 노출 가능 전화주문/ARS/리모콘 주문/ 간편주문 다양한 상품 노출 개인별 다른 상품 노출 가능 인터넷 결제 시간 단위 상품편성 다양한 상품 전시 한 가지 상품을 모두에게 판매 한 가지 상품을 모두에게 판매 개인별 다른 상품 노출 가능 다양한 상품 노출 개인별 다른 상품 노출 가능 실시간 방송 녹화 방송, VoD 제약 없음 실시간 방송 규제 승인사업(심의) 신고사업

딥러닝을 이용한 지능화 방송 편성 방송시간에 1개의 상품을 전국민에게 판매하는 방식 특정 요일 시간에 어떤 상품을 편성하는가에 따라 그날의 매출이 달라짐 편성담당자의 판단에 의존 (데이터 분석, 경험, 직관 등) AI기술을 도입 상품의 시간 별 매출 예측을 통해 시스템화 필요.

지능화 편성 시스템 분석 기법

데이터 분석 더블유쇼핑 개국 시점부터 프로젝트 시작 전까지 모든 구매 데이터를 취합 분석 시간 별 주문액은 요일 별 추이가 다름 평일은 저녁시간 이후 휴일은 오전시간에 많은 주문이 집중됨 요일/시간별 최고 효율 상품 편성하면 최고의 수익 기대 1주일 미리 편성 할 경우 : 7일 x 24시간 = 168시간의 상품별 매출 예측

딥러닝에 의한 상품별 매출 예측 딥러닝에 의한 상품별/시간별 매출 예측 결과 (날씨 요소 미반영) - Training data 4/1~6/31(3개월), test data: 7/1~14 (2주) 트랜드는 어느 정도 예측 주) Outlier(판매율이 매우 높거나 낮은 상품)은 근본적으로 예측 어려움 두 가지 개선할 점 발견 매출 증가 추세 반영의 필요 (매출 상승률이 가파름, 과거 데이터가 낮은 매출 예측으로 영향) 날씨의 영향력 반영 필요 Outer  outlier

매출 증가 추세를 반영한 상품별 예측 결과 회색 그래프(보정 매출 예측)은 주황색 그래프(보정 전 매출예측)보다 청색 그래프(실제 데이터)에 좀 더 근접함

이분 그래프 매칭 알고리즘 Hungarian Matching Algorithm 시간당 최고 매출 예측 상품을 편성하는 알고리즘으로 이분 그래프 매칭 알고리즘 이분 그래프 매칭 알고리즘에 현실적 요건을 반영해 확장 Hungarian Matching Algorithm은 각 상품별 1개의 시간대에만 배정 가능  각 상품별로 1일당 최대 3회까지 배치 가능하도록 알고리즘 확장 매출 최대화 기준으로 상품 배치할 경우 상품성 높은 상품이 연속으로 배정됨  각 상품 배치 간격이 최소 3시간이 되도록 알고리즘 수정

구현 중 발생한 문제점 및 해결 방법 동일 상품 판별 문제 과거의 기록으로부터 미래의 매출을 예측하기 위해서는 각 상품 별 판매기록을 추적해야 함 동일 상품도 할인, 사은품 등으로 판매 조건이 다르면 상품 코드가 다르게 배정됨  해결 방법: 동일 상품들을 그룹으로 묶고 그룹 코드를 통해 매출 예측 상품 코드가 다르더라도 그룹 코드가 동일한 상품의 판매 기록을 이용해 매출 예측 남은 문제점: 할인, 사은품 등 세부 판매 조건은 매출 예측에 반영되지 않음. 판매 데이터 희박성 문제 시간대별 매출 예측에는 분기/월간 매출보다 훨씬 세밀한 예측이 요구됨 상품별 모든 시간대에 편성된 데이터가 있는 것은 아님 1주 168시간 동안, 대다수의 상품이 3번 이하 편성 딥러닝이 특정 시간대에 편성된 기록이 없는 상품의 매출을 잘 예측하지 못함 해결 방법: 통계적 방법을 이용한 매출 예측 알고리즘으로 보완 데이터 희박성 완화 기법 적용 (Smoothing, SVD) 해당 상품의 판매 기록에 따라 딥러닝 예측기와 통계적 예측기를 가중평균

통계적 매출 예측 알고리즘 모든 상품의 평균 매출을 통해 시간대별 트랜드 파악 각 상품별 상대적 경쟁력 반영 데이터 희박성 완화 기법 적용 (smoothing, SVD)

To Do 동일 상품 다른 코드 그룹처리 개선 같은 상품을 그룹코드로 묶어주도록 하였으나 상품 등록 시 잘못 등록하는 경우가 많음 대/중/소/세 분류코드와 브랜드로 자동 그룹코드생성  수동 그룹코드 등록보다 개선되었으나,  같은 상품을 재등록 시 대/중/소/세 분류코드, 브랜드를 다르게 입력하는 경우가 많았음 동일 프로그램으로 편성 판매하지만 여성용/남성용, 1+1, 사은품 종류 등 선택 항목이 코드가 분리되는 경우  같은 프로그램으로 편성되는 상품 동일 그룹으로 처리 주문 데이터 없는 시간대의 보정 알고리즘은 편성 패턴이 바뀌면 그에 맞게 보정 필요 현재 보정 알고리즘은 ’15~’16 년도 위탁상품 중심 편성 시 패턴으로 보정 ’17~’18 년도의 경우 정액 상품 편성 비율 증가 상담사 부족으로 인한 포기호 (포기호는 학습된 주문 데이터에 없음) 주문데이터 학습 + 인입콜, 응대율 학습 및 시간대별 상품별 인입호 예측 및 적정 상담사 수 예측 CTI 장비에 누적된 입인호 데이터 학습 인입호 예측에 따른 적정 상담인력 배치로 응대율 향상 매출 예측 고도화

빅데이터 기반 개인 맞춤 큐레이션 TV홈쇼핑/T-커머스는 채널 이동 중 짧은 시간에 노출되는 단 하나의 상품만 보고 구매 제한된 시간에 제시할 상품의 선택이 매우 중요 현재는 모든 시청자에게 일괄적으로 상품 제시 맞춤형 개인별 추천 시스템 도입 시 효율 증가 기대 2,700만 시청자에게 맞춤 상품을 수동으로 전시 불가능 (자동화된 큐레이션 필수) 아마존, 넷플릭스에서 검증된 Item-based Collaborative Filtering 알고리즘 응용 구현

T-커머스 추천 시스템 Overview

시스템 개요도

개인화 큐레이션 적용 효과 (1) 채널 인입 4번째 배너에 노출 (40초 후) : 리모콘 반응 29% CollaborateFilter  Collaborative Filtering

개인화 큐레이션 적용 효과(2) 채널 인입 4번째 배너에 노출 (40초 후) : 리모콘 반응 34%

개인화 큐레이션 적용 효과(3) 채널 인입 4,5번째 배너에 노출 (40,50초 후) : 리모콘 반응 19%

To Do 다수의 시청자의 집중 접속 시 시스템 부하 관리 필요 추천 후 노출 상품에 시청이력 누적 현상 제거 ( 추천 상품이 시청시간이 계속 증가로 인해 타상품 추천 받기 어려움 ) 추천 알고리즘을 모바일 앱에 적용