이경택 이사 (엠브레인 온라인리서치연구소)

Slides:



Advertisements
Similar presentations
공립 치매요양병원 설립 사업계획서. CONTENTS I. 사업 개요 II. 사업 내용 III. 운영자 소개.
Advertisements

글로벌 인턴십 (Global Internship) 인하공업전문대학
㈜오리온이앤에스 신호미불닭발 소개서. I. 회사소개 II. 브랜드소개 III. 창업컨설팅 Index.
온누리교회 일대일 사역팀. CONTENTS 1. 예수님의 공생애 사역 2. 죄의 기원과 죄의 결과 3. 죄 문제의 해결 I. 예수님의 부활은 그리스도의 죽음과 함께 기독교 II. 인간은 하나님 앞에 모두 죄인이다. III. 따라서 나도 죄인이라는 사실을 깨달아야 한다.
지하철택배보관함 서비스 제안서 서울시 중구 광희동 1 가 86-2 동대문운동장역 (5 호선 )B1 Tel : Fax : ㈜보스크.
도로 ( 터널 ) 개설 제안서 제안자 : 구 효 서 연락처 : ( 대 ) (fax)
서울혁신기획관 익명성과 인간소외 심화, 공동체 해체 … 시민의 행복지수와 삶의 질 하락 … 2 I. 왜 … 마을공동체인가 ! 1.
2009 년 행정안전부 공직설명회 년 행정안전부 공직설명회 2 목 차 I. 개 요 II. 기능직 개편원칙 III. 정보통신현업 개편방안 IV. 주요 이슈.
형제침례교회 필리아성가대 성탄절 칸타타 1. Opening : 영광을 하늘 높은 곳 에 성탄예배에 오신 성도님, 환영합니다. 오늘 성탄예배는 칸타타로 드리는데요 성가대가 부르는 찬양을 듣기만 하는 칸타타가 아니라 성도님들께서 모두 찬양하는 칸타타입니다. 화면을 보면서.
2013 년 조사연구위원회 위촉식 및 활동 설명회 2013 년 조사연구위원회 위촉식 및 활동 설명회
융합형 전문가, 기술경영자 한성대학교 경영학부 하성욱 교수 2014 년 10 월 29 일 2014 년 한성여고 방과후 특강.
Freechal FMCG 1/11 제일제당 맑은 물 이야기 실패 사례. Freechal FMCG 2/11 About CJ 1. 제일제당 1953 년 설립 년 5 월 제일제당 그룹으로 출범. 세계적인 생활문화 그룹 지향 2. 회사특성 Hard 측면 Soft 측면.
목 차 I. 지역전략부문 1. 지역경제활성화전략 2. 지역이미지개발 및 마케팅전략수립 3. 지역정체성연구개발
건강새마을 조성사업 주민 참여 모니터링 강 민 정.
클림트의 회화적인 요소를 이용한 치레거리 디자인 연구
(목) 심형석 영산대학교 부동산∙금융학과 교수 영산대학교 부동산연구소 소장
2009 개정 교육과정에 따른 예술(음악/미술)교과 교육과정 개정의 주요 내용
대구동신교회 교육위원회 대구동신교회 교육위원회 문서번호 : 교육위원회 시행일자 :
목 차 I 방위산업의 정의 II 방위산업의 특성 III 방위산업의 현황.
정 보 공 개 서 무 림 오 피 스 웨 이 ㈜.
“힘들게 PC에 프로그램을 깔 필요가 있겠습니까?”
홍보출판 위원회 출판국 2010년 사역 계획서 발표자 : 출판국 국장 / 박수만권사 일시: 2010년 01월 17일(일) 1.
목 차 추진배경 1 추진내용 2 운영현황 3 문제점 및 장애극복 4 기대효과 5.
경주 3코스 양반문화와 전통 다크호스 백 지연 다크호스 백지연 4학년.
영호남 공동발전을 위한 학술문화 교류사업 보고
서울특별시 중구 통일로 10 연세재단세브란스빌딩
예수의 제자들 담당교수 : 김동욱.
역대 정부개편의 교훈과 새로운 정부조직개편의 방향
기록관리 업무담당자 교육 2017년 경상북도문경교육지원청.
김종찬 김정석 이상미 임성규 담당 교수님 최병수 교수님
체위변경과 이동 요양보호 강사 : 이윤희.
마을버스 광고 제안서 승현미디어 양권수부장
제14강 태평양전쟁과 일본 군국주의.
2002KNP 인터넷 사용자 조사 세미나.
‘新조리 시스템’ B/M 일본병원급식 연수 참가 앙청의 건
게시판이용자의 본인확인 - 제한적 본인확인제
지역맞춤형 일자리창출 사업 기관 평가
2011년 하반기 VIP투자자문 인재채용 안내
올바른 이메일 사용법
귀중 인터넷 메신저 관련 조사 ` 엠브레인.
우울증 및 자살 관련 조사 엠브레인.
대촌중 최영미.
물류단지 총량제 폐지 이후 물류시설 공급정책 방향 국 토 교 통 부.
신 윤 호 ㈜엘림에듀 초등사업본부장, 중앙대학교 체육학박사
 KAA 소비자단체장 초청 회원간담회 옥외광고 산업의 현황과 과제 서범석(세명대학교 광고홍보학과 교수)
PDFwebReport ( PDF 로 만드는 웹 리포트 ) 파워빌더로 개발하고 PDF 로 보는 웹 리포트입니다
// 과제명 기재 미래융합서비스 모델개발 아이디어 제안서 – // 기업명 기재
-순수관광 목적 방문지역별 여행실태(경기) -
‘응급의료서비스 이해도 및 만족도’ 전국민 여론조사 보고서
지방공무원 임용시험 위탁 및 공동추진 충청북도교육청 (목) 총무과 교육행정 6급 안 병 대
대박콜 전국화물 퀵서비스 회사소개서 (기업 퀵서비스,택배,문서수발).
기술창업팀 프로젝트 사업계획서 (과제명) 창업팀의 사업에 대한 소개글.
기업회생 절차.
2. 윤리학의 원리와 적용 가. 상대주의와 절대주의.
피우리닷컴 전자책 제안서 June F, Yuljeon Bldg Seocho-dong, Seocho-gu, Seoul, Korea Tel / Fax /
파포 1주차.
2013년 한땀한땀 신년회 목 차 세아상역 I. 팀 성적 II. 개인 성적 (시상식)
원격교육활용론 11. 원격교육 컨텐츠 설계 : 실습 패키지 박소연 (광주대학교).
-순수관광 목적 방문지역별 여행실태(경북) -
교육기부 진로체험기관 인증제와 지역 센터 운영 방안 한국직업능력개발원 김승보.
존 듀이의 경험교육론에 기초한 초등학교 체험활동 특징에 관한 연구
발표 : KAB부동산연구원 조윤제 부연구위원
제9주 예산 수립과 집행.
중등학생평가연수 (중학교) 일시 : (목) 10:00 장소 : 부산교육연구정보원 ㅣ중등교육과 ㅣ
사용후핵연료 관리현황 및 공론화 추진계획 산업통상자원부 원전환경과.
양초 한 자루의 과학 과학영재교육 전공 김 연 주 류 은 희 이 상 희.
교육행정 및 교육경영 제 5장. 교육행정 조직의 실제 체육교육 이학재.
해양생물 3D 모델링 및 가상체험 콘텐츠의 제작 시스템 및 방법
매출채권보험 제도 안내 4대 효과 중소기업 사장님들의 든든한 우산 판매위험 보장 사후관리 매출증대 대출금리 우대 매출채권보험
신입사원 OJT교육.
Presentation transcript:

이경택 이사 (엠브레인 온라인리서치연구소) 온라인리서치에 대한 인식 및 신뢰성 향상 방안 이경택 이사 (엠브레인 온라인리서치연구소)

목 차 I II III IV 온라인리서치에 대한 인식 온라인리서치 신뢰성 향상을 위한 방안 응답시간 검증 검색 예상자 식별 및 제어 IV 응답시간 검증 III 결론 V

온라인리서치에 대한 인식 I

“온라인리서치 시장이 활성화되지 않은 이유는 무엇인가?” 1.1 온라인리서치에 대한 인식조사 : 개요 세계적 수준의 인터넷 이용률을 보이면서도 온라인리서치 시장이 활성화되지 못한 이유를 파악하기 위해 전문가 인터뷰를 실시하였음 전세계 최고수준의 인터넷 이용률 (세계:15.2% vs 대한민국:68.4%)1) 온라인리서치 시장의 비활성화 (세계:13% vs 대한민국:6.4%)2) “온라인리서치 시장이 활성화되지 않은 이유는 무엇인가?” 조사방법 : 전문가 인터뷰 대상자 : 주요 조사 수요업체의 조사 담당자 업체수 : 10개 조사시기 : 2006년 4월 조사 목적 온라인리서치에 대한 인식조사 1) Source : 한국 인터넷 진흥원(2005년 기준) 2) Source : ESOMAR, Global Market Research 2005

1.2 온라인리서치에 대한 인식조사 : 인터뷰 대상 전문가 인터뷰 대상 기업/기관 금융 광고대행사 공공기관 FMCG 제조기업 자동차 제조기업 화장품 제조기업 대형 포털 업체 게임 사이트 통신망 사업 업체 클릭 & 모타르형 (고객이 온/오프에 공존) 조사 컨텐츠 특성 상 온라인/ 멀티미디어 활용이 필요한 경우 온라인 외주 조사가 가능한 대규모 업체들 전통적으로 소비자 조사 수요가 많은 제조업체군 온라인 조사 이용 업체 온라인 조사 非이용 업체 인터넷 非관련 업종 관련 사업 성격 상 소비자 조사 수요가 많지 않은 인프라 서비스군 전문가 인터뷰 대상 기업/기관 온라인 조사 경험, 지식 수준 및 업종특성에 따라 온라인조사에 대한 인식 및 태도가 다를 수 있으므로, 이들 기준을 활용하여 10개 기관을 선정하여 인터뷰를 실시하였음

2. 주요 인터뷰 내용 최근 조사 트랜드 주요 온라인리서치의 장점/이용계기 인터뷰 내용 온라인리서치 확대의 주요 장애요인 주요 인터뷰 내용은 아래와 같았음

3.1 인터뷰 결과 : 최근 조사 트랜드 1 자체 소비자 패널 운영 - FMCG 제조 기업군 중심 - 고객 조사 데이터를 온라인으로 수집 2 조사의 신속성이 요구되는 추세 - 빠른 시장 변화에 대한 기민한 대처 필요 3 광고 효과 조사는 온라인으로 대체되는 추세 - 멀티미디어 활용 장점, 기존 전화조사 방식의 한계가 큼 4 일반 지표 조사, 정량조사보다는 정성조사의 중요성이 강조되는 추세 조사 전문가들이 생각하는 최근의 조사 트랜드는 신속하고 저렴한 새로운 데이터 수집방식의 도입이 확산되고 있으며, 정성조사의 중요성이 높아지고 있다는 점임

1 2 3 4 5 6 3.2 인터뷰 결과 : 온라인리서치의 장점/이용 계기 저렴한 비용 - 프로젝트 예산 문제가 발생한 경우(비용절감 방법으로 온라인조사 선택) 2 신속한 실사 - 빠른 의사결정이 필요한 경우 3 Multimedia 활용 - 광고효과조사 처럼 동영상을 제시한 후 조사를 해야할 경우 4 Target Sampling - 대상자 조건이 어려운 조사의 경우 온라인조사가 대상자 선정에 유리함 5 자사 회원 대상 조사 - 자사 온라인 회원 대상조사의 경우 온라인조사가 효율적임 6 Global Research - 여러 국가의 응답자를 대상으로 조사를 수행해야 할 경우, 조사 관리측면에서 1개의 조사회사가 여러 국가의 패널을 대상으로 조사를 수행 하는 것이 효율적임 기존 오프라인 조사대비 아래와 같은 온라인조사의 장점들이 언급되었음

1 2 3 4 3.3 인터뷰 결과 : 온라인리서치 확대의 주요 장애요인 표본 대표성 문제 - 대표성을 담보하기 어려움 (“온라인을 사용하는 주부들은 일반적인 주부들과는 다를 것이다”) - 얼리어답터 성향 /인터넷 Heavy User 성향 (전반적 지표의 상승 야기, 지표조사에 부적합) 4 신뢰성 문제 - 자기기입 방식으로 인한 불성실/부정 응답 - 부적합 대상이 조사 대상으로 선정되는 경우 (“시장에 출시되지도 않은 신제품의 사용자 조사가 실시된 적 있었다”) - 길고 복잡한 조사에 부적합 (“직접 온라인 조사에 응답해보니 온라인조사는 앞쪽 1/3만 믿을 만한 것 같다”) 1 Top-Management의 부정적 인식 (“실무자들은 온라인 조사가 좋다는 것을 알고 하고 싶어하지만, 최고 경영진들이 이를 믿지 못한다”) 2 기존 오프라인 조사와의 연계성 문제 (“ 기존에 수행하던 오프라인 조사와 온라인 조사의 결과가 달랐을 때, 그 Gap을 어떻게 해석해야 하는가?”) 비교적 단기간에 해결 가능한 이슈 !!! 온라인리서치 확대에 장애가 되는 주요요인으로는 ‘Top-Mgt의 부정적 인식’, ‘기존 오프라인 조사와의 연계성 문제’, ‘표본대표성 문제’, ‘신뢰성 문제’ 등인 것으로 나타났음

온라인리서치 신뢰성 향상 방안 II

1. 온라인리서치 신뢰성향상을 위한 3대 요소 솔루션 노하우 패널 신뢰성 향상 패널 효과적인 온라인리서치 수행을 위한 3대 요소 솔루션 노하우 온라인리서치 신뢰성 향상을 위해서는 ‘패널’, ‘솔루션’ 및 ‘온라인리서치 노하우’에 대한 철저한 준비가 필요함 본 발표에서는 온라인리서치 3대 요소 중 ‘노하우’에 관한 사항을 다루고자 함

오늘의 주제 2. 신뢰성 확보를 위한 온라인리서치 노하우 메일 발송 단계 온라인리서치 신뢰성 확보 노하우 설문지 작성 온라인실사 데이터 검증 불량검증 문항 체크 보기/페이지 로테이션 Quiz 다단계 조사 이미지 동시 제시/ 동영상 제시 조사참여 요청메일 발송시 주의사항 Mailing 규칙 사용자 환경 테스트 시간 제어 Step by Step 수치형 자료입력 제어 패널 DB를 활용한 검증 논리성 검증 응답시간 검증 검색예상자 식별/제어 오늘의 주제 온라인리서치 신뢰성확보를 위해서는 아래와 같은 조사단계별 노하우를 활용할 수 있음 본 발표에서는 당사에서 진행되었던 ‘응답시간 검증’과 ‘검색 예상자 식별 및 제어’ 방법에 관해 논의하고자 함

응답시간 검증 III

1. 연구 목적 설문 응답시간 분포 온라인 설문 응답시간이 지나치게 짧거나 긴 응답자들이 불성실 응답자일 가능성을 확인하고, 응답시간이 짧은 응답자 응답시간이 긴 응답자 불성실 응답 가능성이 높은가? 온라인 설문 응답시간이 지나치게 짧거나 긴 응답자들이 불성실 응답자일 가능성을 확인하고, 실무에서 적용 가능한 불성실 응답자 처리 규칙을 개발하는 것이 본 조사의 목적임

2. 조사 설계 조사 방법 조사 대상 표본추출방법 표본 크기 엠브레인 패널을 이용한 온라인 조사 최근 6개월 이내 인터넷쇼핑 이용자 표본추출방법 성별 및 연령에 의한 유의 할당 추출 표본 크기 총 1,052명 10대 20대 30대 40대 50대 (합계) 남성 104 105 106 525 여성 527 208 211 210 212 1,052

연구의 효율성을 높이기 위하여 응답자의 피로도를 극단적으로 유발시킬 수 있는 테이블 척도형 문항을 많이 포함하였음 3. 조사 내용 응답자의 피로를 의도적으로 유발하기 위하여 질문의 대부분을 테이블 척도형 질문으로 제시하였음 주관식 단답형(1문항) Q1. 일평균 컴퓨터 이용시간 객관식(10문항) Q2. 주 이용 인터넷 서비스 … Q11. 월평균 가계 소득 테이블 척도형(49문항) Q12. 인터넷 쇼핑시 중요 고려사항 – 저렴한 가격 Q13. 인터넷 쇼핑시 중요 고려사항 – 회사에 대한 신뢰도 Q20. 인터넷 쇼핑시 중요 고려사항 – 쿠폰 및 적립금 혜택 Q21. 인터넷 광고 시청시 고려사항 – 플래쉬 애니메이션 사용 여부 Q27. 인터넷 광고 시청시 고려사항 – 경품 또는 이벤트 연구의 효율성을 높이기 위하여 응답자의 피로도를 극단적으로 유발시킬 수 있는 테이블 척도형 문항을 많이 포함하였음

4.1 조사 결과 : 응답시간 분포 설문 응답시간을 기준으로 응답자를 10등분한 10분위 집단의 응답시간 분포는 아래와 같음 평균 (초) 표준편차 중간값 응답자수(명) 집단 1 129.4 25.0 132.5 104 집단 2 190.1 13.6 189.0 106 집단 3 231.4 9.7 231.0 집단 4 264.9 8.6 265.0 102 집단 5 296.0 9.0 105 집단 6 328.3 10.8 328.0 109 집단 7 374.0 15.1 374.5 집단 8 428.8 19.0 428.0 집단 9 526.9 41.4 523.0 집단 10 1411.9 1732.3 823.0 전체 419.4 650.1 312.0 1052

4.2 조사 결과 : 각 집단과 나머지의 응답 평균 비교(t-test) 10분위 집단간 응답 평균을 비교한 결과, 응답시간이 짧은 집단의 결과가 다른 집단의 결과와 상당한 차이를 보임을 발견할 수 있었음 반면, 응답시간이 긴 집단의 응답결과는 다른 집단과 큰 차이를 보이지 않았음 집단 1 vs. 나머지 집단 2 집단 3 집단 4 집단 5 집단 6 집단 7 집단 8 집단 9 집단 10 Q12 ** Q13 Q14 * Q15 Q16 Q17 Q18 Q19 Q20 * p < .05; ** p < .01

3% 기준일때, 1그룹과 2그룹간의 격차가 급격해지기 시작함 4.3 조사 결과 : 상관관계 분석(1/2) 10% 기준 0.77 0.93 5% 0.59 0.81 0.90 3% 3% 기준일때, 1그룹과 2그룹간의 격차가 급격해지기 시작함 0.37 0.73 0.80 상관관계 분석 결과, 응답시간이 짧은 3% 응답자의 응답값이 나머지 집단과 큰 차이를 보임을 알 수 있었음

4.3 조사 결과 : 상관관계 분석(2/2) 2% 기준 0.33 0.68 1.5% 1.5% 기준일 때, 1그룹과 2그룹간 차이는 거의 없고, 3그룹부터 차이가 나타남 0.30 0.66 1% 1% 기준일 때, 1그룹~3그룹까지 차이가 없고, 4그룹부터 차이가 나타남 0.28 0.27 0.42 0.70

4.4 조사 결과 : 응답시간 측정 블록의 영향력 응답시간 측정 블록의 길이가 길수록 불량응답 집단에 대한 변별력이 증가한다는 사실을 발견할 수 있었음  가급적 긴 응답시간 측정 블록의 활용이 필요함 (즉, 모든 공통문항을 기준으로 측정된 응답시간의 활용이 바람직함) 0.90 0.86 0.82 0.80 0.88 0.75 0.62 0.54

5. Guideline 주요 조사결과 Guideline 응답시간이 짧은 3% 응답자와 나머지 응답자의 응답결과의 상관관계가 매우 낮은 수준임  응답시간이 짧은 응답자들은 불성실 응답을 했을 개연성이 높음 반면, 응답시간이 긴 응답자와 나머지 응답자의 응답결과의 상관관계는 높은 수준임  응답시간이 긴 응답자들이 불성실 응답을 했을 가능성은 낮음 응답시간 블록이 길수록 불성실 응답자를 가려낼 수 있는 검정력이 높아짐 실사에서 각 Quota별로 최소 5% 이상의 Over-sampling을 해야 함 Data Cleansing을 위한 응답시간 블록은 공통문항 전체를 활용 (설문에 Skip 등이 존재할 수 있으므로 공통문항만을 이용) 각 Quota별로, 공통문항 전체를 기준으로 측정된 응답시간을 활용하여, 응답시간이 짧은 5%의 응답자를 불성실 응답자로 간주하여 조사결과를 삭제

검색 예상자 식별 및 제어 IV

1. 연구 배경(1/2) 일반적으로 온라인 조사의 상기도가 오프라인 조사의 상기도보다 높게 나타나는 경향이 있음 이러한 차이가 발생되는 원인 중 하나로 ‘인터넷 검색기능’의 이용 가능성을 검토하게 되었음 온라인 조사 응답자 특성 사무직, 고학력, 고소득층 등  정보 보유량/지식수준 高 왜 온라인 조사의 상기도가 오프라인 조사의 상기도보다 높은걸까? 온라인 설문지 특징 무엇이든 입력을 해야만 넘어가는 방식  한참 생각해서 떠오른 브랜드일 가능성 高 검색 이용 가능성 인터넷 조사 환경  인터넷 검색 활용 가능성 高

온라인응답자의 검색가능성을 뒷받침하는 결과들 1. 연구 배경(2/2) 풀 슬로건 상기자 비율 ↑ 어려운 주관식 문제군... 검색으로 찾아보자!! 온라인 설문 응답자 “OOO 캠페인” 상기 내용 후지필름, 아디다스, 도시바 등 정인지율 ↑ 온라인응답자의 검색가능성을 뒷받침하는 결과들 월드컵 공식 후원사 상기율 인터넷 검색 예상자를 통제하여, 데이터 품질을 제고할 수 있는 방안은? 기존 온라인 조사결과를 검토한 결과, 주관식 응답時 ‘검색 활용’ 응답자가 존재할 가능성이 있음을 알게 되었음  검색 활용 가능성은 ‘브랜드 상기율’ 등의 주요 지표에 치명적 영향을 줄 수 있어, 온라인 데이터 품질에 중대한 위협 요인이 되며, 이에 대한 효과적인 통제 수단이 필요함

2. 연구 내용 및 조사 설계 본 연구를 위해서 총 2회의 파일럿 조사가 수행되었음 연구 내용 연구1 연구2 1) 온라인 조사 응답자 중 검색 이용자가 존재하는가? 연구 내용 2) 온라인 조사에서 검색 이용 예상자들을 식별할 수 있는 방법이 존재하는가? 3) 검색 이용 예상자들을 실무에서 식별할 수 있는 Guideline은 무엇인가? 4) 검색 이용자 발생 비중은 주관식 문항의 난이도에 영향을 받는가? 연구1 표본수 : 1,073명 조사내용 1) 2006년 월드컵 공식후원사를 모두 쓰시오 2) 위 질문의 답변을 위해 검색을 이용하셨나요? 연구2 표본수 : 1,004명 조사내용 1) 2006년 월드컵 공식후원사를 모두 쓰시오 (고난이도) 2) 생각나는 맥주브랜드를 모두 쓰시오 (저난이도) 본 연구를 위해서 총 2회의 파일럿 조사가 수행되었음

3.1 연구1 : 조사 설계 연구1의 조사내용은 아래와 같음 연구 내용 연구1 연구2 1) 온라인 조사 응답자 중 검색 이용자가 존재하는가? 연구1 표본수 : 1,073명 조사내용 1) 2006년 월드컵 공식후원사를 모두 쓰시오 2) 위 질문의 답변을 위해 검색을 이용하셨나요? 2) 온라인 조사에서 검색 이용 예상자들을 식별할 수 있는 방법이 존재하는가? 3) 검색 이용 예상자들을 실무에서 식별할 수 있는 Guideline은 무엇인가? 연구2 표본수 : 1,004명 조사내용 1) 2006년 월드컵 공식후원사를 모두 쓰시오 (고난이도) 2) 생각나는 맥주브랜드를 모두 쓰시오 (저난이도) 4) 검색 이용자 발생 비중은 주관식 문항의 난이도에 영향을 받는가?

3.2 연구1 : 검색 이용자 존재 유무 문1. 2006년 월드컵 공식후원사로 알고 계신 회사를 모두 말씀해 주십시오. 다음 문2. 귀하께서는 앞 페이지 질문의 답변을 위해서 인터넷 검색을 이용하셨습니까? 1) 예 2) 아니오 응답자의 8%가 검색을 이용했다고 응답하였음!! 응답자들에게 직접 질문을 한 결과, 일부 응답자들이 검색 기능을 사용한 것으로 나타났음 이 결과는 상당수의 검색 활용 응답자들이 ‘검색 불가’의 조사 원칙을 제대로 알지 못하고 있음을 시사하는 것임

3.3 연구1 : 검색 예상자에 대한 기술적 식별방법 마우스가 웹 설문 창을 벗어났다가 돌아온 응답자 검색예상자 정의(잠정) 검색 예상자를 식별할 수 있는지를 기술적으로 검토한 결과, - 응답자의 ‘인터넷 검색’ 여부를 정확히 알아내는 것은 불가능하나, - 마우스가 웹 설문 창을 벗어났다가 다시 되돌아오는 이벤트는 기술적으로 식별 가능하다는 점을 알게 되었음  일단, 마우스가 웹 설문 창을 벗어났다가 돌아오는 케이스를 ‘검색 예상자’로 간주함

검색예상자 vs. 정상응답자 비보조 상기도 비교 3.4 연구1 : 검색 예상자 식별 방법의 효과성 검증(1/2) 평균 응답 개수 (텍스트박스 10개 제시 경우) 검색 예상 응답자 : 4.27개 정상 응답자 : 2.39개 검색예상자 vs. 정상응답자 비보조 상기도 비교 월드컵 공식후원사 (True) “2006년 월드컵 공식 후원사” 로 알고 있는 기업들을 생각나는 대로 모두 기록해 주십시오. “월드컵 공식 후원사”라는 고 난이도 질문에서, 검색예상자의 정답률이 뚜렷하게 높았음 => 검색 가능성을 검증하는 결과 ‘검색 예상자’(마우스 이탈 기록이 남겨진 응답자)와 정상응답자의 답변 내용을 비교한 결과, - 검색예상자 그룹의 상기 개수가 현저히 많았고, - (검색이 의심되는) 정인지 답변 비율도 뚜렷하게 높았음  ‘마우스 이탈 기록’ 방법으로 검색 예상자를 식별할 수 있는 가능성이 존재함

검색을 하지 않았으나 검색 예상자로 분류된 응답자 3.4 연구1 : 검색 예상자 식별 방법의 효과성 검증(2/2) 브랜드 상기도 답변 시 검색 이용 여부 귀하께서는 “월드컵 공식 후원사”를 묻는 질문에서 혹시 기억이 잘 나지 않아 “인터넷 검색”을 이용하셨는지요? 검색을 하지 않았으나 검색 예상자로 분류된 응답자 [단위:%] 실제 검색자 ‘마우스 이탈 기록’에 의한 검색 예상자들에게 직접적으로 인터넷 검색기능을 활용했는지를 물어본 결과, 이들 중 51%가 실제 검색기능을 이용했다고 응답하였음  ‘마우스 이탈 기록’으로 검색 예상자를 가려낼 수는 있으나, 약 50%의 “무고한(Innocent)” 응답자들이 검색예상자로 분류될 가능성도 병존하여 좀 더 효율성 높은 식별 방법이 필요함을 알게 되었음

4.1 연구2 : 조사 설계 연구2의 조사내용은 아래와 같음 연구 내용 연구1 연구2 1) 온라인 조사 응답자 중 검색 이용자가 존재하는가? 연구1 표본수 : 1,073명 조사내용 1) 2006년 월드컵 공식후원사를 모두 쓰시오 2) 위 질문의 답변을 위해 검색을 이용하셨나요? 2) 온라인 조사에서 검색 이용 예상자들을 식별할 수 있는 방법이 존재하는가? 3) 검색 이용 예상자들을 실무에서 식별할 수 있는 Guideline은 무엇인가? 연구2 표본수 : 1,004명 조사내용 1) 2006년 월드컵 공식후원사를 모두 쓰시오 (고난이도) 2) 생각나는 맥주브랜드를 모두 쓰시오 (저난이도) 4) 검색 이용자 발생 비중은 주관식 문항의 난이도에 영향을 받는가?

4.2 연구2 : 난이도에 따른 응답결과(고 난이도) 非 검색 예상자 전체 정답 월드컵 공식후원사를 묻는 고 난이도 질문에서는 ‘非 검색 예상자’와 전체의 응답결과에 상당한 차이를 보였음 즉, 검색예상자가 걸러지지 않은 전체 집단에서는 정답률(아디다스, 후지필름, 야후, 맥도널드 등)이 비정상적으로 높게 나타났음

4.2 연구2 : 난이도에 따른 응답결과(저 난이도) 非 검색 예상자 전체 맥주 브랜드를 묻는 저 난이도 질문에서는 ‘非 검색 예상자’와 전체 응답자의 상기도 응답결과가 유사함  문항의 난이도에 따라 ‘검색’을 활용하는 비중이 다름을 알 수 있음

4.3 연구2 : 고 난이도와 저 난이도 문항의 t시간 분포 비교 ‘마우스가 웹 설문 창을 벗어났다가 돌아오는데 까지 소요된 시간’의 분포 : . t>0인 응답자 비중 : 고 난이도에서 43.3%, 저 난이도에서 22.1%로 고 난이도에서 2배 이상 컸음 . t>15인 응답자 비중 : 고 난이도에서 34.3%, 저 난이도에서 13.9%로 두 그룹간 격차가 더욱 커졌음  t시간을 이용하여 ‘검색 예상자’ 규칙을 정교화 시킬 수 있음을 알 수 있었음 t>0 43.3% 22.1% 고 난이도 (월드컵) 저 난이도 (맥주) t : 마우스가 웹 설문 창을 벗어났다가 돌아오는데 까지 소요된 시간 (t = 0 : 마우스가 웹 설문 창을 벗어나지 않은 경우)

4.4 연구2 : t시간대별 응답 분포(고 난이도) T=40초 이내 T=60초 이내 T=15초 이내 T=0 T=90초 이내 T=120초 이내 T=50초 이내 정답 40초이후 t시간 40초까지는 조사 결과에 큰 차이가 없으나, 이후 부터 정답률이 크게 상승하기 시작함  ‘검색 예상자’ 선별을 위해 ‘t시간이 40초가 넘는 응답자’ 규칙을 활용할 수 있을 것으로 판단되었음

5. Guideline 주요 조사결과 Guideline 온라인 조사의 상기도 질문을 위해 ‘인터넷 검색’을 이용하는 응답자가 있음을 발견하게 되었음 난이도가 높은 설문일수록 ‘검색 기능을 이용’하는 응답자의 비중이 높았음 응답자 중 상당수가 조사에서 ‘검색’을 이용하면 안 된다는 점을 모르고 있었음 마우스가 웹 설문 창을 벗어났는 지의 여부와 다시 웹 설문 창으로 돌아오는데 소요된 시간을 활용하여 ‘검색 예상자’를 식별할 수 있음 온라인 조사에서 ‘검색’ 기능을 이용하면 안 된다는 점을 패널들에게 교육시킬 필요성이 있음  가입초기에 교육 실시 (예: Thanks Survey(TS) 내에서 교육) 온라인 실사 과정에서 ‘검색 예상자 (마우스가 웹 설문 창을 벗어나서 돌아오는데 까지 소요된 시간이 40초가 넘는 응답자)’로 분류되는 패널은 Quota별 완료자수에서 제외 실사 완료 후 ‘검색 예상자’의 조사 결과는 100% 삭제

결론 V

“온라인 조사로 획득한 데이터의 품질이 면접조사로 수집한 데이터와 비교하여 최소한 동등한 수준이며 종종 우월한 수준이다” 결론 “온라인 조사로 획득한 데이터의 품질이 면접조사로 수집한 데이터와 비교하여 최소한 동등한 수준이며 종종 우월한 수준이다” “온라인조사 제대로만 수행한다면...” (출처 : 이지영, 김진교(2006). “온라인 패널 조사와 오프라인 대인면접 조사 간 데이터 품질 비교 : 신뢰도와 타당도를 중심으로”, 마케팅 연구) 발표 내용 응답시간 검증 검색예상자 검증 메일 발송 단계 온라인리서치 신뢰성 확보 노하우 설문지 작성 온라인실사 데이터 검증 본 발표에서 다룬 ‘응답시간 검증’ 및 ‘검색예상자 탐색/제어’ 등과 같은 온라인리서치 노하우를 적절히 활용할 경우, 온라인조사의 품질이 기존의 면접조사 보다 더 나을 수 있을 것임

엠브레인은 고객과 함께 소비자의 더 나은 미래를 만들어 갑니다 ㈜ 엠브레인 ㈜ 엠브레인   Tel:02-3406-3930 / Fax:02-3444-2400 / Address:서울시 중구 충무로 4가 126-1 일흥빌딩 7층 / E-mail:ktlee@embrain.com / Home : www.embrain.com