R&R의 조사품질관리 -전화조사와 면접조사를 중심으로 발표자:김 경애(자료조사실 부장) 발표자:김 진영(자료Q.C팀 팀장) KOSOMAR 세미나 번호/총페이지

C·O·N·T·E·N·T·S 1. 조사품질 관리 2. 면접원 관리 1)면접원 교육 3. 면접원 통제 2)면접원 윤리규범 3)면접원과 관계 개선 3. 면접원 통제 4. 면접조사 Process 5.검증 Process 6. 면접조사의 검증 7.전화조사의 검증 8.검증결과 처리 및 관리 9.지방실사 검증관리 KOSOMAR 세미나

Ⅰ. 조사 품질 관리 R&R은 2000년 부터 ISO9001품질관리 시스템을 영국표준협회(BSI)로 부터 인증을 받아 조사 및 연구의 전과정을 시스템으로서 체계화,문서화하고 PLAN-DO-SEE의 과정을 정기적으로 내 외부 감사를 통해 정착화하려고 노력하고 있다. 특히 자료수집은 조사기관의 품질을 일차적으로 담보하는 과정이나 정형화하기에는 매우 어려운 점이 많은 과정 이지만 체계화 하는데 많은 노력을 기울이고 있다. 본고 에서는 전화조사와 면접조사를 중심으로 R&R에서의 품질관리 절차를 소개 하고자 한다. KOSOMAR 세미나 번호/총페이지

1).면접원 교육 (1)전화조사면접원은 R&R이 자체개발한 CTM-TI(Compiterized Training Manual For Telephone Interviewer )에 의해 일정시간 교육을 받고, 평가항목에서 만점을 받아야 조사에 투입될 자격이 생긴다.(반복학습) (2)전화조사원은 교육이 끝난뒤 연습조사를 진행한뒤 본인의 조사내용을 녹취기를 통해 담당 s/v와 들은뒤 잘못 진행 되어진 부분을 다시 재교육한후에 본조사에 투입된다. (3)전화조사원은 반기1회,전 면접원에 대해 조사태도,면접기술,재질문,코딩기술(자유응답)에 대해 총37문항을 종합체크하여 전화 조사원 품질을 평가하고, 우수 면접원을 포상하는 자료로 사용한다. (4)신입 면접 조사원은 면접원 지침서를 가지고 따로 교육시간을 정해 교육한후 면접 조사에 투입할 자격이 생긴다. (5)면접 조사원은 정규 OT후에 Role Playing 을 실시한후 한부씩 연습면접을 진행한뒤 담당 s/v에게 제출한다.s/v는 이설문지를 검토(에티팅)한후에 면접원에게 잘못되어진 부분들을 전화로 다시 재교육을 실시하여 본조사시 똑같은 실수가 없도록한다. KOSOMAR 세미나

2).면접원 윤리규범 모든 조사의 면접원은 조사시작전에 조사용역 수행 서약서를 작성 한다. 서약서의 내용에는 조사품질준수의무,영업비밀보호,기일 엄수등을 포함 한다. KOSOMAR 세미나

3).면접원과의 관계개선 면접원의 날을 반기1회씩 년2회 실시하여 우수면접원을 전화조사와 면접조사로 나누어 포상한다. 명절에는 감사의 선물을 제공한다. KOSOMAR 세미나

3. 면접원 통제 1.수퍼바이져가 설문지검토(에디팅)를 통해 면접원의 성실도,면접시간,문항간 논리성등을 검증한다. 1.수퍼바이져가 설문지검토(에디팅)를 통해 면접원의 성실도,면접시간,문항간 논리성등을 검증한다. 2.개별 면접원당 총20부 이내,전체부수의 10% 이상을 조사하지 않도록하고 일주일에 2개이상의 Project에 중복조사를 하지 않도록 한다. 3.면접원의 할당부수는 EPM(사내 인트라넷)을 통해 연구원과 전직원이 공유하도록 한다. 4.면접원은 일일통제를 통해 관리하고 배부부수,진행부수,완료부수등 면접진행 전과정을 EPM으로 관리하고 연구원과 전직원이 공유 할수 있다. KOSOMAR 세미나

4.면접조사 Process 면접 조사는 다음과 같은 과정으로 조사 진행 됨 KOSOMAR 세미나 면접원 선정/교육 1:1 면접 설문지 검토(Editing) 실시 Q.C팀/설문지 검증 실사 담당할 우수 면접원을 선정하여 교육 면접원이 응답자에게 1:1로 조사를 실시한다. 수거된 설문지를 전문 검증원를 통해 db검증및 전화로 검증 작업 실시 면접원별 설문 내용중 누락된 사항이 없는지 확인한후 Q,C로 이관 한다. Q.C팀/코딩/펀칭/dc 수집된 데이터를 전산화 한후 데이터 클리닝 면접원과 s/v가 조사 진행 정도와 애로 사항에 대한 점검 Call 진행 사항 중간 점검 Call KOSOMAR 세미나

5. 검증 Process 중부적합 설문지 발견 시 해당 면접원의 할당부수를 전량 재검토 R&R은 자료조사부서와 독립된 Q.C 부서를 운영하고 있다. 중부적합 설문지 발견 시 해당 면접원의 할당부수를 전량 재검토 중부적합 판정시의 후속 조치 검증 Process 해당 면접원의 불량 자료는 전량 폐기 부적합 설문이 발생하면 원본은 실사에 이관하고,Q.C팀은 복사본을 보관한다. 완료된 설문은 면접원별로 검증 확인 도장을찍고 실사로 이관한다. 단 에러가 발생된 면접원의 설문지는 에러대체가 완료되어 검증 확인 도장을 찍어 실사로 이관한다. 필요시 해당 면접원의 할당부수를 전량 재조사 고의성이 있는 경우에는 불량면접원으로 등록 후 협회에 통보 경고면접원 관리 파일을 통해 면접고의성이 없더라도 에러율이 높으면 조사에 더 이상 참여할 수 없도록 경고 조치함 응답자 적격 여부를 확인 조사방법 및 조사내용 성실성 여부를 확인 응답사례품의 유형과 전달 여부 확인 본 문항 중 3∼5개 문항을 재확인 함 유효응답으로 인정 하지 않는 14가지 기준을 사전에 공지하고 적격여부를 확인 응답자 DB를 통해 면접원의 패널 사용 유무를 통제하고 확인 코소마 검증강화 면접원은 따로 관리한다. KOSOMAR 세미나

6. 면접조사의 검증 회수 된 설문지에 대해 조사 유형에 따라 검증비율은 회수 된 설문지에 대해 조사 유형에 따라 검증비율은 기본 30%부터 최대 100% 까지 전화검증을 실시 한다. 전문 검증원을 통해 응답자확인 및 전화 검증실시 ☞ 회수된 설문을 면접원 별로 무작위 30% 선정후 선정된 표본만 가지고 검증 실시한다. 전문 검증원이 전화로 검증하며, 24시간 3회 확인을 원칙으로 한다. 검증은 설문 내용 중에서 인구통계학적 내용 및 무작위로 추출된 문항에 대해 사실 여부를 확인하는 방법으로 진행된다. 응다자 DB를 통해 3개월 재면접 금지및 휴대번호동일error,투넘버 error등 다양한 유형의 에러를 확인한다. 회수 설문의 검증 KOSOMAR 세미나

7.전화조사의 검증 1)컴퓨터 모니터링 R&R은 컴퓨터모니터링시스템(Computer Monitering System)을 도입하여 전화조사의 전과정을 녹음하고 이를 실시간으로 청취할수 있게 한다. 검증원은 개별 면접과정을 임의로 청취할 수 있으며,동시에 연구원이나 의뢰자도 들을수 있다. 2)조사품질 검증 조사중에 검증원은 면접원의 10%를 임의로 청취하고 간편검증문항에 따라 쿼터확인,질문문항 및 보기문항,조사속도,유도문항,주어진 질문대로 충실히 따르는지를 확인하여 조사품질을 등급화하고,문제 발생시 담당 수퍼 바이져를 통해 즉시 시정한다. KOSOMAR 세미나

8.검증결과 처리 및 관리 1)면접조사,전화조사 종료후 검증 결과서를 EPM에 작성하여,담당 연구원및 전직원이 공유한다. 2)면접원의 품질을 매달 검증 회의를 통해 평가하고 이를 기록 보관한다. 3)부적격의 경우는 에러 면접원 관리 파일을 통해 교육,경고 처리하고, 3회이상 경고시 EPM에 불량으로 처리하여 조사에서 제외 하고 KOSOMAR에 보고한다. 이 밖의 R&R고유의 통계적 품질관리방안을 개발중에 있다. KOSOMAR 세미나

9.지방실사 검증관리 1)DB 검증 지방실사 검증시 DB입력은 지방실사가 담당하고 Q,C 팀은 10% 확인 작업을 실시한다. 2)면접조사 검증 지방실사의 경우 Q.C팀과 협의하여 검증 문항을 공유하고,자체 검증을 서울실사 룰에 맞추어 실시한후 검증가이드를 파일로 저장하여 Q.C담당에게 이메일로 보낸다. Q.C팀은 지방실사 응답 설문지중 10%를 무작위 추출한후 재검증을 실시한다. 3)지방실사 에러 관리 지방은 10% 재검후 ERROR 발생시 전체 다시 확인한다. 에러 발생 유무를 담당 수퍼바이져가 지방 실사에 통보한다. 부적합 설문지가 발생하면 원본을 실사 담당자 에게 이관하고,Q.C팀은 복사본을 보관한다. 4)검증 완료된 설문지는 Q,C팀 검증확인 도장을 찍고 실사팀 으로 이관한다. ERROR를 낸 면접원의 설문지는 ERROR 대체 설문지가 Q.C를 통해 검증 확인이 되어야 확인도장을 찍고 실사로 이관된다. KOSOMAR 세미나