TREC (Text Retrieval Conference) 소개 DARPA TIPSTER 프로그램으로 시작 1992년 제 1회 TREC 을 시작으로 매년 열림 (6회) 목적 동일 데이터/평가 방법에 의한 객관적 비교 현실적인 대량의 테스트 컬렉션 구축 TREC-1 후원 : DARPA, NIST 참여 : 12개 기업, 13개 대학 TREC
1GB Training Documents (D1) TREC Task 50 Training Topics 50 Test Topics Q2 Routing Queries Q3 Ad-hoc Queries Q1 Training Queries 1GB Training Documents (D1) 1GB Test Documents (D2) TREC
TREC Task Guideline Topic에서 초기 질의 생성 방법 검색 결과 제출 (NIST) 참여 방법 방법 1 : 자동 생성 방법 2 : 수동 생성 방법 3 : 자동/수동 생성 + 피드백 검색 결과 제출 (NIST) 방법 1 또는 2에 의한 상위 200개 문서번호 방법 3의 마지막 질의에 의한 상위 200개 문서번호 참여 방법 Category A : full participation Category B : full participation using a reduced data set(1/4) Category C : for evaluation only 저작권 보장 동의서 제출 TREC
TREC-1 Test Collection (1/2) CD-ROM 2장 ( D1, D2) : 2GB를 압축 Disk 1 WSJ : Wall Street Journal (1986-1989) AP : AP Newswire (1989) ZIFF : Ziff-Davis Publishing (Computer 관련) FR : Federal Register (1989) DOE : Short abstracts from Department of Energy Disk 2 WSJ : Wall Street Journal (1990-1992) AP : AP Newswire (1988) FR : Federal Register (1988) TREC
TREC-1 Test Collection (2/2)
TREC Test Collection TREC
TREC Relevance Judgement 1. Full relevance judgements 100개 Topic에 대해 74만 문서를 평가 : 불가능 2. 임의 문서를 추출하여 평가 불충분한 평가 3. Pooling 방법 (TREC 채택) 모든 참여 시스템의 실행 결과 200개 문서를 합병 예) 33 개 실행 결과 * 200 = 6600개 문서를 병합 (평균 1462개) 한 사람이 한 개의 Topic에 대해 평가 (100명) TREC
TREC에서의 평가 및 향후 계획 정보검색 평가 TREC 향후 계획 11 pt. Average precision 문제점 200개 문서보다 작게 출력된 시스템 처리 문서 집합 크기를 고려한 평가 모델 개발 TREC 향후 계획 Multi-lingual Test Collections Multi-media Test Collections TREC