년 5 월 3 주 ~4 주 자체 조사 음악검색 & 스피치검색 인지 설문조사 정보검색 - 음악검색 / 음성검색 인지 및 사용 현황 설문조사 나이성별휴대폰 기종 음악검색인 지 음성검색인지 사용여부 ( 음악 / 음성 ) 사용 어플 ( 음악 / 음성 ) 사용빈도좋은 점불편한 점 1 10 대남아이폰 OOX/X 없음 2 10 대여안드로이드 XOX/O 없음 3 10 대남안드로이드 OOO/O 네이버 /S 보이스주당 1 번빠르다, 간편하다로딩이 길거나, 가끔 인식 아예 안됨 4 10 대여안드로이드 OOO/O 네이버 / 네이버주당 4~5 번길거리에서 바로 궁금증 풀 수 있다직접 노래 불러서 인식하면 잘 안된다 대여안드로이드 OXO/X 네이버거의 안함검색결과 빨리 나옴 잘 모름 6 10 대여안드로이드 OXO/X 네이버거의 안함간편하다원하는 노래 못찾음 7 10 대남안드로이드 OOO/OQ voice 아주 가끔간편하다, 검색시간 단축 인식이 너무 느림, 주변 소음 민감, 답이 부자연스러움 8 10 대남안드로이드 XXX/X 없음 9 10 대남아이폰 XOX/X 없음 /siri 거의 안함잘 안써봐서 모름 대여안드로이드 OOO / X 네이버주당 1 번간편하다소음 영향 크다 대여안드로이드 OOO/O 네이버 / 구글주당 1 번간편하다외국노래 잘 못찾음 대여안드로이드 OOO/X 네이버주당 2~3 번 모르지만 좋은 곡 알 수 있어서 좋다소음, 노래 나오는 타이밍과 불일치 대여아이폰 OOO/X 네이버주당 2~3 번간편하다소음 영향 크다 대여안드로이드 XXX/X 없음 대여아이폰 OOO/X 네이버한달 1 번간편하다외국노래 잘 못 찾음 대여안드로이드 OOO/X 네이버주당 2~3 번잘 들리면 바로 단시간내 찾아준다. 앱 실행시간이 다소 오래걸림, 소음 영향 아주 많이 크다 대여안드로이드 OOO/O 네이버 / 구글 번역한달 1 번 사용을 많이 안함, 쉬움 외국인과 의사소통 원활 소음 영향 크다 / 언어 인식 잘 못함 대남아이폰 OOO/O 네이버 / siri 거의 안함간편하다주변 소음 영향 크다 대남안드로이드 OOO/O 네이버 / 구글 번역주당 1 번간편하다로딩이 다소 길다. 소음 영향 크다 대남아이폰 OOO/Osoundhound/siri 주당 1 번간편하다로딩이 길다. 소음 영향 크다 대남안드로이드 OXO/X 네이버거의 안함간편하다소음 영향 크다 대여아이폰 OOO/X 네이버주당 2~3 번검색시간 단축 비슷한 노래로 나옴, 소음 영향 크다 로딩 시간 길다 ( 노래 끝남 ) 대여아이폰 OXO/X 네이버주당 4~5 번많은 노래를 편하게 알 수 있다비슷한 노래로 나오는 경우가 종종 있다 대남아이폰 OOO/Osoundhound/siri 주당 1 번간편하다소음 영향 크다 대여안드로이드 OOO/O 네이버 /S 보이스주당 1 번간편하다 / s 보이스 인식 siri 보다 낫다소음 영향 크다 대여안드로이드 OXO/X 네이버주당 2~3 번 카페에서 노래 궁금증 바로 앎. 검색 시간 단축 외국 노래 검색 잘 안됨 / 소음 영향 크다 대남아이폰 OOO/O 네이버 /siri 주당 1 번간편하다 / 노래 궁금증 바로 해결 소음 영향 크다 / siri 는 영어라 다소 안 쓰게 됨 대여안드로이드 XXX/X 없음 대여안드로이드 OXO/X 네이버거의 안함쉽다소음 영향 크다 대남안드로이드 OXO/X 네이버거의 안함간편하다로딩이 다소 길다 음악 검색 인지 및 이용자 스피치 검색 인지 및 이용자 - 응답자 30 명 중 과반수 22 명 해당한 10 대 /20 대 이용자 생각보다 음악 및 음성 어플 인지도 및 사용여부가 많지 않았음. - 음악검색 어플은 ‘ 네이버 ’ 편중 및 음성검색은 휴대폰 내장된 기본 어플 위주로 사용 - 어플 사용과 있어서 간편하지만, 주변 소음에 대한 민감도 크다는 답변 과반수 이상 ☞ 검색 원리 및 검색 서비스 제공하는 어플, 사이트 실례 조사 필요성

내용기반음악 검색

- 정의 내용기반 음악 검색 ? - 작곡가, 곡명, 연주자명 등 메타데이터 요소 대신 직접 노래하거나 검색화면에서 음표를 직접 표기하여 음악을 검색하는 것 E x) SoundHound, Shazam ** QBH 검색 - 오디오 신호 (signal) 로 입력된 음원 : 시그널 기반 색인화 - 악보형태로 입력된 음악 : 문자열 (string) 기반 색인화

내용기반음악 검색 - 용어설명 음높이 (pitch) 강약 (intensity) 장단 또는 음 길이 (legth ) 음색 (timbre) 리듬 (rhythm) 선율 (melody) 주제 선율 화성 (harmony)

1. 다성 (polyphonic) 파일에서 단성 (monophonic) 선율 추출 노래와 반주 분리하기 / 주 악기의 선율과 협주 악기 선율 분리하기 2. 추출된 선율을 색인 단위로 분할 - 첫 번째 동기만으로 - 전체 동기를 대상으로 - 동기들 간의 유사도를 기반으로 클러스터링 내용기반음악 검색 - 내용기반음악 검색 자질추출

1 ) 음표 “ 도레미파솔라시도 ” -> "CDEFGAB" or “ ” 문자로 음높이 (pitch) 표시 방법 ☞ 음높이의 변화 표현해 선율의 흐름을 나타냄 (themefinder) 2 ) 음높이에 음길이까지 자질로 포함한 방법 박자 : 16 분음표, 8 분음표, 4 분음표, 2 분음표, 온음표 등 표시. sharp 과 flat 은 문자열 뒤에 “#" 과 ”-“ 을 추가 표시 (Musipedia) 3 ) UDR 스트링기법 : 선율의 흐름 기반 상승하강 반복되는 것만 U(p) D(own) R(epeat) 문자 표현 기법 (MelDex) ☞ 초기의 대표적인 QBH 시스템 : R(epeat) 대신 S(ame) 이 사용 UDS 스트링이 사용 ( 그 외 UDS 사용 : Themefinder) 내용기반음악 검색 - 스트링 (string) 기법

내용기반음악 검색 - 내용기반음악 검색 시스템 -Themefinder Themefinder : 질의를 텍스트 스트링으로 입력해 완전 일치한 멜로디만 검색하는 대표적인 시스템 탐색 결과 화면에서 곡의 상세정보, 남성키, 여성키 정보 해당 마디의 미디어 파일 다운로드 가능 Pitch 탐색, Scale Degree 탐색, Gross contour 탐색, Reined contour 탐 색

내용기반음악 검색 - 내용기반음악 검색 시스템 - Musipedia - 4 종류의 박자 중 선택 입력 -> 건반 선택 : 오선지 음표 표현 -> 텍스트박스 : 음높이와 박자 스 트링 변환 -> 질의 선율의 동기 구간 선택탐색 - 탐색 결과 : 질의 스트링과 색인된 스트링과의 편집거리 순 - Contour search : UDR 스트링을 텍스트창에 입력 탐색 ( up dowm Repeat) : 음높이의 차이 표현 불가하여 많은 음악 검색 방지하고자 음악장르로 제한 탐색 가능 음표 검색 음높이 차이 마이크로폰 멜로디 검색 리듬

내용기반음악 검색 - 내용기반음악 검색 시스템 - Musipedia - Flash Piano 직접 곡을 연주하는 것 유사 Keyboard search : 악보 입력 - Rhythm search : 리듬만 가지고 검색

내용기반음악검색 - 핑거프린팅 핑거프린팅 (fingerprinting) “ 소리의 지문 ” = 고유 주파수 값 각 오디오만의 고유특성 & 자질 -> DB 화

내용기반음악검색 - 핑거프린팅 기술의 3 가지 기본 조건 Robustness Pairwise Independency Search Efficiency 방송모니터링 음악식별시스템 저작권필터링 활용 분야

내용기반음악검색 - SHAZAM : 핑거프린팅 기술 기반 원리 1 단계 2 단계 3 단계

내용기반음악검색 시스템 - SHAZAM 안드로이드, 아이폰 모두 사용 가능 APP - 외국 DB 구축 프로그램 - 비가요 ( 찬송가, 동요 등 ) 검색 불가능 - 검색속도 느림

내용기반음악검색 시스템 - SHAZAM 의 특징 1. 검색 -> 유투 브 2. 내 태그

내용기반음악검색 시스템 - SHAZAM 의 특징 3. 아마존 구입 4. 추천곡 & 리뷰 5. 블로그 연결

내용기반음악검색 시스템 - Google 음악검색 원리 : 이미지 처리 기법 특징 추출 1 단계 2 단계 3 단계

내용기반음악검색 시스템 - NAVER 음악검색 아날로그인 소리를 디지털로 바꿔서 비교하는 과정 - -> 음악의 특징적인 정보 추출이 중요

내용기반음악검색 - NAVER 음악검색 동일 파일 검색 = 허밍, 직접 부르는 노래 검색 X 네이버 says ‘ 어플 사용 시즌 탄다 ?!’

내용기반음악검색 -MUSIC ID 아이폰 전용 어플 한국가요 DB 구축 및 가사 제공, 유사곡 검색

내용기반음악검색 -SoundHound 아이폰 전용 어플 한국가요 DB 구축 ( 유명곡 ) 및 가사 제공, 유사곡 검색 어플중 최고 속도 / 유투브 연계 청취 / 부가정보 검색 X 음악검색 -> 리스트 제공 -> 상세정보

내용기반음악검색 -SoundHound 자신이 과거에 검색했던 리스트 ( 히스토리 ) 검색 확인

내용기반음악검색 -Midomi

내용기반음악검색 - Midomi 음악 검색 음악검색 과정 : 검색

내용기반음악검색 - Midomi 음악 검색 음악검색 과정 : 검색 중 !! 우선 설정 필요 검색결과 실패 결과창

내용기반음악검색 - Midomi 음악 검색 음악검색 결과 정보 연주곡, 유명 팝밴드, 영화 OST 등 외국 / 국내 음악 파일 곡명, 가수명, 발매일, 앨범명, 앨범 트랙

내용기반음악검색 - Midomi 음악 검색 -2~3 번의 재검 색 후 검색 도출 검색 과정 중 특이점 - 편곡 & 이용자 미등록 음성파일 검색 결과

내용기반음악검색 - Midomi 음악 검색 가수 인기도에 의한 음악 검색 결과

내용기반음악검색 - Midomi 음악 검색 검색 실패 결과 창과 제한점 제한점 : 25 개의 장르 & 42 개의 언어 -> 재검색 정확률 향상

내용기반 스피치 검색

- 방대한 빅데이터 속 편리한 정보 입출력방법의 개발 요구 - 음성 : 가장 자연스럽고 널리 쓰이는 의사소통 수단 - 음성의 장점 : ①기계사용 위한 별도 훈련 필요 X ②음성 정보 전달과정 중 손, 발 눈의 동시 사용 : 병렬작업가능 ③신속성 : 글 (8~10 배 ), 키보드 (3~4 배 )< 소리 내용기반 스피치검색 - 음성 검색의 필요성과 장점

인식 대상 단어 또는 특징 파라미터를 컴퓨터 메모리에 저장 화자의 음성 입력 음성 분석, 특징 추출 미리 저장되어 있는 단어 또는 음소와 유사도 측정 가장 유사한 것을 인식 결과로 출력 내용기반 스피치검색 - 음성 검색의 원리

내용기반 스피치검색 - 대어휘 연속음성 인식기 기본 구조

내용기반 스피치검색 - 대어휘 연속음성 인식기 기본 구조 특징추출부 (Spectral Analysis) 1) 화자의 음성 중 발음 특성을 잘 나타내는 파라미터 추출 2) 특징추출부조건 ① 유사음성 구별 가능한 판별능력 ② 발성자와 시간에 따른 적은 변이 ③ 인지 및 발성 모델로 설명 가능

내용기반 스피치검색 - 대어휘 연속음성 인식기 기본 구조 음성인식부 1) 단어레벨 매칭부 (Word-level Match) - 단어모델을 사용 - 부단어모델 (Subword Models) 와 사전 (Lexicon) 을 이용 ☞ 단어모델을 작성 (Word Model Composition) ☞ 단어 인식 2) 문장레벨 매칭부 (Sentence-level Match) - 언어모델을 사용 - 단어레벨 매칭부에서 인식된 단어를 사용 ☞ 완전한 문장 인식

내용기반 스피치검색 - 분산음성인식 방식 1) CPU 용량의 한계 - 휴대형 통신기기 ( 휴대폰 /PDA) : 음성인식 기술 구현 어려움. ☞ 해결 : 분산음성인식 방식 2) 단말기에서 음성신호 특징 인식 3) 메모리와 연산량 등 : 처리시간 多 ☞ 서버에서

1) 원리 이용자의 명령 사용자의 음성 수집 오디오 파일로 변환 애플의 데이터 센터로 전송 컴퓨터 프로그램을 수행하는 작업으로 변환 작업의 결과물로 텍스트 형태로 변환 2) 음성을 콘텐츠로 변환 - 이용자가 말하는 주제 분야에 관한 지식 필요 3) 자연어 분석 및 생성 - 시리의 구성요소 중 가장 어려운 부분 내용기반 스피치검색 -Siri

내용기반 스피치검색 -Siri

내용기반 스피치검색 - 구글의 대화형검색

참고자료 # 도서 # 도서 - 교재 정보검색론, 노정순, 글누리 - 부교재 정보검색론 # 웹문서 - 삼성전자 블로그 Samsung tomorrow - 네이버 다이어리 _ 네이버 ‘ 음악검색 ’ 개발이야기 ewDate=&currentPage=1&listtype=0 Google Voice search # 논문 음악 검색을 위한 오디오 핑거프린팅 방법 및 데이터베이스 검색 알고리즘. 이선형. 고려대학교 # 음악 어플 및 음성 어플 Midomi Google Themefinder ( Musipedia ( NAVER SHAZAM SOUNDHOUND

감사합니다. Q&A