웹 멀티미디어 컨텐츠 검색 방법 0278193 신은정

개요 멀티미디어 정보검색 메타데이터 MPEG-7 XML 내용기반 정보검색

1. 멀티미디어 정보검색 특징 : 검색 어려움, 검색시간 많이 소요됨 내용기반 정보검색 (Content-based Information Retrieval) MPEG-7 멀티미디어 정보를 일반 사용자들이 검색해서 유용하게 활용할 수 있으려면? 자연스러운 사용법 사용자의 의도가 잘 반영될 수 있어야. 짧은 검색시간 검색결과 중 필요한 정보를 쉽게 판별 가능해야. 2. 따라서 멀티미디어 정보의 빠르고 효율적인 검색을 위해서 ‘내용기반 정보검색’이 필요함. 3. MPEG-7 : 멀티미디어 정보의 신속하고 효율적인 검색을 위하여 내용기반 검색에 필요한 요소기술들을 제공하는 것을 목표로 제안된 표준 4. ① 이미지를 검색할 때, 일반인이 알 수 없는 “빨강색이 25%, 파랑색이 35%인 이미지를 검색하라” 등은 곤란하다. ② 이것은 유사도 측정방법 문제인데, 사용자가 어떤 이미지를 주면서 이것과 비슷한 이미지를 검색해달라고 했을때, 사람은 전체 윤곽이나 주관적인 인상을 기준으로 예제 이미지를 주었는데 검색도구는 평균 색상을 기준으로 검색해주게 되면 엉뚱한 것을 찾아 주게 된다. 일반적으로 멀티미디어 정보는, 사람들은 동일하다고 느낄지 몰라도 내부 표현값은 다른 경우가 많다. 예를 들어 똑같은 사진이라도 한 장은 붉은색의 비율이 많을 수도 있기 때문. ④ 멀티미디어 정보의 해석은 주관적이기 때문에

2. 메타데이터 1) 뜻 - 데이터에 대한 데이터 - 컨텐츠에 관한 설명 데이터 2) 장점 : 검색ㆍ관리 용이 3) 포맷과 저장 포맷 : XML 저장 : 맵핑 정보 테이블 (메타데이터와 해당 웹 컨텐츠의 위치 정보를 맵핑 정보테이블에 저장함) 2) 장점 ① 검색 쉽다 : 원하는 메타데이터만 검색해도 수많은 컨텐츠 중에서 사용자가 원하는 컨텐츠인가를 확인할 수 있고, 빠르고 쉽게 컨텐츠를 찾을 수 있다. ② 관리 용이 : 데이터의 내용이 추가되거나 삭제되는 등의 변경 내용에 따라서 메타데이터의 내용도 동일하게 변경되기 때문에 메타데이터의 변경 내역만 검색할 경우에 데이터의 상태를 정확히 파악할 수 있다. MappingID MetaDataID ContentType ContentID 맵핑ID 메타데이터ID 컨텐츠타입 컨텐츠ID

3. MPEG-7 메타데이터의 표기 방식 중의 하나. 데이터 그 자체가 아닌 멀티미디어 데이터 내용을 표현하는 방법에 관한 표준 멀티미디어 정보검색이나 활용을 위해 멀티미디어의 ‘내용‘인 컨텐츠와 관련 정보를 메타데이터로 표현함 XML언어를 이용한 텍스트 방식으로 표기 장점: 별도의 도구 없이도 컨텐츠의 내용파악 용이 단점: 방대한 내용과 저장용량 : 유지관리 비용 多 3. 여기서 말하는 컨텐츠의 “내용”이란, 화면 안에 있는 각 object 정보, 화면 배경 정보, 화면 색 정보 및 위치 정보 등이 있다. 이처럼 기술할 수 있는 모든 정보를 메타데이터에 표현한다.

3. MPEG-7 표준화의 대상 ① 기술자(D : Descriptor(element)) ② 기술 구조 (DS : Description Schemes(structure)) ③ 기술정의언어 : XML (DDL : Description Definition Language) ④ 부호화 방식 : binary (Coded Representation) ① 기술자(D : Descriptor(element)) : - 특징을 어떤 값에 연결시켜주는 도구 - 색채, 모양, 텍스터, 카메라 움직임이나 객체 움직임 등 ② 기술 구조(DS : Description Schemes(structure)) - 데이터를 여러 개의 기술자로 나타내기 위한 그릇 - 기술적인 구성을 종합적이고 계층적으로 구조화한 것 ③ 기술정의언어(DDL : Description Definition Language) - 기술 구조를 표현하기 위한 언어 - XML(eXtensible Markup Language)언어를 기본으로 채택함 ④ 부호화 방식(Coded Representation) : - 색인, 저장 및 전송을 효율적으로 하기 위하여 사용될 부호화방식. - binary로 표현함. (∵ Descriptor와 structure를 저장하며, 전송을 효율적으로 하기 위해서 압축할 뿐만 아니라 전송 오류에 강해야 하기 때문에 복원이 쉬운 복호화를 사용하는 것,)

4. XML 메타데이터의 표현 포맷 MPEG-7에서 사용하는 언어 웹 상에서 구조화된 문서를 효율적으로 처리하도록 설계된 데이터 형식 XML의 핵심 : 사용자가 새로운 태그를 정의할 수 있는 기능 인터넷에서 기존에 사용하던 HTML의 한계를 극복하고 복잡함을 해결하는 방안 cf. HTML cf. HTML - 기존의 인터넷 언어로, www의 웹페이지를 기술하기 위한 언어 - 파일형식 : 텍스트 형식을 사용 - 태그를 사용하여 컨텐츠의 표시 방법이나 링 등을 기술함 - 장점 : 쉽게 홈페이지를 제작할 수 있다 - 단점 : 검색이 쉽지 않고 표현 형식의 변환이 어렵다

5. 내용기반 정보검색 (Content-based Information Retrieval) 미디어의 내용에 근거하여 미디어 정보를 추출하는 방법 : 주어진 멀티미디어 데이터에서 색,질감,모양과 같은 속성(feature)들을 자동으로 추출하고 이를 기반으로 검색하는 방법. 필요성 : 멀티미디어 데이터의 특성 다양한 형태의 데이터들로 구성됨 방대한 데이터의 크기 주안점 : 효과적ㆍ효율적 정보검색 : ‘원하는 데이터를 얼마나 정확하고ㆍ빠르게 찾을 수 있는가’

내용 기반 질의 멀티미디어 데이터로부터 내용에 해당되는 속성을 자동으로 추출 하는 시스템의 기능을 이용하기 때문에 사람이 일일이 주석을 할 필요가 없으므로 주석 기반 검색의 문제점을 해결할 수 있다. 논리적으로 정확하게 표현될 수 없으므로, 속성 측면에서 정의된 정보 필터를 이용하여 질의를 하고,유사성에 기반을 둔 탐색을 한다. 유사한 모든 것이 반드시 찾고자 하는 자료는 아니기 때문에 질의 결과 중 사용자가 원하지 않는 결과들을 수동적으로 제거할 수 있고 사용자와 검색 시스템 간에 상호 대화를 지원해 줄 수 있는 인터페이스가 필요하다. 2. 내용 기반 질의는 완전 일치를 기반으로 한 데이터베이스 질의나 전문 형태로 기술된 주석 기반 질의처럼 논리적으로 정확하게 표현될 수 없기 때문에 속성 측면에서 정의된 정보 필터를 이용하여 질의를 하고,유사성에 기반을 둔 탐색을 한다.

접근 방법 및 해법 검색대상 상위 레벨 내용 하위 레벨 내용 내용 의미 정보들 키워드, 형태, 색, 크기, 위치, 방향성, 멜로디 등 장점 좀더 자연스런 질의 가능 시스템이 자동으로 검색 가능 단점 사용자의 개입 필요 사용자 질의가 부자연스러움 MPEG-7에서 멀티미디어 정보의 내용 기반 검색에는 상위 레벨 내용에 기반한 검색과, 그보다 하위 레벨 내용에 기반한 검색이라는 두 가지의 방법이 제시된다.

멀티미디어 데이터의 구분 ① 오디오 데이터 (음성ㆍ음향정보를 포함) ② 정지 영상 데이터 (사진ㆍ그래픽들을 포함) ③ 동영상 데이터 (비디오를 포함) >> 내용 기반 검색 기법을 이러한 세 가지 데이터와 연관시켜 분류하고자 한다. 3) 멀티미디어 데이터의 구분 (이렇게 나누어서 내용기반 정보 검색 기법을 살펴본다)

㉡ 오디오내의 음성을 인식하여 키워드 기반의 인덱스를 만든 후 사용자가 질의를 음성이나 텍스트로 해주는 방법 3-1) 오디오 데이터에 대한 내용기반 검색 ① 브라우징을 통한 검색 방법 ② 인덱스를 통한 검색방법   ㉠ 오디오의 음향이나 음악 등을 분석하여 특징벡터로 인덱스를 만든 후 사용자가 멜로디나 음향 효과로 질의를 하여 원하는 곡을 찾는 방법   ㉡ 오디오내의 음성을 인식하여 키워드 기반의 인덱스를 만든 후 사용자가 질의를 음성이나 텍스트로 해주는 방법

3-2) 정지 영상 데이터에 대한 내용기반 검색 영상의 색, 질감, 형태 등의 특징 사용 3-2) 정지 영상 데이터에 대한 내용기반 검색 영상의 색, 질감, 형태 등의 특징 사용 ① 자동추출된 영상의 특징들이 영상화 함께 인덱싱되어 DB에 저장됨 ② 사용자의 내용 기반 질의 : 사용자는 질의로 원하는 색이나 질감 등을 포함하는 영상을 요청하거나 원하는 영상의 모양을 스케치하는 방식으로 내용 기반 질의를 할 수 있다. ③ 질의 결과 : 정확한 영상이 반환되기보다는 요청한 영상과 비슷한 이미지들의 집합이 반환된다

3-3) 동영상 데이터에 대한 내용기반 검색 필요한 기술 3-3) 동영상 데이터에 대한 내용기반 검색 필요한 기술 비디오 파싱기법 사용자 인터페이스 비디오 데이터 압축 및 저장 방법 동영상에서 내용검색을 하기 위해 사용할 수 있는 정보들에 따라 내용기반 검색 기법들을 분류 영상정보 문자정보 오디오 정보 1. 필요한 기술 - 비디오 파싱기법 (동영상 데이터를 색인하기 위한) - 사용자 인터페이스 (사용자가 원하는 데이터를 쉽게 검색할 수 있는) - 비디오 데이터 압축 및 저장 방법 (제한된 저장공간에 대용량 비디오를 효율적으로 저장하기 위한) 2. 분류 : 동영상에서 내용검색을 하기 위해 사용할 수 있는 정보들에 따라 내용기반 검색 기법들을 분류 - 영상정보 - 문자정보 - 오디오 정보 3.3.1 영상의 정보만을 사용한 내용기반 검색 동영상에서 영상의 정보만을 사용했을 때는 주로 동영상의 장면 분할을 통한 구조화된 브라우징 검색 기법이 많이 사용된다. 비디오 분할기법은 다시 분할 대상 비디오 종류에 따라서 비압축 비디오에 대한 분할과 압축비디오에 대한 분할 기술로 구분할 수 있다. 동영상에서 영상의 정보를 검색에 사용하는 다른 방법은 영상의 정보들, 예를 들면 움직임, 색, 모양 등의 특징들을 사용해 일정한 영역의 움직임을 찾아내는 방식이다. 사용자는 원하는 특정 영상을 찾기 위해 정적인 스케치를 하는 것이 아니라 원하는 동영상의 일부를 찾기 위해서 동영상내의 특정 객체의 움직임을 스케치할 수 있다. 3.3.2 문자정보 또는 영상과 문자정보를 함께 사용한 내용기반 검색 동영상에서 영상 정보 외에 문자정보를 사용하였을 때는 문자정보 인식을 통해서 추가적인 인덱스를 만들 수 있기 때문에 키워드나 자연어 질의를 통한 검색도 가능하게된다. 영상에서 문자정보를 이용하는 방법들은 주로 영상에 부가적으로 추가된 주석이나 영상에 삽입된 문자로부터 키워드들을 추출한 후 해당 장면들과 연관시켜 문자열 질의 검색과 구조적인 브라우징을 가능케 해준다. 3.3.3 오디오 정보 또는 영상과 오디오 정보를 함께 사용한 내용기반 검색 동영상에서 오디오 정보를 사용하였을 때는 문자정보와 마찬가지로 동영상에 대한 장면 분할뿐 아니라 음성 인식을 통한 인덱스를 만들어 키워드나 자연어 질의를 통한 내용기반 검색도 가능케 된다. 3.3.4 영상, 문자, 오디오정보를 사용한 내용기반 검색 동영상에서 영상정보, 문자정보, 오디오정보를 모두 사용하였을 때는 가장 효율적인 내용기반 검색 엔진을 만들 수 있다. 오디오 정보 중 특히 음향정보나 신호는 장면 분할에 도움이 되며, 문자 정보나 음성정보는 인식 기술을 적용하여 대응하는 문자정보로 만들어 의미적인 장면 분할뿐 아니라 정보검색 기술이나 자연어 처리 기술을 적용하여 인덱스를 만들어 여러 가지 내용기반 검색을 가능케 해준다.

문자정보 또는 영상과 문자정보를 함께 사용한 내용기반 검색 오디오 정보 또는 영상과 오디오 정보를 함께 사용한 내용기반 검색 영상의 정보만을 사용한 내용기반 검색 문자정보 또는 영상과 문자정보를 함께 사용한 내용기반 검색 오디오 정보 또는 영상과 오디오 정보를 함께 사용한 내용기반 검색 영상, 문자, 오디오정보를 사용한 내용기반 검색 1. 영상의 정보만을 사용한 내용기반 검색 동영상의 장면 분할을 통한 구조화된 브라우징 검색 기법 비디오 분할기법은 다시 분할 대상 비디오 종류에 따라서 비압축 비디오에 대한 분할과 압축비디오에 대한 분할 기술로 구분할 수 있다. 동영상에서 영상의 정보를 검색에 사용하는 다른 방법은 영상의 정보들, 예를 들면 움직임, 색, 모양 등의 특징들을 사용해 일정한 영역의 움직임을 찾아내는 방식이다. 사용자는 원하는 특정 영상을 찾기 위해 정적인 스케치를 하는 것이 아니라 원하는 동영상의 일부를 찾기 위해서 동영상내의 특정 객체의 움직임을 스케치할 수 있다. 2. 문자정보 또는 영상과 문자정보를 함께 사용한 내용기반 검색 문자정보 인식을 통해서 추가적인 인덱스를 만들 수 있기 때문에 키워드나 자연어 질의를 통한 검색도 가능 영상에서 문자정보를 이용하는 방법들은 주로 영상에 부가적으로 추가된 주석이나 영상에 삽입된 문자로부터 키워드들을 추출한 후 해당 장면들과 연관시켜 문자열 질의 검색과 구조적인 브라우징을 가능케 해준다. 3. 오디오 정보 또는 영상과 오디오 정보를 함께 사용한 내용기반 검색 동영상에 대한 장면 분할뿐 아니라 음성 인식을 통한 인덱스를 만들어 키워드나 자연어 질의를 통한 내용기반 검색도 가능케 된다. 4. 영상, 문자, 오디오정보를 사용한 내용기반 검색 가장 효율적인 내용기반 검색 엔진을 만들 수 있다. 오디오 정보 중 특히 음향정보나 신호는 장면 분할에 도움이 되며, 문자 정보나 음성정보는 인식 기술을 적용하여 대응하는 문자정보로 만들어 의미적인 장면 분할뿐 아니라 정보검색 기술이나 자연어 처리 기술을 적용하여 인덱스를 만들어 여러 가지 내용기반 검색을 가능케 해준다.

ex) IBM “Marvle” 관련기사 : 멀티미디어 검색「꿈이 아니다」 (2004.10.2. ZDNet Korea) 현재 인터넷 상에서 간단하게 찾을 수 없는 비디오·오디오 데이터를 검색하기 위한 기술 기존 검색엔진 : 수작업 주석 필요 : 시간ㆍ노동력 소모多, 분류할 정보량의 폭발적 증가 텍스트나 수작업의 주석부 없이도 컨텐츠 검색 가능케 내용을 나타내는 수식 어구를 사용해 동영상을 자동적으로 분류가능케 ex)'옥외','옥내','거리의 풍경','엔진의 노이즈' 등 3. 파일에 첨부되는 주석을 이용하는 구조일뿐, 파일 속에 포함된 화상 자체를 검색하는 것은 아님. 컨텐트의 목록을 만들어 검색하는 방식

ex) 네이트닷컴 “Tong” 관련기사 : 네이트닷컴 검색,‘DB차별화’선언 네이트닷컴, 통 검색 오픈..검색戰 합류 (2005.5.3. 연합뉴스 보도자료) 네이트닷컴, 통 검색 오픈..검색戰 합류 (2005.5.3. 머니투데이) 이미지 사운드 동영상을 별도의 카테고리에서 검색할 수 있어 통 내 뮤직비디오 드라마 음악 등 각종 자료에 쉽게 접근 가능 통 검색과 싸이월드 검색의 연계로 사진 이미지를 비롯해 음악 동영상 등 멀티미디어 검색 기능이 한층 강화됨

ex) 구글의 이미지검색 관련기사 : 검색엔진의 기린아 ‘구글’ 결과에 대하여 미리 보기를 구현하는 최초의 검색 엔진 중 하나 (2005.5.16.ZDNet Korea) 결과에 대하여 미리 보기를 구현하는 최초의 검색 엔진 중 하나 크기, 색깔, 파일 형태와 도메인에 의해 이미지를 구별하는 능력에서 앞선다.

ex) 온라인 음악 검색 관련기사 : 검색 전쟁 "이젠 온라인 음악이다"(2005.5.16. 아이뉴스24) 야후 : 방송사업자들과 상세한 메타 데이터 정보 접근을 위한 계약 체결 MSN : MSN 뮤직 스토어 음반회사들 : 음반 출시 때부터 각종 메타 데이터를 충실하게 정리중 메타데이터가 많을 수록 검색 정확도를 높일 수 있다 온라인 음악 관련 메타 정보 표준화 시급 1. 야후 : MTV, VH1, CMT 등의 방송사업자들과 좀 더 상세한 메타 데이터 정보 접근을 위한 계약을 체결했다. 2. MSN : MSN 뮤직 스토어를 검색 포털의 음악 검색 결과를 통합하는 지렛대로 사용하고 있다. (사용자들이 아티스트를 검색하면 해당 아티스트의 곡중 가장 인기 있는 리스트를 보여주면서 MSN 뮤직 서비스를 통해 구입할 수 있도록 연결해 주는 것.) 3. 음반회사들 : 음반 출시 때부터 각종 메타 데이터를 충실하게 정리중 (이렇게 할 경우 아이튠스 같은 디지털 음악 판매 사이트들이 온라인상에서 음악을 판매할 때 큰 도움이 된다.) 4. 메타 데이터가 더 많으면 많을 수록 검색 정확도를 높일 수 있다는 것이다. (디지털 음악 파일은 아티스트 명, 트랙명, 앨범명, 장르 등의 메타 데이터를 포함하고 있다. 온라인 음악 검색 때는 이 같은 메타 데이터들이 결정적인 역할을 하게 된다.) 5. 온라인 음악 관련 메타 정보 표준화가 시급한 과제 (디지털 음악 판매업체들의 정보 저장 방식이 제각각)

ex) 동영상 검색 관련기사 : 구글-MS-야후, '이젠 동영상 검색이다‘(2004.11.30. 아이뉴스) 구글 : 인터넷상에 있는 오디오 파일의 원고처리 작업 / 자막처리 MS : 메타태그 “동영상 검색시대"…야후-블링스 등 서비스 개시 (2004.12.16. 아이뉴스24) 1. 구글 - 인터넷상에 있는 오디오 파일의 원고처리 작업 (나중에 동영상 검색엔진을 구축할 때 쉽게 찾을 수 있도록) - 자막처리 (자료를 검색할 때 검색어와 매치시켜보기 위해 필요함. 자막으로 동영상의 주제 및 관련 키워드를 써놓고 검색에 사용할 수 있기 때문) MS - 메타태그 (찾을 파일에 키워드로 이름을 붙여 추적할 수 있도록 하는 방법을 사용할 계획)