Video Parsing, Retrieval and Browsing : An Integrated and Content -Based Solution 석사 2학기 오유진.

Presentation on theme: "Video Parsing, Retrieval and Browsing : An Integrated and Content -Based Solution 석사 2학기 오유진."— Presentation transcript:

1 Video Parsing, Retrieval and Browsing : An Integrated and Content -Based Solution
석사 2학기 오유진

2 I. 서론 VOD VCR 제어에만 조작이 한정되어 있다. 비디오 자료들은 구조화 되어있지 않다.\ 개선점 구조화되어야 함
융통성 있는 검색 원자료의 주제적 속성 때문에 브라우징 기능 필요

3 Parsing 비디오 프로그램을 시간적으로 분할하여 요소단위로 만든다 : 많은 알고리즘이 사용
비디오와 오디오의 의미적 프리미티브를 기반으로 요소단위들의 내용추출 자동화된 내용추출은 어려움 :신호 분석과 지식 표현 기법 요구 낮은 수준의 시각적 특징을 이용

4 동영상 색인 브라우징과 검색을 위한 전제 1)텍스트 기반 2) 시각적인 특징 기반
낮은 수준 이미지 특징 : 방대한 양이 문제점 키 프레임 색인으로 극복 오브젝트와 이벤트를 기반한 의미적 특징

5 브라우징 VCR :ff(fast forward), fr(fast reverse)
중요한 비디오 내용이 빠질 수 있음 : 파싱을 통해 강력한 브라우징 가능 여기서는 파싱, 검색, 브라우징 기능을 통합한 시스템을 제시한다.

6 2.비디오 파싱 : 분할과 압축 2.1 시간적 분할과 카메라 조작 검출
2.비디오 파싱 : 분할과 압축 2.1 시간적 분할과 카메라 조작 검출 시간적 분할 : 연속하는 카메라 샷 사이의 경계를 감지하는 것이 문제 카메라 브레이크(컷)뿐만 아니라 점진적인 변화도 검출 가능 압축된 비디오:직접적으로 분할하는 것이 유리 DCT계수, 움직임 벡터는 유용한 특징 카메라 조작과 두드러진 오브젝트 움직임을 포함한 프레임들 식별 가능

7 2.2자동화된 비디오 압축 : 키 프레임 추출 비디오가 압축되었을 때는 검색의 목적으로 모든 프레임 색인, 저장에는 바람직하지 않음 그러나 각각의 세그먼트를 대표하기 위해 abstraction( 압축)은 필요 추출 : 키 프레임과 각각의 세그먼트를 매핑 하는 문제

8 키 프레임 키 프레임의 사용 키 프레임은 의미적으로 중요한 프레임을 선택해야 하나, 아직 그 단계까지는 아니다. 색인 구축
검색 질의 브라우징 목적으로 디스플레이 저장 공간이 부족할 경우 이들만 온라인으로 관리 키 프레임은 의미적으로 중요한 프레임을 선택해야 하나, 아직 그 단계까지는 아니다.

9 낮은 수준의 이미지 특징 색상 특징 움직임 색상 히스토그램, 색상 모멘트, 대표 색상
압축의 경우 이들 특징은 DCT계수를 사용 움직임 카메라 조작, 큰 움직이는 물체에서 나온 대표 움직임 요소 움직임은 내용변화의 indicator역할

10 키 프레임 추출과 분할의 통합 모든 샷의 첫번째 프레임이 키 프레임이 되는 경우도 있음 키 프레임 밀도를 사용자가 제어 가능
디폴트는 각 샷에서 두개 정도 인데, 샷의 첫번째와 마지막 프레임 사용

11 2.3실험 결과 동물발자국 1 동물발자국 2 싱가포르 :거의 정확하게 샷을 검출 Dance : 샷 검출 결과 낮다.
샷검출이 잘 안되더라도 키 프레임의 추출을 통해 이를 보완 SBC에서의 실험

12 3. 샷 기반 표현과 유사성 표현 프리미티브를 식별하고 계산하여 이것을 기반으로 내용샷을 색인, 비교, 분류함 방법
키프레임들을 기반으로 한 프리미티브 시간적 변화와 움직임 정보를 기반으로 한 프리미티브

13 3.1 키 프레임 특징을 기반으로 한 샷 내용의 대표 3.1.1 색상 특징
매우 다른 오브젝트가 유사한 색상을 갖는 경우는 드물다. 따라서 검색 시스템에서 월등한 식별 능력을 갖는다. 색상 히스토그램 대표 색상 색상 모멘트 평균 명도

14 3.1.2 텍스쳐 특징 Tamura 특징 SAR 모델 유사성

15 3.1.3 형태 특징 키 프레임의 대표 오브젝트는 형태에 의해 잘 표현된다.

16 3.1.4 에지 특징 소벨 필터를 이용하는 이미지에서 나온 에지는 내용에 대한 좋은 실마리를 제공한다.
소벨 필터 : 에지검출 방법 중 가장 보편적인 방법은 소벨에 의한 것으로 에지는 1로, 그 이외의 픽셀은 0으로 표시한다. 이미지를 0과 1의 이진 데이터로 표시한 후 1로 연결된 점을 분석하여 에지를 검출한다.

17 3.2 샷 내용의 표현을 위한 시간적 특징 키 프레임이 비디오의 시간적 속성을 무시하는 경향이 있다 : 이벤트 기반 분류와 검색이 힘듬 카메라 조작 명도와 컬러의 시간적 변화 두드러진 정지 화상 다른 특징들

18 4.내용 기반 검색과 브라우징 4.1 비디오 샷의 내용 기반 검색 질의 수행 :종래의 검색 시스템보다 효율적임 키 프레임 특징
시간적 샷 특징 키 프레임 특징과 시간적 샷 특징의 혼합 :종래의 검색 시스템보다 효율적임

19 4.1.1 키 프레임 기반 검색 유사성에 따라, 질의와 비슷한 키 프레임을 식별 시각적 템플리트에 의한 질의

20 4.1.2 샷 기반 검색 보기에 의한 질의 시간적 특징과 키 프레임 특징을 사용

21 4.2 내용 기반 비디오 브라우징 이 시스템의 브라우징 도구들의 독특성 : 브라우징 도구
분할 경계, 카메라 조작, 키 프레임을 포함한 비디오 파싱에서 얻은 내용 정보의 이용 브라우징 도구 순차 접근 랜덤 접근 : 계층적 브라우징 overview level granularity, detailed granularity 제공

22 브라우징 종류 순차 접근 브라우징 : VCR 재생 랜덤 접근 : 계층 브라우저 사용 overview : 키 프레임만 재상
detailed : 정상적인 재생과 ‘프리즈’기능 설정 랜덤 접근 : 계층 브라우저 사용

23 5. 결론 전통적인 텍스트 기반 검색이 아직도 사용되고 있지만 이와 같은 시스템이 점차적으로 많이 이용될 것이다.
이벤트 기반 특징 추출을 위한 더욱 강력한 알고리즘이 개발 중임

24