포항공과대학교 COMPUTER VISION LAB. 석박통합과정 여동훈 Co-Activity Detection by Absorbing Markov Chain Considering Temporal Co-occurrence 포항공과대학교 COMPUTER VISION LAB. 석박통합과정 여동훈 안녕하십니까. 저는 포항공대 컴퓨터 비전 연구실의 통합과정 6년차 여동훈입니다. 제가 오늘 발표 드릴 내용은 제가 연구해온 그래프 생성 및 분석을 통한 image 와 video내의 중요 컨텐츠 검출 기술입니다. 그럼 지금부터 시작하겠습니다.

Co-activity Detection by Absorbing Markov Chain 연구 목표 연구 목표 weakly supervised co-activity detection algorithm based on absorbing Markov chain 여러 비디오에서 공통적으로 나타나는 행위(activity)를 포함하는 프레임 검출 기술 개발. 모든 비디오에서 같은 activity가 한번씩은 나온다고 가정. (weakly supervised) Video sub-clip을 노드로 하는 graph 형성. Absorbing Markov chain property를 이용해, absorption time이 긴 노드가 co-activity 를 포함하는 sub-clip이 되도록 설계. Co-activity에 속하는 sub-clip들은 co-occurring한다는 점을 이용. Video sub-clip을 이용한 그래프 형성 그럼 첫 번째 연구주제인 비디오 내 중요 컨텐츠를 포함한 프레임 검출 기술에 대해 설명 드리겠습니다. 저희는 다수의 비디오에서 공통적으로 나타나는 행위를 중요 컨텐츠라고 고려하고 그 행위를 포함하는 프레임을 검출하는 기술을 제안했습니다. 이 연구 내용은 삼성 DMC-POSTECH 전략 산학 과제 1차년도 연구 결과물입니다. 본 연구는 프레임들을 node로 하는 그래프를 형성하고 그 그래프를 분석하는 방식으로 공통행위를 검출합니다. 현재 저희 기술은 공통적으로 나타나는 행위에만 중점을 두고 연구 하였으나, 그 외에도 feature를 달리해 공통적으로 나타나는 사람이나 event를 검출하는데도 사용할 수 있습니다. 이 기술은 다음과 같이 활용 될 수 있습니다. 첫 번째 예로, 검출된 공통행위나 공통 contents를 중심으로 비디오를 요약하거나 둘째, 공통행위가 나타나는 영역에서 중점적으로 keypoint를 추출해 영상 내용을 전달하는데 도움을 줄 수 있습니다. 그리고 social media service에 올라온 최근 비디오들을 이용해 공통적으로 나타나는 contents를 검출해서 social trend를 분석해 영상 추천 시스템에도 사용될 수 있습니다. 주어진 여러 비디오들의 공통행위 프레임 검출

Co-activity Detection by Absorbing Markov Chain 본 기술의 접근 방법 Video sub-clip들을 이용한 Graph 형성 Temporal sliding window를 통해서 video sub-clip 얻음. Temporal axis에서 overlapping이 있는 짧은 sub-clip들 Sub-clip들을 node로 하는 graph 형성. 모든 node를 transient state로 사용. absorbing node 하나를 추가. Temporal sliding window 방법을 이용한 video sub-clip 추출 동영상 1 동영상 2 동영상 3 본 기술의 접근 방법은 크게 두 단계로 나눠집니다. 첫 번째는 프레임들을 이용해 그래프를 형성하는 것이고 그 다음엔 그래프의 노드에서 노드로 edge를 통해 움직이는 무한 random walk를 통해서 공통행위 포함 확률 값을 계산하는 것을 목표로 합니다. 한 노드에서 다른 노드로 갈 확률은 edge weight에 비례하게 정해집니다. 여기서 노드간의 유사도로 edge weight을 정해주면 비슷한 node끼리 자주 이동하고 그렇지 않은 node들은 덜 방문하게 됩니다. 따라서 노드에 있는 프레임들이 표현하는 행위의 유사도를 edge weight으로 정의하면 random walk의 방문횟수를 공통행위가 포함될 확률 값으로 사용할 수 있습니다. 따라서 행위 유사도를 표현하는 방법이 매우 중요해지기 때문에, 저희는 추가로 기존보도 더 좋은 행위 feature sampling 방법이 필요했습니다. 다음 그림처럼 기존의 방식은 카메라의 움직임에 영향을 받아 배경에서도 feature가 sampling 되는데 저희는 그런 noise를 제거하는 기술을 개발해서 공통행위 포함 프레임을 검출하는데 도움을 주고자 했습니다.

Co-activity Detection by Absorbing Markov Chain 본 기술의 접근 방법   Absorbing node 본 기술의 접근 방법은 크게 두 단계로 나눠집니다. 첫 번째는 프레임들을 이용해 그래프를 형성하는 것이고 그 다음엔 그래프의 노드에서 노드로 edge를 통해 움직이는 무한 random walk를 통해서 공통행위 포함 확률 값을 계산하는 것을 목표로 합니다. 한 노드에서 다른 노드로 갈 확률은 edge weight에 비례하게 정해집니다. 여기서 노드간의 유사도로 edge weight을 정해주면 비슷한 node끼리 자주 이동하고 그렇지 않은 node들은 덜 방문하게 됩니다. 따라서 노드에 있는 프레임들이 표현하는 행위의 유사도를 edge weight으로 정의하면 random walk의 방문횟수를 공통행위가 포함될 확률 값으로 사용할 수 있습니다. 따라서 행위 유사도를 표현하는 방법이 매우 중요해지기 때문에, 저희는 추가로 기존보도 더 좋은 행위 feature sampling 방법이 필요했습니다. 다음 그림처럼 기존의 방식은 카메라의 움직임에 영향을 받아 배경에서도 feature가 sampling 되는데 저희는 그런 noise를 제거하는 기술을 개발해서 공통행위 포함 프레임을 검출하는데 도움을 주고자 했습니다.

Absorption time Use absorption time to compute co-activity score of a frame Large absorption time A node which has many similar neighbors Small transition probability to the absorbing node Each frame obtains a co-activity score Mean of the absorption times of sub-clips containing the frame Thresholding Threshold Mean of the co-activity scores of the whole frames in each video Detect the frames which have co-activity score above the threshold

Example Co-activity score Segmentation result

실험 설계 Toy data Real world data UCF 101 Dataset에서 여러 카테고리의 Video들을 이어 붙여서 실험 군 구성 101개의 category를 이용하여 101개의 실험 군 구성 각 category별로 25개의 이어 붙인 video로 구성 Real world data YouTube에서 특정 키워드를 이용해 검색되어 나오는 video들을 이용해 실험 군 구성 11가지의 category를 구성(Pommel Horse, Juggling Balls, Uneven Bars, etc.) 각각 10개의 video로 구성 각 비디오는 4개의 activity video들로 구성 각각의 이어 붙인 video에는 co-activity가 두 개씩 포함. 나머지 video들은 겹치지 않는 category로 구성 각 video는 검색어에 해당하는 co-activity로 포함(예. Pommel Horse)

비교 알고리즘. CoActSeg PageRank Ours(AMC) Xiong, C. and Corso, J. J. Coaction discovery: segmentation of common actions across multiple videos. In Proceedings of the Twelfth International Workshop on Multimedia Data Mining, 2012. Image co-segmentation algorithm 사용. Clustering algorithm Co-activity Detection을 하지 못함. PageRank 기존에 우리가 제안한 알고리즘. Absorbing node가 없음. normalization을 거쳐서, similarity가 낮은데도, 높은 Transition probability를 가지게 되는 경우 존재 Ours(AMC) Ours+ temporal co-occurrence (AMC_Temp) 미 완성작. 시간 축으로 함께 나타나는 sub-clip의 pair 사이에 edge를 연결해, 도움을 주고자 함.

AMC_Temp 같은 비디오내의 sub-clip들 사이에 overlapping이 없고 바로 닿아 있는 sub-clip들 사이 에 edge 연결 동시에 나타나는 sub-clip들을 찾아내기 위해.

Toy data

YouTube Dataset

연구 주제 1 Link analysis를 이용한 공통행위 포함 frame 검출 기술 적용 결과 다음그림은 실제 비디오에서 공통적으로 나타나는 행위를 검출 했을 때의 결과입니다. 파란색이 실제 공통행위가 존재하는 프레임위치이고, 분홍색은 저희 기술의 검출 결과입니다.

연구 주제 1 Link analysis를 이용한 공통행위 포함 frame 검출 기술 실험 결과 Ours with Camera Invariant Sampling Ours with Original Sampling Mean Average Precision 0.75 0.70 카메라의 움직임에 영향을 받지 않는 행위 유사도 계산을 위한 feature point sampling 방법 실험 결과 Category Ours [Xiong 2012] BenchPress 0.71 0.65 BoxingPunchingBag 0.57 CleanandJerk 0.52 0.4 Drumming 0.69 0.66 JugglingBalls 0.81 0.64 JumpRope 0.91 0.94 PlayingViolin 0.82 IndoorRockClimbing 0.7 0.73 SoccerJuggling 0.79 0.68 Mean F-measure 0.75 수치상으로도 저희 기술이 다른 기술보다 더 좋은 결과를 보여주는데요, 첫 번째 실험은 저희가 제안한 feature sampling을 했을 경우와 아닌 경우의 차이를 보여주고 있고 기존의 sampling 기술보다 5% 좋아지는 것을 확인 할 수 있으며, 두 번째 실험에서는 저희 기술과 다른 기술의 성능 차이를 비교해 보았으며, state-of-the-art “분류” 기술보다 더 높은 성능을 보여주고 있습니다. 이 결과를 토대로 삼성 전략 산학과제를 통해 특허를 신청했으며 현재 심사 중입니다. 그리고 현재 Pattern Recognition Letters 저널에 논문을 제출 준비 중입니다. Youtube 영상 9개 카테고리 공통행위 프레임 검출 결과 삼성DMC-POSTECH 전략 산학 과제 1차년도 여러 비디오에서의 공통 행위 검출’ 기술을 특허 심사 중(MH-201406-010-1-KR0)

감사합니다.