vrlab.suwon.ac.kr/mwlee 10장 얼굴 애니메이션 (Facial Animation) vrlab.suwon.ac.kr/mwlee

얼굴 애니메이션 사실적인 얼굴 애니메이션은 컴퓨터 애니메이터들이 당면하고 있는 가장 어려운 과제 중의 하나임 얼굴은 아주 친근한 구조로서, 잘 정의된 기본 구조를 보여주지만 각 개인에 따라 변화의 정도가 다양함 얼굴 모델은 카툰(만화), 사실적인 캐릭터 애니메이션, 주파수 범위를 줄이기 위한 원거리 통신과 인간 컴퓨터 상호 작용(human-computer interaction, HCI) 등에서 이용될 수 있음 더 사실적인 얼굴 애니메이션을 위해서는 표면 도형이 실제 얼굴과 더 많이 일치하는 복잡한 얼굴 모델을 이용할 필요가 있음 이 모델들을 이용한 애니메이션은 그에 따라 더 복잡해짐 2017-2학기 컴퓨터 애니메이션

얼굴 움직임 코딩 시스템 (Facial Action Coding System) 심리학자인 Ekman 과 Friesen 이 모든 얼굴 표정을 몇 개의 기본 얼굴 움직임으로 해체하는 것을 목적으로 실시한 연구 결과 이 동작 단위(action unit 또는 AU)를 결합하면 모든 얼굴 표정을 묘사할 수 있음 AU를 도식화한 예(그림 10.3) (그림 10.3) 2017-2학기 컴퓨터 애니메이션

46 개 AU 를 분리하여 얼굴 애니메이션 시스템을 만드는 임상적인 기초 제공 예를 보면, 눈썹 내리기, 눈썹 올리기, 속눈썹 올리기, 윙크, 뺨 올리기, 윗입술 올리기, 턱 내리기 등 AU가 주어지면 애니메이터는 AU 의 움직임에 따라 매개 변수화 된 얼굴 모델을 만들 수 있다. FACS 는 표정 묘사를 의도로 한 것이며 생산하는 것을 목적으로 하지는 않는다. FACS 는 언어를 묘사하지는 않으므로 언어의 기본 단위인 각 음소를 만드는 동작들은 포함하고 있지 않다. 2017-2학기 컴퓨터 애니메이션

10.2 얼굴 모델 애니메이터가 접하는 첫 번째 문제는 얼굴 애니메이션에 적합한 도형을 찾는 것이며, 이것은 그 자체로도 매우 어려운 문제 얼굴 애니메이션은 단순한 모델에서부터 해부학에 근거한 것까지 다양함 일반적으로 복잡도는 사용 목적에 따라 결정 모델을 정적 상태의 성질과 동적 상태의 성질을 가지고 논할 수 있음 모델의 도형에 주로 쓰이는 방법 다각형(polygon): 단순성 때문에 많이 쓰임 스플라인(spline): 부드러운 곡면이 필요할 때 사용 분할(subdivision): 최근에 어느 정도 성공적으로 쓰임 2017-2학기 컴퓨터 애니메이션

얼굴 모델 만들기 사람의 얼굴을 처음부터 만드는 것은 쉽지 않으며, 정확한 모양을 만들어야 할 뿐 아니라, 곡면의 움직임을 정확하게 조절하기 위해서는 기하학적인 요소들(꼭지점, 변)을 적당하게 자리잡아 주어야 함 얼굴 모델 만들기 방법 CAD 시스템은 환상적인 생물이나 커리커쳐를 만들 때 또는 어떤 미학적 디자인 조건을 만족시켜야 할 때 유용 어떤 물리적인 모델을 참고로 하여 디지털화 시키거나 기존의 모델을 변형시키는 방법 레이저 스캐너(laser scanner)는 모델 곡면과의 거리를 측정하는데 레이저를 사용하여 매우 정확한 모델을 만듬 대부분의 사진을 이용한 접근법은 요소 점(feature point)을 지정하여 기존의 모델을 수정하는데, 모델을 처음부터 만드는 일반적인 방법은 눈금이 그려진 얼굴의 정면과 측면의 이미지를 얻는 것임(그림 10.9) 2017-2학기 컴퓨터 애니메이션

(그림 10.9) 2017-2학기 컴퓨터 애니메이션

MPEG-4 표준에서 멀티미디어 장면을 효율적으로 바꾸는 도구들을 제안하고 있음 화상 회의를 하기 위해 주로 얼굴 애니메이션에 중점을 둔 얼굴 정의 매개 변수도 그 중에 하나이며, (그림 6.29)에서 그 표준으로 정의된 얼굴의 점들을 보여줌 일단 이런 방식으로 모델이 정의되면, 역시 MPEG-4 표준에서 정의된 얼굴 애니메이션 매개 변수의 관련 집합으로 애니메이션됨 2017-2학기 컴퓨터 애니메이션

2017-2학기 컴퓨터 애니메이션

텍스처 얼굴 애니메이션에서 텍스쳐 맵은 매우 중요함 컴퓨터 그래픽스로 만들어진 대부분의 물체는 플라스틱이나 금속적인 느낌인데, 얼굴 애니메이션인 경우 그렇게 되면 이미지의 사실성이 현저히 감소함 레이저 스캐너는 깊이 뿐 아니라 강도에 관한 정보도 수집할 수 있으므로 고 해상도의 곡면을 만들 수 있지만, 일단 얼굴이 변형되면, 텍스쳐는 더 이상 일치하지 않음 단순히 윗면이나 측면의 사진을 이용하여 텍스쳐를 만들기도 하는데, 이 경우 텍스쳐가 겹치는 부분은 픽셀을 혼합하는 방법을 사용 2017-2학기 컴퓨터 애니메이션

10.3 얼굴 애니메이션하기 얼굴 애니메이션의 가장 단순한 방법은 몇 개의 주요 자세(key pose)를 정의하는 것임 두 개의 주요 자세를 선택하고 그 두 자세에서 대응하는 꼭지점의 위치를 보간하여 얼굴 애니메이션을 만듬 이 방법을 쓰면 생성 가능한 동작이 주요 동작 사이의 보간 동작으로만 제한되기 때문에 이것을 약간 일반화시켜서, 합이 1이 되는 가중치들을 2개 이상의 주요 동작들에 주어서 얼굴 애니메이션을 할 수 있음 이 방법도 애니메이터가 얼굴 모델의 각 부분을 직접적으로 통제할 수 없기 때문에 여전히 제한적임 2017-2학기 컴퓨터 애니메이션

매개 변수화된 모델 얼굴 모델을 기본 동작에 따라 매개 변수화 하고 시간에 따라 매개 변수의 값을 조절하는 것이 가장 널리 쓰이는 얼굴 애니메이션 구현 방법 중의 하나임 일반적으로 유용한 매개 변수화는 가능하면 공간의 많은 부분을 포함해야 함 표면적 매개 변수의 예로는 윗입술의 위치, 눈의 시선, 턱의 회전, 눈썹의 떨어진 정도 등이 있음(그림 10.11) (그림 10.11) 2017-2학기 컴퓨터 애니메이션

혼합 모형 얼굴 애니메이션의 가장 간단한 방법은 몇 개의 주요 포즈(key pose)를 정의하는데 이를 “혼합 모형”이라고 한다. 두 개의 주요 포즈를 선택하고 그 두 포즈에서 대응하는 꼭지점 위치를 보간하여 얼굴 애니메이션을 만든다. 생성 가능한 동작이 주요 동작 사이의 보간 동작으로만 제한된다. 이를 개선하여, 합이 1이 되는 가중치들을 2 개 이상의 주요 동작에 주어서 얼굴 애니메이션을 할 수도 있다. 2017-2학기 컴퓨터 애니메이션

근육 모델(Muscle Models) 매개 변수 모델은 피부의 기하학적인 이동을 임의의 매개 변수 값으로 인코딩 하며, 근육 기반 모델은, 모델의 물리적 기초에 얼마나 영향을 받는가에 따라 아주 다양하며 좀 더 정교함 얼굴을 모델하기 위해서는 선형근(linear), 편평근(sheet), 괄약근(sphincter) 이렇게 3 가지 종류의 근육이 필요 근육을 기하학적으로 정렬시키는데 있어서 주된 차이점은 얼굴의 표면에 모델을 만들었는지(그림 10.14), 피부 아래 구조 층에 붙였는지 하는 것임(그림 10.15) (그림 10.14) (그림 10.15) 2017-2학기 컴퓨터 애니메이션

근육이 활성화 되었을 때 근육의 삽입점 부근이 어떻게 반응하는가를 결정하는 것은 피부의 모델임 사용할 가장 단순한 모델은 그 점에서의 기하학적인 거리와 근육 벡터의 편차에 기반을 둔 것임 예를 들어 근육의 효과는 삽입점으로부터의 거리와 삽입점의 변위 벡터의 편차에 따라 줄어들게 됨 샘플 계산을 위해 (그림 10.16)참고 (그림 10.16) 2017-2학기 컴퓨터 애니메이션

조금 더 정교한 피부 모델은 각 피부 도형의 각 변을 스프링(탄성)으로 모델링하고, 스프링 상수로 변형 정도를 제어하는 것임 이 힘으로 근접한 꼭지점들이 움직이게 되고 다시 그 꼭지점에 붙어 있는 꼭지점들이 움직이게 되며 계속 됨(그림 10.17) (그림 10.17) 2017-2학기 컴퓨터 애니메이션

임상적 관찰을 하기 위해 개발한 근육 모델(그림 10.19) 좀 더 복합한 보이트 모델(Voight model)은 피부를 스프링과 댐퍼(damper)를 평행으로 합친 점탄성의 물체로 취급(그림 10.18) 임상적 관찰을 하기 위해 개발한 근육 모델(그림 10.19) 2017-2학기 컴퓨터 애니메이션

근육의 수축을 계산하는데 사용하는 함수는 근육 모델의 종류에 따라 결정 피부는 수동적 요소로 구성된 반면에 근육은 능동적 요소로 구성된다는 차이점을 제외하고는 근육 모델의 종류는 피부의 경우와 비슷 예를 들어 선형근의 경우, 삽입점의 위치 변화는 근육 활동의 결과에 따라 나타난다. 간단한 근육 모델은 삽입점의 위치 변화를 단순히 활동양에 따라 지정한다. 물리적으로 정확한 모델의 경우는 근력의 효과를 계산할 것이다. 가장 단순한 역학적 모델의 경우는 근육을 표현하기 위해 스프링을 사용한다. 좀 더 복잡한 근육 모델의 경우는 댐퍼(제동, damper) 효과를 포함한다. 2017-2학기 컴퓨터 애니메이션

표정 (Expressions) 표정의 기본 집합을 제공하는 얼굴 애니메이션 시스템 행복, 화, 슬픔, 두려움, 역겨움, 놀라움 등 표현 2017-2학기 컴퓨터 애니메이션

10.4 립-싱크 애니메이션 (Lip-Sync Animation) 말의 조음기관 폐, 성대주름, 연구개, 입술, 이, 혀 등이 목소리계의 구성 요소 폐는 공기 흐름을 생성하고, 성대주름이 진동되고, 연구개는 비강이나 구강으로 공기흐름을 편향시킨다. 성대주름에 의해 시작된 진동조화는 구성에 따라 구강내에서 강화된다. 진동은 입술과 혀에 의해 구강내에서 초기화된다. 음소 말을 이해하고 사람이 어떻게 생성하는지를 알기 위해 극소의 음성 조각인 간단한 구성요소 집합으로 나누는 것: 음소 음소는 약 42개 음성을 생성하는데 대응되는 얼굴 자세는 비슴(visemes) 이라고 함 2017-2학기 컴퓨터 애니메이션

Viseme 예 (구글 viseme image) staffwww.dcs.shef.ac.uk ivislab.sfu.ca hirospot.web.fc2.com 2017-2학기 컴퓨터 애니메이션

동시 조음 동시 조음 립 싱크 애니메이션을 자동 생성하는데 복잡한 요소 중의 하나는 한 음소가 이웃 음소에 주는 영향 동시 조음의 효과를 위해 이웃 음소의 우선순위에 기반한 혼합을 실행하는 우세 함수(dominance functions)라는 가중치 함수 사용 운율학(prosody) 립 싱크 애니메이션의 다른 복잡한 요소는 감정적 악센트(accent) 를 반영하기 위해 자연적 말로 변경하는 것이다. 이러한 악센트를 운율학이라고 한다. 운율학의 영향은 발언 단어나 구의 기간, 음조, 진폭의 수정을 포함한다. 2017-2학기 컴퓨터 애니메이션