Interactive Generation of Structured Human Motion Using Spatiotemporally-Conditioned Recurrent Neural Networks 이경호 2017. 12. 13.

Presentation on theme: "Interactive Generation of Structured Human Motion Using Spatiotemporally-Conditioned Recurrent Neural Networks 이경호 2017. 12. 13."— Presentation transcript:

1 Interactive Generation of Structured Human Motion Using Spatiotemporally-Conditioned Recurrent Neural Networks 이경호

2 Structured Human Motion

3 Previous Work Motion Grammars for Character Animation
MCMC 기반의 Sampling 방식을 사용 -> 시간이 오래 걸림 하나의 Scene을 만드는데 5분~10분 소요

4 Basket Motion Catch – Pivot – Dribble – Dribble – Pivot – Shoot

5 Neural Network 𝑊 𝑥 𝑦

6 Recurrent Neural Network

7 Recurrent Neural Network
Truncated Backpropagation Through Time

8 Long Short-Term Memory(LSTM)

9 Structured Human Motion

10 Motion Segment Generation
Input Joint Position Goal Position & Orientation Goal Time Goal Action Output Root Translation & Rotation

11 Training Data Generation
Pickup Action Putdown Action

12 Time Alignment 캐릭터간의 Interaction이 있는 경우 서로 타이밍이 맞아야 함

13 Input-Output correlation
𝑦 0 𝑦 1 𝑦 𝑖 … 𝑊, 𝑠 0 𝑊, 𝑠 1 𝑊, 𝑠 𝑖 𝑥 0 𝑥 1 𝑥 𝑖

14 Ambiguity 짧은 거리에 대해 긴 시간 제한을 준다면 해당 위치까지 도달할 수 있는 여러가지 방법이 있음
짧은 거리에 대해 긴 시간 제한을 준다면 해당 위치까지 도달할 수 있는 여러가지 방법이 있음 Reinforcement Learning 같은걸 쓴다면 최적의 하나의 해로 수렴하겠지만, RNN에서는 같은 Input에 대해 여러 다른 Output을 학습시킨다 면 Mean Pose로 수렴해서 이상하게 나올 수 있 음