Great Expectation: Prediction in Entertainment Applications - MindGames Group, Robert Bruke Soft computing Laboratory Yonsei University November 22, 2004

Title Summary Usual Suspects Conclusion and Prediction in 17 Entertainment Applications Conclusion

Summary Entertainment의 world는 표현적, adaptive agent들로 가득함 Application의 특징 Application 상호간, human 참가자와의 interacting ‘illusion of life’를 유지하는 일종의 창작물 본 chapter의 논의점 Entertainment world에서 발견되는 architecture의 high-level concepts 특정 architecture 상황에서의 동기, 인식, 행위의 선택 창작물 구현에 대한 agent 기반 접근법 Architecture의 표현, 통합이 어떻게 새로운 형태의 학습, 적응, 표현 행동을 허용하는지 예시 ‘Life-like creature(실제같은 창작물)’ 구축에 흥미있는 사람들을 위한 idea 제시

1. The Usual Suspects Anthropomorphic Robot Camera, 마이크로 real world의 시청각정보 인식 사람을 감지 -> 상체의 움직임을 흉내 내려고 노력 얼굴 표현으로 자신의 만족도, 혼란, 호기심등을 나타냄 장난기 발동(feeling mischievous) 이전 상호작용에서 기억했던 다른 gestures Autonomous Virtual Sheepdog Virtual creature, object와 함께 field에 존재 human 참가자는 음성명령을 주는 등의 양치기 역할 수행 Sheepdog은 음성명령이 양을 몰라는 것으로 해석

1. The Usual Suspects(cont.) Fearsome behemoth Goatzilla 어떻게 먹이를 찾는지에 대한 지식 없이 삶을 시작 생존하기 위해 양치기의 양을 훔치기위한 전략을 터득해야 함 실시간으로 삶에 대한 illusion을 유지하면서.. Virtual sports simulator – Ice hockey team Autonomous agent는 하키팀의 right-wing forward player를 제어 Agent는 빙상에서 유리한 지점부터 경기장 상태 인식 다음을 고려하여 적절한 행동 과정을 결정 다른 자율player와 연습한 공격 전략 팀의 social dynamics 경기 지식

2. I Perceive, I Decide, I Do 앞의 4가지 agent는 목적은 달라도 공통점을 가짐 표현적이며 dynamic world에 대해 robust함 다양하고 가능한 행동 을 선택하기 위해 실시간 동작해야 함 각 Agent는 world에 대한 현재 상황 인식, 자신의 결정에 있어서 내부 상태(internal state)에 기반을 둠 Sheepdog : 배고픈 경우 더욱 열정적일 것임 Hockey player : 부상에서 회복했다면 방어자세를 취함 각 agent가 무엇을 할지 결정되면 주어진 자유도를 가지고 명확한 행동 수행을 위해 동작 Task의 세부 사항 World를 수정하는 agent의 행위는 작업마다 다르며 application마다 다름 Animation character가 특정 행동을 수행하는 동안 명확하게 이동하고 유지하는 방법을 찾아야 함 Agent는 cartoon physics에 구속됨 예) hockey player는 즉시 스케이팅을 멈출 수 없다

3. What Motivates You? Agent는 어떤 동기로, 특정한 방식으로 행동하는지 인식할 수 있음 예) stage drama의 method actor(내면 연기가 뛰어난 배우)가 “내 동기(motivation)는 무엇인가?”라고 묻는 것처럼.. Drive(동인) Agent에서 가장 간단한 goal이 표현되는 한가지 방식 Agent는 배고픔, 고통 회피, 상대 골대 까지의 거리 줄이기 등의 동인을 가짐 각 동인은 ‘drive output’이라는 scalar 수로 줄일 수 있으며 이 값은 agent system의 다른 측면의 함수에 의해 구할 수 있음 예) virtual sheep dog의 배고픔은 창작물의 가상의 위장에 있는 음식의 양에 대한 함수 각 동인의 output은 임의적으로 0~1 사이의 값 부여 0에서의 동인은 완전히 충족된 상태 Drive output이 곱해지는 각 동인에 고유 scalar 수인 drive multiplier(동인 배율기)로 한 동인에 대해 가중치 부여

3. What Motivates You?(cont.) Entertainment application에서 추상적 목적을 동인으로 표현 Hockey라는 사회적 활동 상황에서 player는 상대 팀이 목적을 이루지 못하게 하려는 욕망을 가짐 이는 골키퍼가 힘이 빠질 때 특히 강력한 동기로 표현될 수 있음

4. Perceive the World to Find Ways to Satisfy Drives Motivation(동기)을 가진 agent는 자신의 동인을 줄이기 원함 적절한 정보를 얻기 위해 world의 현재 상태 인식 Drive state가 agent에 대한 내부 상황(internal context)의 일부를 나타낸다면 인식된 world는 외부 상황(external context)임 Application에 대해 ‘감지(sensing)’와 ‘인식(perception)’ 구별 예) Robot의 camera와 마이크가 ‘감지’한 신호의 해석은 ‘인식’ 인식은 공간적인 작업 기억에 대한 해석의 동기가 됨 지능이 표현 보다는 주로 인식을 통해 성취될 수 있다는 주장 Rodney Brooks가 옹호하는 사고학파(school of thought) Perceptual input을 분류하는 유용한 방법 인식결과(Percepts)의 hierarchical tree 이용 (그림 3) Sensory information의 조각들은 Percept Tree를 거쳐 특정한 인식 결과를 활성화 -> 행동 선택 메커니즘의 입력으로 사용

5. Deciding What to Do Can Be Reactive Agent가 결정을 내리는 한가지 방법은 자신이 인식하는 상황에 그냥 대응하는 것 창작물은 특정 상황(internal and external)을 인식 인식된 가치에 기반하여 다양한 옵션을 가중치로 평가후 결정 결정에 대한 창작물은 “주어진 상황에서 특정한 행동을 하면 얼마나 유익한가?”의 질문에 대답할 수 있는 표현 필요 Blumberg’s ActionTuple표현으로 달성(그림 4, 5) ActionTuple(몇 개의 행위를 요소로하는 집합..)은 행동 선택 논의의 좋은 시작점 양치기 개의 훈련 예

6. Adaptation World의 변화에 적응할 수 있는 복잡하고 흥미로운 agent의 증가 Virtual character를 personalizable 적응 형식에 대한 Blumberg의 접근 ActionTuple 표현에 적응 형식을 통합 동물 훈련시 사용한 접근법 이용 Agent는 ‘Eat food’와 같은 고정된 ‘내재적 가치(Intrinsic values)를 가진 여러 완료행동의(consummatory) ActionTuple로 삶을 시작 또는 ‘appetitive(식욕 촉진)’과 같은 유연한 ‘인식된 가치(Perceived values)’로 삶을 시작 내재적 가치는 활동적일 때 완료 행동의 ActionTuple로부터 이전의 식욕 촉진 ActionTuple의 인식된 가치로 역전파 됨 이러한 방식으로 agent는 어떤 상황에서도 개를 앉게 함 ‘앉아’와 비슷한 소리자극 TriggerContext를 세련되게 작성하여 적응시킴

7. The Importance of Expectation 역전파 기법으로 agent가 식욕 행동을 선호하게 하는 효과 초래 그러나 예상의 능력은 거의 없음 Agent는 “내가 왜 이 식욕 행동이 가치 있을 것이라고 예상했나?”의 질문에 답하기 어려움 앉아! 먹이는 어디 있어요? 예상 먹이 줌 예상 확인 먹이 안줌 예상 위반, 무엇이 잘못된 것인지 궁금.. 명백한 이유 없이 먹이를 줌 놀람, ‘나중에 같은 결과를 초래할 수 있는 무엇인가가 있는지 궁금해 할 것임’

7. The Importance of Expectation (cont.) 보상을 예상할 수 있는 agent의 능력은 학습의 기회를 제공 World는 agent의 기대가 어떤 경우는 잘못 될 수 있음 학습에 동기를 부여하는것에 대한 놀라움과 예상 위반 발생 예측의 능력은 agent가 학습할 수 있는 동기 부여, 삶의 illusion을 생성할 수 있는 기회 제공 FLAME System –by Nasr, : 감정 상태에 대한 관측과 예측된 event 사이의 차이를 나타내기 위해 fuzzy logic이 어떻게 사용될 수 있는지 보여줌 Agent는 예상하는 어떤 일에 대한 갈망을 불어넣을 수 있음 Event 발생을 촉진하기 위한 조치를 취할 수 있음 일이 예상대로 되지 않을 때 결과로 생기는 예측 위반은 좌절 또는 안도의 한숨 초래 동인 상태에 대한 영향에 따라 놀라움은 즐거운 것 또는 불쾌한 것으로 인식될 것임

8. But How to Predict Things? 예측하기 위해 agent는 명백한 인과관계에 대한 표현 필요 모든 예상의 중요하고 내재적인 구성요소는 타이밍에 대한 감지임 예) “10분 후에 방이 따뜻해질 것이다.”(예상) 3분이 지난 지금, “나는 약 5분 후 부터는 이 자료를 작성하면서 지금처럼 떨지 않아도 된다.”고 예상 이는 명백한 시간적 인과성의 예 방을 따뜻하게 해주는 시스템이 어떻게 작용하는지는 몰라도 히터를 제어하는 “온도계”의 가동버튼을 눌렀기 때문에 따뜻해질 것이다. Time line(그림 9) 으로 표시 Predictor Context : 시작조건, 예측을 허용하는 world의 상황 Predicted Event : 발생할 것으로 예상하는 event Predictor Interval : 예측된 event와 예측이 이루어지는(예측된 상황이 활성화되는) 시간 예측자는 온도계와 방의 미래 온도 사이에 상호 작용하는 관계에 대한 우리의 이해를 나타냄

9. Predictors Come from Surprise ‘놀라움’은 agent가 새로운 예측자를 형성하게 자극 이 paradigm에서의 ‘놀라움’은 예측자에 의해 설명될 수 없는 두드러진 인식 event 놀라움 event가 왜 일어났는지를 이해하면 agent는 미래에 비슷한 두드러진 사건 예측이 가능 놀라운 인식적 event가 발생하는 경우, 창작물은 새로운 예측자를 만들어 event를 설명 예측자는 agent가 향후에 시험할 수 있는 새로운 ‘가정’을 만듬 실제 예측자 상황 Agent가 미래에 목격할 것 같은 두드러진 사건이어야 함 인식되었을 때 예측된 event 발생 인지되지 않으면 예측된 event도 일어나지 않을 만큼 믿을만한 지표여야 함 예측자 가정(Predictor hypotheses)을 만들기 위해서는 개연성이 있어야함

10. Predictors Learn from Expectation Violation 어느날 버튼을 누르고 30분이 지나도 따뜻해지지 않을 수도 있다 이는 예측 위반을 경험한 것, 예측자에 대한 신뢰는 줄어듬 내 가정(온도계의 버튼을 누르면 집이 따뜻해 질 것이다)이 항상 사실은 아닌 것이다 온도계 옆의 s/w를 위로 올려야 했음 (인지) 가정을 수정 – 온도계 옆의 버튼을 ‘위’로 올리고 버튼을 누르면 5분 후에 따뜻해질 것 예측자 상황에 포함되어야 하는 다른 믿을 만한 지표를 찾음으로써 예측자를 더욱 세련되게 만들 수 있음

11. Cognitive Economy Wetware로 구축된 창작물은 두개골 내의 많은 신경에 의해 제약을 받음 가상 창작물도 기억과 처리력 같은 자원에 비슷한 제약을 받음 결과는 일종의 ‘인식적 경제’ 모든 source에 대해, 예측자 생산 생산 메커니즘에 대해 sink가 있어야 함 일관성있게 신뢰할 수 없는 예측자를 추려내는 메커니즘이 존재해야 함 유효하지 않은 예측자는 world의 변화에서 나올 수도 있고 초기 가정의 실수에서 나올 수도 있음 예측자 세련화는 동적 신뢰성으로 예측자에 중심을 두어 제어됨

12. To Summarize, the Creature Wants to Understand How its World Works 온도계의 예 예측적 학습을 가능하게 하는 원칙에 대한 예시 Agent는 유용하다고 생각되는 일을 예측하기 위해 world에 대해 충분히 이해해야 함 예측자는 확증되고 정교화 되어야 함 계획이 관측과 실습에 의해 어떻게 영향을 받는지 입증 – Wang, 1994

13. But What Happened to Action? 예측자는 미래에 일어날 event를 예측하는데 도움을 주지만 agent가 선택한 행동과는 어떤 관계가 있을까? ActionTuple과 예측자 사이에는 intriguing isomorphism(흥미를 유발하는 형태론적 동형)이 존재 TriggerContext(정황 유발 자극)에 대한 행동 표현의 분리 행동의 parameter 행동이 발생할 시간의 길이 주어진 상황에서 행동을 수행하는 내재된(인식된) 가치 예측자 간격 예측자를 가지는 가치(예측된 event) -미래를 예측하는 능력- ActionTuple과 예측자는 다음을 공통으로 가짐 정황에 기반한 Triggering mechanism Timing mechanism 미래에 대한 가치인식 Action-selection(행동 선택) 관계를 활용할 수 있는 방법

13. But What Happened to Action? (cont.) Action-selection(행동 선택) 관계를 활용할 수 있는 방법 행동 자체와 행동의 parameter(행동을 수행하는 객체와 같은)가 특정 상황의 일부가 된다면? 모든 ActionTuple의 가치 구성요소를 예측된 event로 대체하면 ActionTuple 자체는 예측자가 됨 -> “Predictive ActionTuple” 그렇게 하면 예측자 상황은 TriggerContext, Action, Parameter로 구성됨 “Predictive ActionTuple”의 가치는 예측된 event를 예측하는 능력임

14. Learning with Predictive ActionTuples 개의 훈련 예로 이 시스템이 역전파 학습 기법 재현에 충분함을 입증 어떤 한 시점에서 agent는 예측치 못하게 음식을 인지 이는 예측적 ActionTuple이 활성화되게 해주는 것 왜 음식이 나타난 것일까? 향후 음식이 주어질 것이라는 지표가 될 만한 일이 발생했을 것 앞으로도 앉게 되면 음식이 주어진다는 예측적 ActionTuple로 표현될 것임 그러나, 음식의 인지가 내재적으로 유용하지 않다는 사실을 주지해야함 이 ActionTuple은 agent가 배고플때 내재적으로 가치가 있음 시스템에서 예측적 ActionTuple은 역전파된 “Perceived Value(인지된 가치)”가 있어서가 아닌 내재적으로 가치있는 예측적 ActionTuple의 활성화를 허용하는 자극제의 등장을 예측할 수 있는 능력으로 가치를 확보하게 됨

14. Learning with Predictive ActionTuples(cont.) 온도계의 예처럼 agent는 앉은 후에 음식이 등장할 가능성이 작다는 것을 알게 될 것임 시도의 승패를 예측하게 될 신뢰성 있는 상황에 대한 어떤 일이 시도하기 전에 있을 것임 Agent는 실제로 행동하면 음식이 나타날 것을 예측하므로 “앉아”라는 말에 왜 개가 앉게 되는지 알고 있음 이러한 경우 agent는 행복하지만 놀라지 않음 음식이 나오지 않으면 ‘예측 위반’이 발생하여 agent는 왜 그런지 의아해 할 수 있음

15. The Goatzilla Domain and New Forms of Behavior 예측적 ActionTuple mechanism은 Entertainment Application에서 찾을 수 있는 Goatzilla라는 가상의 창작물에 대해 구현되고 시험됨 고질라의 주요 동인 : 배고픔, 다른 야수의 지배 음식 : 양치기가 지키고 있는 헛간의 양 ‘호기심’동인 : 시간이 지나면서 천천히 커짐, 다른 객체와 상호작용하고 덜 친숙한 행동을 하고 높은 엔트로피를 가진 예측자 관계로 실험하면 줄어듬 기본적 ‘Active-Selection’ 결정 : 탐험, 개척, 반응할지 여부 ‘Drive-Selection’을 수행함으로서 이를 행함 동인 배율기(그림 15)에 의해 ‘가중평가분포’로 가장 높은 동인 선택 호기심 외의 다른 동인을 선택 : 선택된 동인을 줄이는데 효과적인 행동을 함 호기심 동인 선택 시 : 개척 보다는 탐험 메커니즘 선택 헛간을 차면 음식이 나타나는 ActionTuple을 수정하여 바위나 나무로 만들어진 건물을 차는 ActionTuple 가설을 만들어 줌

16. Socially Oriented Prediction 사회적 환경에서 활동하는 agent의 예시 – Hockey player ‘Social of Mind’ – Minsky : 한 명 이상의 agent가 참가하는 사회적 활동(생일파티, 대화, 하키경기 등)의 표현으로 script 사용 Script는 사회 그룹에서의 역할을 고려하여 다른 agent가 특정 상황에서 어떻게 행동할 것인지에 대한 사회적 protocol을 암시 팀의 전략을 수행하기 위해 동료의 반응을 예측하고 상황을 판단 스포츠 simulator와 같은 Entertain Application에서 사회적 행동에 대한 계산적으로 효율적인 접근법 선수를 자율적 agent로 보기 보다는 각 agent에게 명령을 내리며 전체 하키 팀을 제어할 수 있는 ‘meta agent’가 필요

17. Devils in the Details 실제처럼 행동하면서도 개연성에 대해 배울 수 있는 agent 제작에 있어 설명한 기법은 몇가지 어려움이 존재 예측적 ActionTuple의 Perceived Value를 평가하는 것은 반복적 과정이므로 Agent는 복잡한 개연성의 체인에 기반하여 예측하게되고 현재 상황의 함수로 행동의 가치를 가짐 그러나 잠재적인 bottleneck을 초래하기도 함 Agent가 더 복잡해지고 더 많은 상황에 적응하고 상호작용하며 중요해지는 것들 ActionTuple을 예측적 또는 일반적인 다양성으로 어떻게 조직할 것인지? 현재 연구에서는 사회적 기능의 측면에서 행동을 조직하는 기법에 대한 것만 다룸

18. Things That Worked 개연성과 행동 선택은 통합(융화)된다 World 동인을 이해하려는 욕망 개연성 정보를 활용하기 위해 agent가 행동을 초래하기 위해 사용한 상황은 예측을 초래하기 위해 사용한 환경과 같을 수 있음 World 동인을 이해하려는 욕망 학습에 대한 기본적인 동기가 world를 이해하려는 욕망에서 나옴 Cognitive Economy가 있다 아무것도 결정적인 것은 없다 Agent에서 결정적이거나 최고의 옵션 선택 -> mindless loop에 빠짐 임의의 요소, 개척에 기본이 되는 randomness 채택 선택 process에 대해 최적의 직관적 분포 선택과는 다른 얘기.. Agent의 world에 대한 표현은 너무 간단하다 World의 심리적 표현을 simple하게 하려는 시도를 너무 과도히 하면 aliasing이 발생할 수 있음

19. Conclusion : What We Get from Prediction Prediction and expectation의 표현은 창작물(삶의 illusion을 유지하는 )을 지원하기위해 고안된 시스템에 추가될 수 있음 적응 가능한 경우, 시스템으로 구축한 창작물이 작업에 대한 개연성 학습, world의 위험에 반응할 수 있게 해줌 Surprise and Expectation Violation(예측 위반)에 의해 촉진되는 학습에 대한 새로운 동기를 줌 이에 추가해 system은 열망, 만족, 위안 등 감정의 영향을 위한 plausible source(그럴듯한 소스) 제공, agent의 감정 능력을 확대시킴 Entertainment Application을 위해 구축된 agent에서 “Prediction”이 점점 더 만연하게 된 것은 별로 놀라운 일이 아니다.