스토리텔링과 인공지능 Yi, In-hwa 제12기 진대제 AMP 스토리텔링 특강 (2016.7.19) Director, Digital Storytelling R&D Center Professor , Ewha Womans Univ.
1. 스토리텔링의 원리 1-1. 인문학에서의 창의성(Creativity) L’iKi Kuki Shuzo, 『The Structure of Iki』(1930) “Creativity Never Can Be Organized, But Emerged.” - 九鬼周造, 『 いきの構造 』 (1930) 이키 = ① 이성을 향한 교태. 때 벗음, 세련됨, 생기, 멋, 미적 정취. ② 이원적 대립(남성 vs 여성)에서 탄생하는 긴장 효과로서 사물적인 것으로부터 사건적인 것이 나타나는 현상. 창의성=사물(Being)의 의기소침으로부터 사건 (Becoming)의 생기발랄을 만들어내는 능력. 사물(事物) = 시간과 더불어 소멸해가는 피동의 세계 사건(事件) = 한 순간 새로운 것이 생성되는 능동의 세계 이키는 인생의 모든 국면에서 나타난다. 사건, 이키(いき)는 사물적인 것의 표면에 잠깐 생겨나는 헛것(Fantasma)이다. L’iKi (いき[粋] )
서사 상태의 살촉 (Flying Wedge)구조 1. 스토리텔링의 원리 1-2. 공감의 일사분면 Creative Work 서사 상태의 살촉 (Flying Wedge)구조 필연성 (Necessary) 잠재성 (Potential) 개연성 (Probable) 가능성 (Possible) 시간
1. 스토리텔링의 원리 1-3. 서사의 발생 명작이지만 좋은 스토리는 아님 좋은 소설이면서 좋은 스토리 공감의 일사분면 서사 창작의 목표 높은 수준의 미학적 재현을 성취했지만 의미가 난해한 상태 . 높은 수준의 미학적 재현과 사상적 소통을 이룩한 상태 명작이지만 좋은 스토리는 아님 좋은 소설이면서 좋은 스토리 서사 창작은 완벽한 ‘작품’을 만드는(making work) 작업이 아니라, 원천으로부터 가능한 최선의 ‘텍스트’를 엮어내는(weaving text) 작업임. 텍스트는 가장 명료한 소통과 가장 아름다운 재현이 있는 제1사분면을 목표로 재창작되고 각색된다. 스토리는 특정 매체와 장르를 목적으로 하지 않는다. 고로 말하기(telling), 보여주기(showing), 작용하기(interacting)의 서사 재현의 3대 양식을 실험하며 1사분면에 도전한다. 작가가 자신의 소재를 잘 모르고 재현적 역량도 부족한 상태 대부분의 초고가 이에 속함 소통에는 성공했으나 미적 재현이 상투성에 머무른 상태 미적 재현과 사상적 소통에 실패한 상태
1. 스토리텔링의 원리 1-5. 존 R 헤이스의 글쓰기의 인지 과정 모델 (a) 프로토콜 분석법으로 실험, 관찰한 결과 작가는 pre-writing >writing >re-writing의 단계적 진행으로 글을 쓰지 않는다. 글쓰기 작업은 글의 위계적 구조 내에서 순환적 진행으로 글을 쓰는 <작업 환경> <장기 기억> <작업 과정>의 3 모듈로 이루어진다. 글쓰기 작업이란 인지적으로 “<장기 기억>에서의 표상 추출 - <작업 과정>에서의 언어화 - <작업 환경>에서의 텍스트화”이다. Source: Linda Flower & John R. Hayes, <A Cognitive Process Theory of Writing>(1981) 수사적인 문제를 해결하고 직접 글을 쓰는 작업 자신의 문제에 맞는 장기 저장의 기억을 찾는 작업 아이디어를 내고 이를 언어로 번역하고 고치는 작업
1. 인공 지능 스토리 창작 기술 1-5. 존 R 헤이스의 글쓰기의 인지 과정 모델 (b) 스토리의 위계 구조(Hierarchical Structure) 상위 위계의 내재화 (Embedding) 1 Movie 3 Act 8 Chapter 15 Sequence 110 Scene 1500 Sentence 말아톤(2005) I Beginning 1 stability 1 Opening Salvo S1 ~~~~~~~ ~~~~~~` S2 2 Main Character S3 S4 3 Setting-up ~~~~~~ 2 Trial 1st Accident 5 Doubts & Debate Action 6 Making A Choice II middle 4 Stability 7 Another story 8 Trailer Moments 5 9 2nd Accident 10 Villains Move 6 11 Defeat III ending 7 12 Innermost Cave 13 Choice to Fight 14 Resurrection 15 Final Salvo 스토리의 글쓰기는 ‘가위바위보’과 유사한 일종의 language game. 모든 계층에서 3모듈이 반복된다. <작업 과정> 모듈에서는 [Plan > Translate > Review]의 정착 과정이 반복된다. 글쓰기는 목적지향적 과정(Goal-directed process)이기에 작가는 자신의 내용적 목적(주제: 일관성, 방향성, 목적성)과 과정적 목적(문체: 비구조성, 개방성, 실험성)에 따라 main과 sub의 계층적 서열구조를 만들어낸다. ☞ 주제가 분명하고 잘 구성된 스토리는 글쓰기의 모든 sub-process에서 더 높은 계층의 Goal이 의식되고 내재되고 검토되는 스토리이다. 표현하려는 의미의 단초 시험적 번역 검토 검토 서브 프로세스 진행
(representational redescription model) 1. 스토리텔링의 원리 1-6. 아네트 카밀로프-스미스의 표상 재기술 모델 (a) 표상 재기술 모형 (representational redescription model) ‘표상 재기술 이론(RR theory)의 정의 : “인간은 표상된 정보를 반복해서 다시 표상해 봄으로써 표상을 다른 영역의 지식과 연결하고 처음과 다른, 독창적인 표상을 만들어간다.” 2. 인간 정보처리 능력의 2가지 발달 방향 1) 절차화 ( Proceduralization ) : 정보를 암묵적인 형식으로 저장하여 절차로 만드는 과정. 행동의 자동화와 연결됨. ex) 동그란 문 손잡이 = 손으로 쥘 만 한 것. ‘잡고 돌리고 싶다…’ 꽃 = 예쁜 것. 좋은 것. ‘냄새 맡고 싶다….’ 2) 명시화 (Explicitation) : 정보를 암묵적 형식에서 명시적 형식으로 변화시키는 과정. 정보의 내용을 더 많이 알아가는 과정. ex) 아! ‘프랑스어 접두사 un-은 영어의 부정을 뜻하는 접두사 a-의 의미를 가질 수도 있고, 수 1을 뜻하는 one의 의미를 가질 수도 있구나….’ 3. 표상 재기술의 3단계 : 1단계 (1 ->2), 2단계 (2->3), 3단계 (3->4) 1) 암묵적 표상 : 내용 잘 모름. 말로 표현도 못함. 그런 게 있다는 걸 앎. 2) 명시 1 표상 : 암묵적 표상의 재기술. 표상 성분의 명시화 일차 재기술의 지식 표상으로 새로운 절차화를 만듦. 과도한 일반화, 표상의 세부특성을 다 알지 못함. 3) 명시 2 표상 : 명시 1 표상의 재기술. 표상 성분의 분석이 일어남 표상 내용의 의식. 외부의 신호와 내부의 표상 완전 일치. 4) 명시 3 표상 : 명시 2 표상의 재기술. 표상이 언어적 부호로 부호화. 각기 다른 부호로 존재하던 같은 지식이 연결됨. 현재의 부호로 된 표상을 새로운 부호로 해석(창작) 가능. 1992년부터 런던 대학 발달 뇌인지과학 랩의 아네트 카밀로프 스미스 교수는 ‘표상 재기술’이라는 인지 발달 이론을 발표. 똑같은 내용을 각각 다른 수준의 디테일들로 재기술하여 새로운 사건과 관계를 창조하는 행위가 창작의 씨앗이 된다. 작가의 경험은 이렇게 복수의 표상들로 재기술되는 과정에서 하나가 완전히 성공적인 명시적 형식(explicit format)의 표상에 도달할 때 소설, 영화, 드라마와 같은 작품에 사용될 수 있다. 어떤 암시적 정보(implicit information)가 작가의 기억에 저장된다. 작가는 이 암시적인 정보를 여러 단계의 표상으로 재기술한다. 이 과정에서 정보는 변주할 수 있는 부분과 그대로 계승해야 하는 부분으로 나뉘어져 조작 가능하고 융통성 있는 자료가 된다. 작가는 자기 나름의 변주를 실행하여 정보를 명시적인 형식으로 만든다.
3 2 1. 스토리텔링의 원리 1 1-6. 아네트 카밀로프-스미스의 표상 재기술 모델 (b) <레미제라블>의 스토리 창작은 DATA로서의 표상 추출이 미비했던 경우. Data + Process = Surface (illusion of narrative) 표상들 + 글쓰기 인지과정 = 허구(소설) ☞ Lesson : 스토리 창작에서 발생할 수 있는 최악의 결과는 <글쓰기 인지 과정 모형>의 ① 번 ‘장기 기억’ 모듈이 잘못되었을 때 일어난다. 빅토르 위고의 ‘레 미제라블’ 창작 사례 1. 어릴 적 거리에서 쇠사슬에 묶인 죄수의 비참한 모습을 보고 단편소설을 쓰겠다고 결심 2. 청년이 된 후 감옥에서 빵 한 조각을 훔친 뒤 종신징역을 선고받은 죄수를 보고 분노 3. 불의를 시정하기 위해 의회 발언, 신문 기사 집필과 희생자에 관한 스토리를 써보려는 노력 4. 1823년 경 자신의 원고에 만족할 수 없었던 위고는 원고를 버림 5. 1828년 경 죄수들의 생활을 개선하려고 노력하던 위고는 프랑스에 고아를 돌보며 사는 주교에 대해 듣게 됨 6. 1830년 출판사와 계약하고 주교를 주인공으로 집필을 시작했으나 원고가 마음에 들지 않아 버림. 7. 죄수 캐릭터와 주교 캐릭터를 결합시켜서 1845년 ‘장 트레장’이라는 제목으로 다시 소설을 쓰다가 버림. 8. 1848년 2월 혁명기간 위고는 중재자로 중요한 역할을 하며 휴전을 추진하기 위해 바리케이트를 찾아다님. 9. 이 과정에서 그는 죄수, 주교의 스토리에 이어 사회적, 서사적, 역사적 차원을 부여해 줄 혁명의 경험을 축적하고 있었음. 10. 1851년, 나폴레옹 3세의 친위 쿠데타로 인해 자유주의자에 대한 무차별 학살이 벌어졌고 위고는 현상 수배자가 되어 국외로 탈출. 11. 1852년 말 위고는 망명지 벨기에 브뤼셀에서 5인의 중심인물이 등장하는 초고 <레 미제레>를 완성했으나 상투적이라는 생각이 들어 크게 실망. 12. 체로의 위험 때문에 도버 해협의 아주 작은 게르느제 섬으로 간 위고는 1860년 이 섬에서 <레 미제레>를 토대로 다시 집필하고 인물의 형상을 더 파란만장하게 바꾸고 사건에 리얼리즘을 부여한다. 1861년 6월 30일 아침 8시 30분 드디어 <레 미제라블> 완성. 빅토르 위고 (1802-1885) <레미제라블> = 최고의 창작력을 가진 작가가 37년에 걸쳐 7번 집필 실패한 사례 3 빅토르 위고는 자신의 인생으로부터 추출된 표상들을 ‘레 미제라블’이라는 새로운 리얼리티로 만들어내기 위해 동일한 표상을 여러 개의 원고로 ‘재기술’함. 1 2 ‘레 미제라블’에 나타난 빅토르 위고의 6가지 표상
Intelligence = Storytelling Abilities 2. 디지털 스토리텔링 1-1. 로저 생크의 서사 지능 이론 Roger Schank (1946- ) Intelligence = Storytelling Abilities 지능의 재정의 : 지능은 지능검사의 선다형 문제를 푸는 능력이 아니다. 지능은 이야기를 듣고 말하는 능력이다. 인간지능과 인공지능, 인간과 컴퓨터의 지적 능력은 공통된 2가지로 이루어진다. ① to have something to say, to know something worth telling. (말할 무언가를 가지고 있고 말할 가치가 있는 무엇인가를 아는 것) ② to determine other’s needs and abilities well enough to know what is worth telling them (다른 사람의 욕구와 능력을 판단하여 그들에게 말할 만한 것이 무엇인지를 아는 것) Source : Roger Schank, <Tell me a Story : Narrative and Intelligence> (2000) ① 이야기란 무엇인가 : 지식은 경험과 이야기에 비례한다. 이야기는 경험의 일부인데 우리가 가진 경험 중에서 다른 사람에게 효과적으로 말할 수 있는 것만이 이야기이다. ② 지능과 기억 : 지능은 경험을 이야기로 만들어서 말할 수 있는 능력이다. 기억은 이야기를 위한 기억이며 기억의 주요 과정은 이야기를 생산하고 저장하고 찾아내는 것이다. ③ 인공지능을 만든다는 것은 기억에서 이야기가 하는 역할을 이해한다는 것이다. 지능의 핵심 능력이 적절한 때에 적절한 방식으로 적절한 이야기를 하는 능력이라면 가장 선행해야 하는 것은 적절한 이야기를 찾는 능력 색인(Index)과 대본(Script)
2. 디지털 스토리텔링 2-2. 입력 서사와 출력 서사 서사는 작가(작가1)와 독자(작가2) 사이에 상기(reminding)가 끊임없이 일어나는 놀이. (다양한 상황에 꼭 맞게 서사를 잘 찾는 사람은 색인된 기억이 풍부한 사람이다.) ① 이야기 입력 ② 독자는 그 이야기를 자신이 이미 알고 있는 것과 관련시킨다. 이 때 입력 서사는 독자의 기억에 있는 저장 서사와 대조되어 서로 일치하는 표지들이 추출된다. 작가의 이야기가 인상적인 표지(Index)를 많이 제공하면 할수록 독자는 그것을 기억 속의 더 많은 장소에 붙여놓을 수 있고, 많은 사례들과 비교할 수 있다. ③ 추출된 표지들이 저장 서사를 활성화시키면 입력 서사는 저장 서사 위에 겹쳐지게 된다. 이 때 서사의 수용이란 이와 같은 기억의 매핑(mapping)이다. 매핑이 되면 입력 서사에서 저장 서사와 완전히 일치하지 않는 어떤 새로운 부분, 이례성(Anomaly)이 나타난다. ④ 입력 서사에 내포된 이례성이 이해되고 ⑤ 이례적 사건의 결과가 예측되면 입력 서사는 독자의 기억 속으로 순조롭게 수용된다. BUT ④번과 ⑤번 과정이 순조롭게 진행되지 않을 때는 새로운 표지 창조(Creating New Indices)가 일어난다. 주인공이 그런 행동을 하는 이유가 무엇인지, 그 다음에 일어날 일이 어떤 것인지 충분히 숙지되지 않고 예측되지 않을 때 독자는 스스로 또 다른 작가가 되어, 보다 완전하고 사리에 맞고 자신의 취향에 맞는 새로운 이야기를 생성한다. 이것이 새로운 서사의 발생이다. Source : Roger Schank, <Dynamic Memory> (1983)
2. 디지털 스토리텔링 2-3. 위반-이례성(Anomaly)의 수치화 무엇이 이야기 대본인가 “밥을 짓는 것은 이야기가 아니다. 그러나 아내를 위해 처음으로 밥을 짓는 것은 이야기다.” * 안 하던 짓을 처음으로 할 때의 위험, 위반성, 죽음의 그림자 = 이야기 요소 의미의 서사적 연쇄 – 서사는 고정적 요건을 갖지 않으며 오직 독자의 세상에 대한 지식과 대조되고 비교되는 과정에서 출현한다. - 서사는 독자가 이미 알고 있는 바에 의거한 믿음과 기대로 이루어진 배경에 비추어 어떤 비상하고 두드러진 것을 제시하고 그것을 이전의 지식과 조화를 이루도록 하는 기술 방식이다. 의미의 서사적 연쇄 5개의 서사명제 ① 단순 기술 개가 짖는다. 바닷물이 햇빛에 반짝거린다. 농부가 소를 흡족한 눈으로 바라본다. ② 추론 프로프는 서사학자다. 모든 서사학자는 구조주의자다. 따라서 프로프는 구조주의자다. ③ 대화 김 : 요즘 어떻게 지내? 안 : 응, 잘 지내. 너는? 김 : 나도 잘 지내. ④ 시간적 진행이 있는 기술 피자를 상자에서 꺼내 비닐 포장을 벗기십시오. 미리 데운 판에 올려 오븐에서 15분 정도 혹은 가운데 치즈가 녹을 때까지 가열하십시오. 식기 전에 드십시오. ⑤ 서사 메리는 집에 있는 모든 수면제와 아스피린을 찾아 술 반 병과 함께 먹는다. 그녀는 존에게 메모를 남긴다. 그가 메모를 발견하고 늦기 전에 그녀를 병원으로 데려가주질 그녀는 바란다. 그러나 그런 일은 일어나지 않고 그녀는 죽는다. (츠베탕 토도로프) 이야기 하나의 시퀀스가 이루어지기 위해서는 최소 5개의 서사 명제가 있어야 한다. 안정 위반 불안정 반작용 최초의 안정된 상태를 묘사하는 서사 명제 어떤 힘이 안정 상태를 깨뜨리는 상황을 묘사하는 서사 명제 그로 인해 초래된 불안정 상태를 묘사하는 서사 명제 또 하나의 힘이 반대 방향에서 가해지는 상황을 묘사하는 서사 명제 그로 인해 두 번째의 안정이 이루어진 상태를 묘사하는 서사 명제들이다. 모티프 : 하나의 완결된 이야기를 만들어내는 동기화(motivation)의 역할을 함 : 두 번째 명제인 ‘위반’을 일으켜서 안정의 평형상태를 파괴함. 시퀀스
2. 디지털 스토리텔링 2-4. 문제를 3막 구조에 넣다 : 제임스 미한의 테일 스핀(1977) 1막 2막 3막 3막 구조 (Problem-based Storytelling) 전절희稀 후절상常 구조 (High Conception) 주어부 술어부 내용 문제의 발생 문제의 해결 로그라인 빵 한 조각을 훔친 죄로 19년 동안 감옥살이를 해야 했던 남자가 세상에 사랑을 되돌려준다 서사명제 명사 동사 혹은 형용사 구성성분 특수 ----------------------------------------------------- 보편 3막 구조 기원전 330년대에 씌어진 <시학> 제 7장에서 아리스토텔레스는 서사가 3막 구조, 즉 시작과 중간과 끝의 구조를 가진다고 말했다. 1막 2막 3막 ‘중심 문제’가 발생함. 의문, 과제, 장애물, 기회, 목표일 수 있다. 이 중심과제는 긴장을 만들고 이야기를 앞으로 전진시키며 관객을 이야기에 몰입하도록 만든다. 문제가 확대되고 주인공이 문제와 싸우면서 ‘갈등과 변화’를 겪어야 함. 문제와 싸우는 가운데 낡은 생활과 낡은 자아 대신 새로운 상황과 자아가 나타남. 문제가 ‘종결’되어야 함. 미스터리는 해결되고 장애물은 극복된다. 목적지에 도달하고 새로운 지식 혹은 새로운 깨달음이 얻어진다. 문제 확대 3막 2막 1막 문제발생 문제 종결 로그 라인(Log line) 빵 한 조각을 훔친 죄로 19년 동안 감옥살이를 해야했던 남자가 헐리우드의 스토리 시장에서 작가가 자신의 이야기를 소개하기 위해 작성하는 한 줄 요약을 로그 라인(log line), 혹은 피치(pitch), 하이 컨셉 아이디어(High Concept Idea)라고 한다. 로그 라인은 하나의 스토리가 문제 기반 스토리텔링의 원칙을 지키고 있는가 아닌가를 검사하기 위해 작성된다. 주어부에서 문제가 발생하여 1막의 내용을 이루고 술어부에서 문제가 해결되며 3막의 내용이 이루어진다. 이 때 로그 라인의 흥미진진한 핵심은 발생된 문제와 문제의 해결 사이에 존재하는 도표의 빗금 부분, 즉 주어부와 술어부 사이에서 일어나는 ‘의미심장한 변화’의 부분에서 만들어진다. 이 문제는 사회 체제의 부조리라는 사실(Fact)뿐만이 아니라 그 같은 부조리로 인해 자연스럽게 야기되는 세상에 대한 주인공의 증오심과 분노라는 정서(feeling)을 함축하고 있다. 세상에 사랑을 되돌려준다 이러한 증오와 분노가 세상에 대한 복수로 전개되지 않고 “세상에 사랑을 되돌려준다"는 반전으로 전개되는 곳에 <레미제라블>이 갖는 흥미의 핵심이 있다.
2. 디지털 스토리텔링 2-5. ‘문제’를 분할하다 : 마이클 레보위츠의 <유니버스> <유니버스> 캐릭터 특성값 정의 리즈 챈들러는 돈과 1980년에 결혼한 적이 있으며 현재는 토니와 결혼한 상태이다. 현재의 남편 토니와의 사이는 처음에는 좋지도 싫지도 않은 상태(0)와 아주 싫은 상태(-8)를 오가다가 미친 듯이 좋기만한 상태 (8/8)로 발전했지만 현재는 좋을 때도 있지만 미울 때도 많은 (6/-6, 7/-3) 상태로 진행 중이다. 반면 이혼한 전 남편 돈과의 관계는 현재 좋은 쪽으로 호전되어가고 있다.(4/4) 리즈는 여배우같은 성격에 매력덩어리이며 사교적이고 파티를 좋아한다. 나이는 10대 후반에서 20대 초반이며, 경제적으로는 어마어마한 부자(8)거나 조정되는 경우에도 상당한 수준의 부자(3)이다. 난교를 할 수 있을 정도로 성적으로 자유분방하며(3), 굉장히 총명하거나(7) 조정되는 경우에도 상당한 수준의 명민함(3)을 갖고 있다. 현실적인 업무 능력은 최저수준이지만 행복하기를 바라며 유명하게 되고 싶고 유명 인사들을 만난다. 테일 스핀 유니버스 캐릭터의 단일한 상태변수 캐릭터의 다양한 특성값 1막에서 발생하는 문제는 독자가 자신의 주변에서 흔히 경험할 수 없을 만큼 희귀해야 한다. 이러한 특수성이 2막과 3막에서 누구나 고개를 끄덕이지 않을 수 없는 보편성으로 전화되는 것이 의미심장한 변화의 요점이기 때문이다. 마이클 레보위츠는 이 점에 착안하여 캐릭터의 단일한 상태변수에서 발생되었던 문제를 캐릭터의 다양한 특성값(trait values)에서 발생되는 문제로 바꾸었다. 나이, 성별 및 경제적 수준 욕망과 같은 외적 문제 주요 등장인물들 사이의 인간관계 문제 입체적이고 복잡한 문제 발생 <유니버스>의 문제점과 한계 <유니버스>의 사례는 희귀하고 흥미진진한 문제를 생성할 수는 없음. 스토리텔링의 문제 발생에는 단순한 특성의 종류를 증가시키고 수치화된 특성 값을 설정하는 것만으로는 해결되지 않는 심층구조가 있다는 것을 말해줌. EX) <섹스 앤 더 시티> : 캐릭터 특성 값은 단지 사실(fact)일 뿐이다. 문제가 발생하기 위해서는 사실에 정서(feeling), 즉 뭔가 해석의 여지가 있는 의미가 부여되어야 한다. <유니버스>의 캐릭터 특성값 정의
<민스트럴>의 계층적 목표에 따른 3막 구조 2. 디지털 스토리텔링 2-6. 사례 기반 추론의 등장 : 스코트 터너의 <민스트럴> <민스트럴>의 의의 <민스트럴>의 계층적 목표에 따른 3막 구조 스키마 요소 작가 목표 작가의 21개 목표 주제적 목표군, 드라마적 목표군, 일관성의 목표군, 표현의 목표군 34개 작가적 플랜 계획 과정, 문제-해결 과정 캐릭터 캐릭터의 13개 목표 1.허기 채우기 2.통제하기 3.위치 이동 4.사람이나 사물 파괴 5.누군가에게 겁주기 6.사회적 지위 획득 7.낭만적 사랑하기 8.우정 나누기 9.건강의 위협 제거. 10.친절 베풀기 11.다른 사람의 목표 방해하기 12.목표 철회하기 13.다른 사람 속이기 6개 계획 진단 주제 도입부 장면 세계 사실 장면, 결정 장면 연결 장면, 결과 장면 대단원 장면 3막 구조 3막 구조 스키마 수사적 스키마 작가의 목표와 관련 사건진행적 스키마 캐릭터의 목표와 관련 <민스트럴>은 작가의 의도 내지 목표를 컴퓨터 연산 과정에 수용했다. 스코트 터너는 모든 이야기 요소들이 스키마(schema) 형태로 재현된다고 보고 스키마를 작가의 목표와 관련된 수사적 스키마와 캐릭터의 목표와 관련된 사건진행적 스키마로 분류했다. 기존의 방법에 ‘작가의 목표'라는 층위를 추가함으로써 <테일 스핀>이나 <유니버스>보다 더 특수한 문제 설정을 추구했다. 스코트 터너의 <민스트럴>은 자넷 콜로드너의 사례기반추론 이론(1993)을 디지털 스토리텔링에 적용한 최초 사례. 최단 인접법에 의한 유사도 분석이 최초로 스토리에 도입됨. 스코트 터너의 <민스트럴>은 디지털 스토리텔링 저작 도구의 역사에 특기할 만한 가치가 있는 중요한 성과였다. 그의 에피소드 메모리, 사례 기반 추론, 작가 목표와 캐릭터 목표의 게층적 체계 등은 수많은 후속의 연구들에서 인용되었다. 그럼에도 불구하고 <민스트럴>은 좀처럼 긴장과 흥미를 유발할 수 있는 단단한 플롯 구조를 형성하지 못했다. 문제 설정의 특수성을 위해 도입한 ‘작가의 목표'가 너무 많은 변수들을 끌어들임으로써 제대로 된 연산 논리를 구축하기 어려웠기 때문이다. Janet Kolodner (1954~ )
2. 디지털 스토리텔링 2-7. 모티프 형식을 도입하다 : 셀머 브링스욜드의 <브루투스> <브루투스> <브루투스>의 모티프 형식으로 구조화된 문제의 정의 서사의 문제를 명확하게 하기 위해서는 그 문제를 우리가 모티프 형식이라고 명명한 심리적이고 역사적인 심층구조에서 재정의되지 않으면 안된다. 199년, 뉴욕 렌셀러 폴리테크닉 연구소의 셀머 브링스욜드(Selmer Bringsjord) 교수는 이러한 재정의를 통해 <테일 스핀>, <유니버스>, <민스트럴>에 이르는 문제 기반 스토리텔링의 한계를 돌파하고자 했다. <브루투스>의 의의 극적이고 흥미진진한 스토리를 만들기 위한 문제의 정의가 모티프 형식으로 구조화되어야함을 인식한 첫 프로그램. “태고적부터 계승된, 순문학적이면서도 정형화된 허구를 유발할 수 있는 주제가 필요하다” 셀머 브링스욜드 교수는 이러한 주제의 형식화를 주제적 개념 예시화(thematic concept instatntiation)이라고 정의했다. 브링스욜드는 이러한 주제적 개념을 예시하기 위해서는 정확한 개념분석에 의해 궁극적으로 수치화(Mathematizing)을 지향하는 논리화를 달성해야 한다고 보았다. 그는 브루투스의 사례로부터 출발하여 5번의 수정을 거쳐 오른쪽의 도표와 같은 배신자 모티프의 정의에 도달한다. <브루투스>의 오류 모티프의 개념을 발견하기는 했지만 브링스욜드는 예측함수에 의한 수치화에 집중한 나머지 중요한 오류를 범하고 말았다. 궁극적으로 수치화(Mathematizing)를 지향하는 논리화를 달성해야만 함 주제적 개념 예시화 시퀀스 하나의 위반, 소변화를 만들어내는 모티프 텍스트 전체 플롯의 위반,대변화를 만들어내는 모티프 위의 두 모티프는 다른 것임에도 불구하고 브링스욜드는 이 두 개의 모티프를 똑같이 취급했다. 브링스욜드는 ‘배신자'라는 모티프 하나에 어휘 목록과 문장 및 단락 문법을 동원하여 사실의 살을 붙여나가면 스토리가 만들어진다고 생각했다. 그러나 단지 잘 정돈된 산문을 생성하는데 그쳤다. 브링스욜드는 체스를 위한 딥 블루 컴퓨터의 인공지능을 이용해 라이브러리에 의한 예측함수값을 사용했으나 이는 스토리 전개를 예측하는데 적용될 수 없었던 것이다.
3. 스토리헬퍼 : 한국의 디지털 스토리텔링 3-1. 스토리 모티프 모티프의 정의 ‘작은 이야기’, 시퀀스 5개의 서사명제 모티프(Motif)란 요정담이나 민담을 분석하는 민속 연구에서 시작된 용어로서 스토리에 반복되어 나타나는 동일한 내용 요소를 뜻한다. 좀 더 구체적으로 말하면 오랜 기간 여러 작품에 반복되어 나타나면서 스토리 안의 다른 내용 요소들을 하나의 서사적 논리로 통합시키는 상황, 인물, 행위의 내용 요소이다. EX) 16세기 영국 에드워드 6세의 민담 -> 마크 트웨인의 소설 <왕자와 거지>(1881) -> 영화 <데이브>(1993)->영화 <광해, 왕이 된 남자>(2012) ‘작은 이야기’, 시퀀스 ‘작은 이야기’에라는 단위에 대한 정의는 층위 별로 다양하나, 모티프가 적용되는 소변화의 작은 이야기 단위는 ‘시퀀스(Sequence)라고 한다. 장면 (Scene) 에피소드 (Episode) 시퀀스 (Sequence) 5개의 서사명제 모티프의 두 가지 층위 츠베탕 토도로프는 이야기 단하나의 시퀀스가 이루어지기 위해서는 최소한 5개의 서사 명제가 있어야 한다. ①작품 전체의 형식과 관련된 대변화(main change)의 모티프 : 플롯의 3막 구조에서 1막의 문제 발생을 만드는 모티프 ②작품을 이루는 여러 개의 작은 이야기 형식과 관련된 소변화(minor change)의 모티프 : 시퀀스에 작용하는 모티프이다. 보통 서사는 여러 작은 이야기의 소변화들이 얽히고 설켜 종합되어 주인공을 한 상태애서 그 반대의 상태로 가져가는 역전, 즉 대변화를 일으킨다. 안정 위반 불안정 반작용 최초의 안정된 상태를 묘사하는 서사 명제 어떤 힘이 안정 상태를 깨뜨리는 상황을 묘사하는 서사 명제 그로 인해 초래된 불안정 상태를 묘사하는 서사 명제 또 하나의 힘이 반대 방향에서 가해지는 상황을 묘사하는 서사 명제 그로 인해 두 번째의 안정이 이루어진 상태를 묘사하는 서사 명제들이다. 모티프 : 하나의 완결된 이야기를 만들어내는 동기화(motivation)의 역할을 함 : 두 번째 명제인 ‘위반’을 일으켜서 안정의 평형상태를 파괴함. 시퀀스 소변화 (minor Change) 대변화 (main change) 대변화에 적용되는 스토리의 명시적 형식을 플롯(Plot)이라고 칭함. 소변화에 적용되는 스토리의 명시적 형식을 모티프(motif)라고 칭함 하나의 서사 텍스트는 소변화와 대변화의 중층구조로 이루어진다대변화는 매번 가시적으로 드러나지 않으며 독자에게 직접 제시되는 것은 여러 개의 작은 이야기 단위에서 모티프로 형식화되는 소변화들이다.
3. 스토리헬퍼 : 한국의 디지털 스토리텔링 돈 사랑 명예 권력 영생 인물 상황 행위 3-2. 205개의 모티프 강도, 고등 사기꾼, 고리대금업자, 도둑, 돈을 노리는 유혹자, 마약거래자, 변장, 사랑에 빠진 노인, 사이코패스, 살인청부업자, 유랑자(집시), 의적, 인질, 파산, 해적, 횡재 기억상실증, 도플갱어, 동성애자, 뜻밖의 편지, 바람둥이, 버려진 아이, 숨겨진 연인, 신분상승 결혼, 아웃사이더, 요부(팜므파탈), 자폐증, 장애인, 지인의 실종, 창녀, 피그말리온, 학대하는 계모(계부), 호모 슈퍼리얼, 희생하는 부모, 희생하는 아들 고귀한 창녀, 고귀한 하녀, 고상한 야만인, 기이한 선생, 다중인격, 똑똑한 바보, 몰락한 귀족, 불우한 천재, 소년 영웅, 순교자, 악동, 악마적인 예술가, 처녀영웅, 천사 가문의 여주인, 거대괴수, 고뇌하는 깡패, 덜떨어진 영웅, 독재정치, 미지의 후견인, 배반자, 부패경찰, 신분위장, 우월한 하급자, 운명에 대한 반역, 전쟁포로, 출세주의자 갑작스런 병, 구세주 출현, 귀신소환, 돌연변이,마법사 or마녀,미친 전도사, 반인반수, 뱀파이어, 뱀파이어 헌터, 복제인간, 사이보그, 악마의 아이, 저승 방문자, 좀비, 치매, 퇴마사 상황 도시 재난, 대체역사, 생물학재앙, 식민지화, 집단 광기, 천재지변 무인도조난, 빙의, 사랑하는 사람의 죽음, 조난, 불면증, 아동학대, 연인 상실, 외상후 스트레스성 장애, 우울증, 청소년기 일탈 강박증,경계성인격장애, 공항장애, 누명, 명예손상,성 정체성혼란, 알코올중독, 중년의위기 도제 수련, 비대칭전투, 용호상박, 전쟁 발발 노년기 과제, 시한부 선고, 예언, 외계인침입, 악마와의 계약, 인공동면, 지구종말, 환생 행위 감금, 갑작스런 사고, 강간, 강제된 과업, 거짓된 진술, 고발, 귀향, 도박, 보물찾기, 수사의뢰, 수수께끼,아동 유괴, 연쇄 살인, 오해 (착각), 우발적 살인, 원나잇스탠드, 지리적 고립, 추격자, 테러, 파업 가족분열(이산가족),간통,계급을 초월한 사랑, 관음증, 광기어린 사랑, 구혼시험, 근친상간, 나쁜 남자에게 반하기, 나이차를 극복한 사랑, 동물과의 우정, 롤리타, 마조히즘, 백치미인, 사디즘, 사랑의 연기, 삼각관계, 성생활장애, 세대를 초월한 우정, 스와핑, 스토킹, 시라노 콤플렉스, 아름다운 불륜, 옛 연인의 출현, 위험한 비밀결혼, 일렉트라 콤플렉스,적과의 사랑,적군과의 우정, 전우구출,짝사랑, 첫관계, 첫눈에 반한사랑 감춰진 혈통 찾기, 도망자, 모반, 무장봉기, 미결의 살인사건, 복수혈전, 부당한 차별, 외디푸스 콤플렉스, 부모 찾기, 의처증(의부증), 이혼, 죄의 고백, 취향의 재발견, 파계 납치, 낯선 곳으로의 이주, 네크로필리아, 대전격투, 대학살, 대항해와 원정, 뜻밖의 초능력, 부부싸움, 불청객, 아내강탈, 이간질, 이지메, 지배자 희롱, 탈옥, 형제간의 경쟁, 고부갈등,고립된 남녀 시간여행, 유령, 이계방문, 이계 생명체와의 우정, 자살, 저주, 저주받은 장소, 사람이 된 인형, 동반자살
3. 스토리헬퍼 : 한국의 디지털 스토리텔링 3-3. 창작이란 모티프를 새로운 소재에 맞게 변형하는 것 모티프의 역할 타이타닉 + 위험한 비밀결혼m = <타이타닉> 1986년 해저에서 타이타닉 난파선 발견 + 로미오와 줄리엣(위험한 비밀결혼 모티프) = 1995년 “타이타닉 위에 로미오와 줄리엣을 올린다” 창작의 영감(표상) 모티프 모티프의 변형과 스토리 수사적 변형 논리적 역사적 하나의 모티프 내에서 확대, 축소, 복사가 일어나는 변형 남성 주인공이 여성 적대자를 모욕하는 모티브가 있으면 그 반대도 가능하다는 식의 논리적 대립으로부터 생겨나는 변형 모티프가 적용되는 사회 혹은 모티프가 적용되는 시대의 사회적 역사적 변화에 따라 생겨나는 변형 모티프 모티프의 교체와 스토리 변형단계 모티프 변형 예시 변형된 속성 이념형 고상한 야만인 원형 미녀와 야수 잔느 M. L. 보몽의 동화 <미녀와 야수> (1756) 미녀가 야수를 사랑한다 수사적 변형 미녀와 사랑스러운 야수 장 콕도 각본 감독의 영화 <미녀와 야수> (1946) 이상적인 남성상으로서의 야수 논리적 변형 야수를 사랑하지만 자살하는 미녀 찰스 부코우스키의 소설 <마을에서 가장 예쁜 처녀> (1967) 미녀가 야수와 결혼하려다가 자살한다 역사적 변형 64세의 미녀와 39세의 야수 마르시아스 심의 소설 <베개> (2000) 늙은 미녀가 젊은 야수를 사랑한다 모티프는 소재를 동기화하여 스토리로 만든다. 개인성을 주장하는 예술적 담화가 나타나기 위해서는 모티프가 소재를 동기화하는 방식이 결정적으로 변해야 한다. 연쇄 담화 유형 사례 전승 변이 전승 운반자에 의해 단순 구연된 담화 할아버지의 춘향전 이야기 창의적인 이야기꾼에 의해 각색된 담화 전기수*의 춘향전 이야기 (* 조선후기 전문 설화구연자) 유형화된 개인적 담화 신재효본 춘향전 개인성을 주장하는 예술적 담화 김대우 감독, <방자전>
3. 스토리헬퍼 : 한국의 디지털 스토리텔링 1,458편의 영화에서 추출된 116,721건의 DB 요소 Case Based 3-4. 2013년 7월 16일 스토리 헬퍼 서비스 시작 Summery of Story Helper 1,458편의 영화에서 추출된 116,721건의 DB 요소 Case Based Reasoning DB 구축(인문학)과 CBR(공학) 기존에 존재하는 스토리들(원본)을 다시 사용하여 새로운 스토리(변형 복제물)를 창작하는 프로그램. 사용자가 29개의 객관식 질문에 대해 입력한 답안과 가장 유사한 기존의 스토리를 유사도 순서대로 30개씩 찾아준다. 최단 인접법 공식에 따른 사례 기반 추론으로 플롯 구조화. CBR(Case-Based Reasoning) Method 사례 기반 추론(CBR) = 과거 유사한 문제들의 해결책을 기반으로 한 유추(analogy)를 통해 현재의 새로운 문제를 해결하는 방법론 인지과학에서는 인간이 일상적인 문제들을 해결하는 혼재적 행태(pervasive behavior)와 개인적으로 경험된 과거 사례를 기반으로 한 모든 추론에 적용될 수 있다고 봄. 인지과학에서의 원형이론(Prototype Theory)에 근거함. Source: Janet. L. Kolodner, <Case-Based Reasoning: An Overview> (2000)
3. 스토리헬퍼 : 한국의 디지털 스토리텔링 3-5. 죽을 때까지 호스팅해야 할 스토리 헬퍼 CBR of Story Helper <스토리헬퍼>가 플롯 만들기를 포함해서 창작과정을 전부 자동화해서 보여주기를 원하는 전문 작가는 한 명도 없었다. 다만… 작가들은 자신이 작성한 캐릭터의 제약조건과 행위 목적(이 영화는 무엇을 하는 이야기입니까?)의 조합 안에서 가능한 30개 정도의 선택 가능한 플롯을 신속 모형화(Fast Prototyping)해주는 기능에 대해서는 열렬히 환영했다. 전문 작가들은 자신들이 이런 사례 기반 추론을 통해 제공받은 플롯 스케치의 교정(revision)을 통해 인간지능의 창작물과 다름 없는 독창적인 스토리를 충분히 만들 수 있다고 믿고 있었다. Query Reuse (클래식 모드) Revise (조합모드, 유사 에피소드 추출) Case DB 1. 스토리 창작에 제기되는 Ideation Problem을 기존 스토리의 Case에서 사례들을 추출하여 DB로 구축하고 사례를 도출하는 로직으로 기능. 2. 사례 DB는 의미 유사성(semantic similarity) 검색의 최적화를 위해 <인물의 상태변수>, <플롯 유형>, <모티프>라는 3가지 요소로 기억 색인(Memory Organization Pocket)을 구성. 3. 색인을 통해 구조화된 사례 DB에서 질문(Query)을 통해 장르, 타깃, 인물, 행위에 걸친 체크리스트 검색(Checklist Retrieval)을 수행함. 4. 매칭율(%)과 함께 제시된 사례를 대체(substitution) 변형(transformation)하여 작가의 Ideation Problem에 적용함. 5. Ideation 단계의 조합모드와 Treatment 단계의 유사 에피소드 추출 기능을 통해 도출된 사례의 일부 요소를 재 예시화하여(파생적 재생) 창작 발상의 자유를 극대화함. Source: Scott C. Turner, <Minstrel: A Computer Model of Creativity and Storytelling> UCLA Ph.D. Dissertation. (1993) The Applied CBR of Story Generation Tools <MINSTREL>(1999) <COLIBRI>(2002) <OPIATE>(2004)
3. 스토리헬퍼 : 한국의 디지털 스토리텔링 3-6. 스토리헬퍼 결과물 <스토리 헬퍼>의 주요 기능 신속 모형화 (Fast Prototyping) 2. 유사도 분석 (Similarity Analysis) 3. 모티프 변형 (Motif Transformation) 4. 구조화 가이드 (Structuring Guide)
As Is : Case Base Reasoning 3. 스토리헬퍼 – 한국의 디지털 스토리텔링 3-7. 스토리헬퍼의 남은 문제들 As Is : Case Base Reasoning To Be : Natural language Processing NLG Basic Tasks Content determination – 뭘 말할까를 찾기 Document structuring – 말해진 것을 조직하기 Sentence aggregation – 가능한 문장들을 끌어 모으기 Lexicalization – 각 개념을 구현할 단어 선택 Referring expression generation - 실제 문맥에서 각 요소에 상응하는 올바른 표현을 찾기 Surface realization – 결과물을 선형적인 자연어 문장으로 바꾸기. NLG TEXT GENERATION Templates 기반의 NLG – 텍스트는 Schema (텍스트 플랜을 만드는 템플레이트 프로그램 ) 안에 들어갈 수 있는 관습화된 패턴을 따라 만들어진다. Schema는 Target Text Corpus(목표 문자 말뭉치)로부터 추출된다. TTC는 Corpus를 단어로 분할한 뒤 이 단어 리스트들의 분류 체계를 얻고 각 유형의 단어와 입력 데이터의 일치도를 계산해서 나온다. * CBR based Story Generation의 정의 : 분석되고 주석된(annotated 태깅된) 이야기들로 구성된 사례 세트로부터 추론에 의해 이야기 플롯을 생성해내는 작업. 29개의 Query (the conceptual description of the desired story provided by the user)로부터 사례기반 추론에 의해 플롯 플랜 형식의 시놉시스를 추출함 (applied CBR to obtain a plot plan) ** NLG in Story Generation의 정의 : CBR 모듈이 생성한 플롯 플랜을 NLG 템플릿을 통해 문장으로 변환함. Source: Pablo Gervas 외, <Story Plot Generation based CBR> (2005)
사용자 참여형 스토리텔링 기획과 이미지를 활용한 시나리오 저작을 지원하는 클라우드 기반의 S/W 시스템 4. 스토리 타블로(Story TABLO) 4-1. 스토리헬퍼 후속 연구 (2014—2017) 사용자 참여형 스토리텔링 기획과 이미지를 활용한 시나리오 저작을 지원하는 클라우드 기반의 S/W 시스템 <스토리헬퍼>가 통합체적인 구조에서 세부 요소를 변형해가는 Top-down 방식의 스토리텔링 저작을 추구했다면, <스토리 타블로>는 계열체적인 구조를 조합해 전체 요소를 만들어나가는 Bottom-up 방식의 스토리텔링 저작 추구 ① 쿼리를 통해 만들고자 하는 캐릭터와 가장 유사한 캐릭터 원형 추출, 메인 캐릭터와 임팩트 캐릭터 설정 ② 캐릭터의 모티프와 욕망에 따라 추천 알고리즘 적용, 시퀀스 단위의 로그라인과 이미지, 가이드 스토리 추천 ③ 다음 시퀀스에 올 수 있는 가장 높은 확률을 지닌 새로운 시퀀스를 연결 ④ 사용자 협업 메뉴를 통해 결과물을 공유, 수정, 피드백 가능 캐릭터 시뮬레이션 장면 매니지먼트 사용자 협업 시스템 캐릭터 프로토타입 쿼리 시스템 플롯프레임 DB 1,000건 장면화 템플릿 DB 2,000건 장면 스토리 DB 10,000건 캐릭터 프로토타입 DB 4,500건
Y축 (Reflection - Action) X축 (Consistency-Transform) 4. 스토리 타블로(Story TABLO) 4-2. 캐릭터 시뮬레이션 : 캐릭터에서 출발하여 스토리 만들기 캐릭터 프로파일링 이론 캐릭터 인덱싱을 위한 대분류 기준인 205개의 인물형 모티프와 메인 캐릭터와 임팩트 캐릭터라는 캐릭터 역할에 이어, 보다 세부적인 캐릭터 스키마와 이를 통한 적합도 높은 프로파일링을 위해 캐릭터 프로파일링 사분면을 설정 크리스 크로포드(Chris Crawford)는 인물 성격을 5개로 분류한 각각의 변수를 공식화하여 캐릭터 방정식을 설립 및 체계화한 바 있음. 이때 5개의 변수는 각각 본능(Intrinsic), 기분(Mode), 기분 변화(Volatility), 관계(Relationship), 관계 변화(Accordance) 등으로, 크로포드는 이를 수치화해서 표현했음. 본 연구에서는 크로포드의 이론에 기반을 두고 캐릭터를 정량화할 수 있는 요소로 전제, 이를 바탕으로 캐릭터 프로파일링의 사분면을 구축함. 세로축은 사색-행동, 가로축은 일관-변형으로, 캐릭터 프로파일링 사분면을 수치화를 통해 분할함. Y축 (Reflection - Action) 이반 투르게네프(I. Turgenev)의 「햄릿과 돈키호테」이론을 토대로, 사색형(햄릿) 캐릭터와 행동형(돈키호테) 캐릭터를 양극에 배치. X축 (Consistency-Transform) 이사야 벌린(I. Berlin)의 「고슴도치와 여우」를 기반으로, 일관형(고슴도치) 캐릭터와 변형형(여우)캐릭터를 양극에 배치. NewValue = CurrentValue + (MaxValue – CurrentValue) X Increment / (MaxValue – MinValue) NewValue = CurrentValue + (MaxValue – CurrentValue) X Decrement / (MaxValue – MinValue
4. 스토리 타블로(Story TABLO) 4-3. 캐릭터 시뮬레이션 1단계 : 캐릭터 선택 TABLO
4. 스토리 타블로(Story TABLO) 4-3. 캐릭터 시뮬레이션 2단계 : 베이지안 확률 추론
4. 스토리 타블로(Story TABLO) 4-4. 캐릭터 시뮬레이션 2단계 : 추론 공식 수정 중
4. 스토리 타블로(Story TABLO) 4-5. 장면 매니지먼트 : 장면에서 출발하여 스토리 만들기 1 2 장면 구성 모티프 구축 브레몽의 서사 가능성 논리에 입각한 모티프 구축 1 주인공 발생한 악화 악화의 과정 악화 가능성 이뤄야 할 향상 향상의 과정 이뤄진 향상 임팩트1(적대자) 행위자 행위 행위자 목표 브레몽(Bremond)의 서사 가능성 논리에 따라 모티프를 분류하고 이를 장면 스토리 DB에 태깅할 모티프로 구축함. 서사 가능성 논리는 행위자 간의 관계, 행위, 각 단계에 따른 사건의 연속으로 구성되어 모티프 간 연계 논리를 제공함. 2 구축된 모티프 분류를 바탕으로 스토리 DB의 변수 구성 인물형 행위자 플롯 시퀀스A 로그라인 1 신데렐라 신분상승결혼 추구 로그라인 2 거짓 사랑을 하는 자 사랑의 연기 변모 시퀀스B 탐험가 보물찾기 모험 고등사기꾼 횡재 상승 구축된 모티프 분류를 바탕으로 장면 스토리 DB를 통해 사용자에게 플롯 매니지먼트가 가능하도록 서사명제 위주의 스토리 DB를 구축함. 1,400편의 영화 분석을 통해 캐릭터와 모티프, 플롯을 다층적 상태변수로 태깅함.
4. 스토리 타블로(Story TABLO) 4-5. 장면 매니지먼트 1단계 : 장면 3개를 선택
4. 스토리 타블로(Story TABLO) 4-6. 장면 매니지먼트 2단계 : 생성된 스토리 수정
Thank You!