인공지능과 예술 <PUBLIC ART 5월호> 뇌 과학자 김대식

Presentation on theme: "인공지능과 예술 <PUBLIC ART 5월호> 뇌 과학자 김대식"— Presentation transcript:

1 인공지능과 예술 <PUBLIC ART 5월호> 뇌 과학자 김대식
도건우

2 렘브란트 (1606 ~ 1669)

3 렘브란트(Rembrandt Harmenszoon van Rijn)는 바로크 시대 최고의 화가로 꼽힌다

4 렘브란트 <야경(프란스 바닝 코크 대장의 민병대)> 1642년

5 위대한 예술은 편안하고 순탄한 삶과는 어울리지 않는 것일까?
렘브란트의 인생 역시 험난했다. 사랑하는 아내와 가진 첫 아이는 태어난 지 2달 만에 죽었고, 둘째, 셋째 아이 역시 1달도 못살고 죽는다. 드디어 넷째 아이는 살아남지만, 아이를 낳던 아내는 죽고 만다.

6 그리고 얼마 전 300년 만에 ‘새로운’ 렘브란트 작품을 만들어 내는 데 성공했다
그리고 얼마 전 300년 만에 ‘새로운’ 렘브란트 작품을 만들어 내는 데 성공했다. 마이크로 소프트(Microsoft) 기계학습 전문가들의 도움을 받아 네덜란드 덴하그 미술관에서 렘브란트의 작품들을 기반으로 새로운 ‘렘브란트 스타일’ 의 초상화를 완성한 것이다. 결과물은 놀랄 만하다.

7 마이크로 소프트와 네덜란드 기술자들이 만든 AI‘’넥스트 렘브란트'가 그린 렘브란트의 초상화

8 개발팀은 이 인공지능에게 모자를 쓰고 하얀 깃 장식과 검은색 옷을 착용한 30~40대 백인 남성을 그리라고 명령했다
개발팀은 이 인공지능에게 모자를 쓰고 하얀 깃 장식과 검은색 옷을 착용한 30~40대 백인 남성을 그리라고 명령했다. "렘브란트의 화풍으로 그리라"는 명령 외엔 아무런 구체적인 지시도 하지 않았다. AI는 학습한 내용을 바탕으로 렘브란트와 똑같은 화풍으로 남자의 초상화를 그려냈다. 3D 프린팅으로 인쇄된 이 그림은 유화의 질감까지 똑같이 재현했다. [출처: 중앙일보] AI가 그린 그림 900만원에 팔려···예술 넘보는 인공지능

9

10 한번도 보지 못한, 하지만 분명히 렘브란트의 특징들이 그대로 살아있는 작품이었다
한번도 보지 못한, 하지만 분명히 렘브란트의 특징들이 그대로 살아있는 작품이었다. 삶도, 행복도, 불행도 경험하지 못한 기계가 어떻게 렘브란트와 비교될만한 작품을 그릴 수 있었던 것일까? …바로 최근 기계학습 기반 인공지능 기술의 발전 덕분이다.

11 2016년 3월 9일 대한민국의 수도 서울에서 역사적인 사건이 하나 벌어졌다.

12 구글 딥 마인드 최고경영자 ‘데미스 하사비스(Demis Hassabis)’
이세돌 9단과 구글(google) ‘알파고(AlphaGo)’의 바둑대결이었다. 알파고는 구글이 2014년 약 4,000억 원을 들여 인수한 영국의 ‘딥 마인드(DeepMind)’가 개발한 ‘기계학습’ 인공지능 프로그램이다.

13 기계학습이란 것은 무엇인가? 어려운 계산을 너무나도 쉽게 하는 기계. 그렇다면 ‘언어처리’ ,‘얼굴인식’ 같이 인간에게 쉬운 문제 역시 쉽게 풀 수 있는 ‘인공지능’역시 가능하지 않을까? 하지만 인간에게 쉬운 문제는 인공지능에겐 결코 쉽지 않았다. 인공지능이라는 분야가 만들어진 후 50년이 넘는 연구에도 불구하고 세계 최고의 슈퍼컴퓨터조차 최근까지 ‘강아지’와 ‘고양이’ 하나 제대로 구별할 수 없었으니 말이다.

14 슈퍼 컴퓨터 조차 어떤 개체가 고양이와 강아지인지 구별하지 못했다.

15 인간이 정해준 규칙과 비법 위주로 작동하던 기존 인공지능의 한계를 넘기 위해 제시된 방법이 바로 기계학습이다.

16 왜 기계에게 학습능력이 있어야 할까? 세상에는 두 가지 타입의 정보가 존재하기 때문이다. 예를 들어 3+2=5라는 사실은 정확히 표현 가능한 정량화된 정보다.

17 하지만 만약 외계인이 우리에게 어떻게 팔을 들 수 있는지 정확히 설명해 달라면?
FBI 행동의 심리학 中 편안한 표정 & 불편한 표정 사실 별로 해줄 수 있는 말이 없다. 걸어 다니고, 고양이를 알아보고, 천재적으로 바둑을 두고, 그림을 그리고, 보여줄 수는 있지만 완벽한 설명이 어려운 비 정량화된 정보를 통해 이루어지는 행위를 우리는 ‘직관’이라고 부르기도 한다.

18 두 가지의 웃음 중 진실한 웃음을 구별해 낼 수 있는 능력이 바로 직관력이다.
영국의 심리학자들이 1만5000명을 대상으로 실험한 진실한 미소 구별 실험 두 가지의 웃음 중 진실한 웃음을 구별해 낼 수 있는 능력이 바로 직관력이다.

19 그렇다면 직관은 어떻게 만들어질까? 바로 경험과 학습을 통해 만들어진다. 현대 뇌 과학에서 학습은 신경세포들 간의 연결고리(시냅스)에서 일어난다고 보고 있다. 자주보고, 듣고, 경험하는 정보를 코딩하는 세포들간의 연결성이 강화되어, 비슷한 정보를 받아들일 때 활성화 될 확률이 높아진다.

20 딥러닝(deep learning)의 ’할아버지’ 격인 1957년 프랭크 로젠블라트(Frank Rosenblatt)가 발명한 ‘퍼셉트론(perceptron)’이다. 인공 신경 세포들을 적절히 연결시켜 주면 논리 연산 규칙을 스스로 인식하게 된다. 기계학습의 시작이었다.

21 마빈 민스키 (좌)와 시모어 페퍼트 (우) 하지만 불과 몇 년 후 메사추세츠 공과대학교(MIT, Massachusetts Institute of Technology)의 민스키(Marvin Lee Minsky)와 페퍼트(Seymour Papert) 교수는 단층 퍼셉트론(perceptron) 으로 학습할 수 있는 정보는 지극히 한정되어있다는 사실을 증명한다.

22 복잡한 정보를 학습하기 위해서는 다층 퍼셉트론이 필요하지만, ‘MLP(Multi-layer perceptron) 신경망’의 수많은 시냅스를 학습시킬 수 있는 방법이 없었다. 단층 퍼셉트론의 사형선고였다.

23 그리고 20년 후 인지심리학자 룸멜하트(Rumelhart)와 메클랜드(MeClelland)는 MLP를 효율적으로 학습시킬 수 있는 ‘역전파(Back-propagation)’ 방법을 제시한다. 역전파 알고리즘은 간단하다. 3층으로 구성된 인공신경망을 상상해보자.

24 첫 층은 예를 들어 ‘고양이’라는 물체를 숫자로 표현한다. 고양이 사진의 픽셀 값들이라고 생각하면 되겠다
첫 층은 예를 들어 ‘고양이’라는 물체를 숫자로 표현한다. 고양이 사진의 픽셀 값들이라고 생각하면 되겠다. 마지막 층 신경세포는 전체 MLP가 계산한 값을 출력한다. 물론 랜덤으로 시작하기에, 처음 결과는 틀릴 것이다.

25 하지만 만약 매번 선생님이 정답을 알려준다면? MLP가 계산한 ‘이양고’라는 오답과 선생님이 알려준 정답 ‘고양이’의 차이 값을 계산할 수 있다. 그 다음 차이 값을 아래층으로 역전파해 시냅스 값을 고쳐주면 된다.

26 역전파의 과정 (1) 인공지능에게 고양이 사진을 주고 이 사진이 고양이라는 걸 알려준다.  (2) 사진의 픽셀 정보가 입력단에 들어가 분석된다.  (3) 자신이 계산한 값과 알고 있던 고양이 정보 사이의 오차를 입력단에 알려주고 ‘숨겨진 계층’의 연결을 바꾼다.  (4) 최종 출력값이 고양이가 나올 때까지 이 과정을 반복한다.  (5) 다른 고양이 사진으로도 학습을 반복해 고양이 얼굴의 일반적인 패턴을 알아차린다.  (6) 학습이 끝나면 처음 본 고양이 사진도 고양이라고 분류할 수 있다. 

27 이런 식으로 수천만 가지 고양이 사진을 보고, 매번 선생님의 정답을 통해 시냅스 값들을 수정한다면, 언젠간 MLP는 ‘고양이 전문가’가 된다. 걸어 다니고, 뛰어다니고, 밥을 먹는 그 어떤 모습의 고양이를 보더라도 정답을 출력한다. MLP에게 ‘고양이 직관’이 생긴 것이다.

28 하지만 딥 러닝의 ‘아버지’정도 되는 다층 퍼셉트론(MLP)은 치명적인 문제들을 가지고 있었다
하지만 딥 러닝의 ‘아버지’정도 되는 다층 퍼셉트론(MLP)은 치명적인 문제들을 가지고 있었다. 우선 인공신경망을 3층 이상으로 올리면 점차 학습이 불가능해진다. 오차 값이 깊은 층수들로 역전파 되면 점점 왜곡되는 ‘사라지는 경사도(Diminishing Gradient)’ 문제 때문이다. 그런데 왜 깊은 신경망 층수들이 필요할까? 간단히 설명하자면 층수가 깊을수록 더 추상적인 학습이 가능하기 때문이다.

29 ‘다층 퍼셉트론(MLP)’의 또 다른 한계는 새로운 사실을 추론해 내는 것을 어려워 한다는 점이다
‘다층 퍼셉트론(MLP)’의 또 다른 한계는 새로운 사실을 추론해 내는 것을 어려워 한다는 점이다. 이와 같은 기존 MLP의 문제는 2006년, 그리고 2012년에 와서야 드디어 해결된다.

30 토론토 대학(University of Toronto)의 제프리 힌튼(Geoffrey Hinton)교수 팀은 깊은 층수의 MLP 역시 사전 학습(pre-training)을 통해 트레이닝 시킬 수 있고, 인공신경망을 랜덤으로 ‘죽여주면’ 추론능력을 개선할 수 있다는 사실을 보여준다. 기존 인공신경망의 한계를 극복한 인공신경망은 보통 ‘딥 러닝’이라고 불린다.

31 ‘딥 러닝’의 발전 덕분에 기계는 이미 얼굴을 사람보다 더 잘 알아보고, 물체를 더 잘 인식한다
‘딥 러닝’의 발전 덕분에 기계는 이미 얼굴을 사람보다 더 잘 알아보고, 물체를 더 잘 인식한다. 이제 서서히 바둑에서 조차 사람을 이기기 시작한 기계는 멀지 않은 미래에 우리를 위해 자동차를 운전해주고, 우리의 건강을 책임지고, 우리의 노후대책을 계획해 줄 것이다.

32 Google의 무인 자동차

33 Google의 웨어러블 건강관리 app Google Fit

34 그렇다면 인공지능이 언젠간 창작과 예술의 영역까지 접근할 수 있을까?
영원히 불가능해 보이지는 않는다. 딥 러닝 기계의 특징은 아래층에서 작은 단위를 인식하고 위로 올라갈수록 높은 단위를 인식해서 정답을 찾는다는 점이다. 아래층 신경세포들은 시공간적 시야가 작아 많은 오답을 내게 된다. 사람의 검정색 머리카락만 바라보면 신경세포가 ‘석탄’이라는 오답을 낼 수 있다는 말이다.

35

36 이런 부분적 오답을 수정하기 위해 기존 ‘딥러닝’에서는 다른 신경세포들이 찾아낸 ‘눈’, ‘코’, ‘살색’같은 사실들을 모두 추가해 전체적 결론 , 즉 ‘사람의 얼굴’이라는 정답을 찾아낸다.

37 구글 ‘클라우드비전 API’는 글씨나 로고 인식부터 유명한 건축물의 이름을 알려주거나 얼굴 표정의 의미를 알아내기도 한다
구글 ‘클라우드비전 API’는 글씨나 로고 인식부터 유명한 건축물의 이름을 알려주거나 얼굴 표정의 의미를 알아내기도 한다. 구글은 ‘클라우드비전 API’를 이용해 이미지 검색 기술 및 추천 서비스, 혐오사진을 걸러내는 프로그램 등을 개발할 수 있다고 설명했다.

38 하지만 만약 중간에 잘못 찾은 답을 고쳐주지 않고 반대로 키워준다면?
하지만 만약 중간에 잘못 찾은 답을 고쳐주지 않고 반대로 키워준다면? 동물인식을 위해 학습된 딥 러닝 기계에게 ‘엘 그레코(El Greco)’의 <라오콘(Laocoön)>이나 ‘미켈란젤로(Michelangelo Buonarroti)’의 <천지창조(Creation of Adam)> 같은 그림을 집어넣는다면 어떤 일이 벌어질까? 딥 러닝 인식과정에서 일어나는 부분적 오답을 키워 작품들을 재해석 해볼 수 있다.

39 딥 드림(Deep Dream)이라고 불리는 이 새로운 접근방법을 사용하면 결국 기계가 존재하지 않은 새로운 작품들을 만들어 낼 수 있다는 것이다.

40 피카소풍으로 변용시킨 인물사진

41 고흐풍으로 변용 된 거위의 모습

42 램브란트의 스케치풍으로 바뀐 풍경사진

43 샤갈풍으로 변용된 인물 사진

44 이러한 이미지 생성은 원래부터 구성되어 있던 사진, 그림을 토대로 이루어질 수 있으며, 이 과정에서 인공 신경망은 자신이 원래 의도된 이미지의 형태만을 과장하고, 그 외의 요소는 무시해, 이미지를 왜곡해낸다. 더불어, 아무런 의미도 없는 노이즈 이미지에 반복적으로 절차를 시행해 이미지를 생성해내는 것도 가능하였으며, 구글은 이를 두고서 인공신경망이 꿈을 꾼다고 표현했다. – Deep Dream 원리적으로 보면, 사람이 착시를 일으키는 것이나, 완전히 다른 대상을 두고 익숙한 대상으로 착각하는 것과 비슷하다. 방에 비친 그림자를 보고 귀신으로 보거나, 화성에 있는 바위 덩어리를 보고 사람 얼굴이나 피라미드로 착각하는 것과 같은 것이다.

45 딥 러닝의 핵심은 학습에 사용한 데이터에 따라 ‘전문성’을 만들어 낼 수 있다는 점이다
딥 러닝의 핵심은 학습에 사용한 데이터에 따라 ‘전문성’을 만들어 낼 수 있다는 점이다. 고양이 사진들을 많이 보여주면 ‘고양이 전문가’가 되고, 많은 바둑 기보들을 입력하면 프로기사와 대결할 수 있는 수준의 바둑 전문가를 만들어 낼 수 있다.

46 그렇다면 단순히 작가들의 작품을 왜곡시키는 수준을 넘어 작가의 스타일을 모방한, 새로운 창작도 가능하지 않을까?
불가능하지 않아 보인다. ‘새로운’ 램브란트를 그려내듯 터너(William Turner), 고흐(Vincent van Gogh), 뭉크(Edvard Munch), 피카소(Pablo Picasso), 칸딘스키(Wassily Kandinsky)의 작품들로 학습시킨 딥 러닝 기계를 통해 비슷한 스타일의 작품 만들어 낼 수 있다는 결과가 최근 소개되기도 했다. 육체적 노동만 하던 기계가 인간의 고유 영역인 지적인 노동과 예술적 행위 역시 할 수 있다는 가능성을 보여주고 있다.

47 지금까지 우리가 기계에게 가르쳐 주었지만, 앞으로는 우리가 기계에게 배워야 할 수도 있다
지금까지 우리가 기계에게 가르쳐 주었지만, 앞으로는 우리가 기계에게 배워야 할 수도 있다. 기계가 잘할 수 있는 것과 경쟁해서는 인간이 이길 수 없다. 인간이란 무엇이고 , 인간으로서만 할 수 있는 것이 무엇인지 우리 모두 진지하게 생각해봐야 한다.

48 질문 ‘넥스트 렘브란트’는 렘브란트가 그린 특정 작품의 완벽한 복제가 아니라 그의 가장 평균적인 작품을 목표로 했다. -넥스트 램브란트의 개발자- ‘넥스트 램브란트’의 그림은 미메시스 적 재현에서 벗어나 가히 새로운 램브란트라고 일컬을만하다. 이것은 ‘램브란트’ 연구를 위한 학술적인 용도로 사용될 수 있다. 하지만 이것을 ‘미술’이라고 볼 수 있을까? 램브란트의 그림은 한화 300억원에서 500억원을 호가한다. 하지만 넥스트 램브란트의 그림은 900만원 정도이다. 수요에 따른 공급량이 전혀 변동하지 않던 램브란트 그림이 ‘새롭게’ 늘어났는데 가격은 판이하게 다르다. 이것은 아직 사람들이 ‘넥스트 램브란트’를 인공지능일 뿐이라고 인식하고 그 스스로는 작품을 창조하지 못했기 때문이 아닐까?(램브란트 데이터에 따라 그린 것이므로 램브란트를 벗어날 수 없음.) 어디까지나 램브란트의 화풍으로 그린 것 뿐이지 그것들이 램브란트의 작품은 아니지 않을까.

49 “ 육체적 노동만 하던 기계가 인간의 고유 영역인 지적인 노동과 예술적 행위 역시 할 수 있다는 가능성을 보여주고 있다
“ 육체적 노동만 하던 기계가 인간의 고유 영역인 지적인 노동과 예술적 행위 역시 할 수 있다는 가능성을 보여주고 있다. “ “…‘새로운’ 램브란트를 그려내듯 터너, 고흐, 뭉크, 피카소, 칸딘스키의 작품들로 학습시킨 딥 러닝 기계를 통해 비슷한 스타일의 작품 만들어 낼 수…(중략) “ 위 제시된 예시들은 기계가 스스로 지적인 노동과 예술적 행위를 한다기보다는 인간이 램브란트, 윌리엄 터너, 고흐 등의 화풍을 모방시켜 새로운 작품을 만들게끔 하는 새로운 방식의 육체적 노동이 아닐까. 기계가 기존 작가들을 따라 하지 않고 스스로 예술작품을 만들려고 해야 지적, 예술적 행위라고 볼 수 있을 것 같다.

50 죽어 사라진 램브란트와 같은 지난 시대의 작가들을 인공지능으로 계속 ‘부활’시킨다면 이미 죽어버린 유령들이 기계 몸을 빌어 다시 살아난 것 같은 느낌일 것이다. 현대의 미술관 조차 몇몇을 제외하고는 죽은 거장들을 위한 전시가 계속되고 있는데, 우리 젊은 작가들이 설 수 있는 자리는 점점 사라져간다. 그런데 이 조차도 미래엔 ‘되살아난 거장 인공지능’들 에게 빼앗길 판이다. 이런 거장들을 인공지능으로 되살리는 방향은 옳은 것인가? 인공지능에 대한 학자들의 우려와 걱정은 2007년 이전부터 있어왔다.대표적으로 레이 커즈와일(Ray Kurzweil) 그렇다면 우리(예술가)는 다가올 미래를 위해 도대체 무엇을 준비해야 할까? 2016년임에도 아직 해답은 나오지 않았다. 과연 우리가 준비해야 할 or 준비할 수 있는 것이 있을까? (저자의 경우 “인간이란 무엇이고 , 인간으로서만 할 수 있는 것이 무엇인지 우리 모두 진지하게 생각해봐야 한다.”라고 말했다.) 위대한 예술은 편안하고 순탄하지 못하고 가난하고 불안해야 하는 것인가?

51 출처 < PUBLIC ART > 5월호 - Culture letter -에서 뇌 과학자, KAIST 김대식 교수의 ‘인공지능과 예술’ Google 이미지 검색 <중앙일보> 나무위키, 위키백과