ENERGETICS OF THE BRAIN AND AI 경영학과 남기훈 경영학과 안지윤 경영학과 한승헌 생물학과 이민희 2018년 5월 21일

AI가 인류에 가져올 Humanity Risk에 대한 AI & Humanity Risks BUT, 물리학자 Lawrence Krauss는 AI가 인류에 미칠 위험에 대해 걱정할 필요가 없다고 주장 학자들의 AI에 대한 높은 관심과 동시에, AI가 인류에 가져올 Humanity Risk에 대한 회의적 시각이 존재함

Krauss’ Claim 지난 40년 동안 컴퓨터는 저장 및 처리 능력 면에서 기하급수적인 발전을 보여줬지만 기존의 Digital Architecture를 벗어나지 못하고 있는 게 현실 Lawrence Krauss 인간의 마음에 대한 저장 및 처리 능력은 컴퓨터 에너지로 10Tera watts가 필요하지만 인간의 뇌는 10 watts만 있으면 된다. 1,000,000,000,000W vs 10W 인간과 컴퓨터 간에 10¹² 요소의 Mismatch가 있음

Krauss’ Claim의 문제점 만약 에너지가 인지에 대한 주요한 제약이라면 1. AI 개발자들은 컴퓨터가 기존의 Digital Architecture에 머무르지 않을 것이라고 생각. 2. Superintelligence Risk(초지능 위험)은 당장 마주하는 문제가 아닐지라도 언젠가는 우리에게 다가온다. 3. 인간의 의식은 도구적 지능과 무관할 수도 있다. Lawrence Krauss 만약 에너지가 인지에 대한 주요한 제약이라면 우리는 미래의 인공 두뇌에 대한 예측과 주장을 통제할 수 있다.

Discussion 인공지능은 인간을 지배하고자 하는 욕망을 가질 수 있을까? 지배 욕망을 심을 수 없다면 인공지능이 인류에게 가할 수 있는 위협에는 어떤 게 있을까? Ex) 일자리 감소, 사회적 위치 약화 등 http://tv.naver.com/v/1758847?openType=nmp

20W (Per second) Brain energy use 1,000억개의 뉴런 발사 행동전위당 10*-10J 사용 뇌에서의 신호 전달은 전기적 신호, 즉 물질현상에 의해 일어납니다. 그렇다면 생물학적으로 우리의 뇌가 얼마나 많은 일을 효율적으로 하고있는지에 대해 간단하게 알아보겠습니다. KarlheinzMeyer에 의한 계산 은 뇌가 20W의 힘을 사용하고, 초당 1,000억개의 뉴런을 발사하며,행동전위당 10-10J을 사용하며,1hz의 신호를 수신하는 10의15승 개의 시냅스를 가지고 시냅스의 전송당 10-14J을 사용합니다. 10*15 개의 시냅스 ( 1hz의 신호를 수신) 시냅스는 전송당 10*-14J 사용

20W뇌를 750-1000ml/min의 혈액으로 냉각시키는 것은 비교적 쉽지 않다. Brain energy use Cooling system 20W뇌를 750-1000ml/min의 혈액으로 냉각시키는 것은 비교적 쉽지 않다. (따라서, Landauer 한계를 사용하여 계산) 20W로 뇌는 초당 1.6x10*22이상의 연산을 함 생물학은 분명히 에너지를 많이 제한한다. 따라서 쿨링 시스템 또한 필요한데 20w의 뇌를 750-1000의 혈액으로 냉각시켜야한다. 최소한으로 발생하는 에너지 소모인 란다우어 한계를 체온의 기준으로 나누어 계산해보았을때 인간은 ~~~이상의 기하학적인 연산을 한다고 알 수 있습니다. Landauer 한계 – 열역학 제2법칙 때문에 자연계에서 불가피하게 일어나는 현상은 ‘란다우어 원리＇로 부른다. 그래서 아무리 집적회로 소자가 작아지더라도 처리할 때에는 일정량의 열 발생 또는 에너지 소모는 불가피한데, 그런 한계를 ‘란다우어의 한계＇라고 부른다

Brain energy use 기하학적으로 많은 연산들이 1,000억개의 뉴런에 걸쳐 분포

Brain energy use 뉴런 한 개 – 초당 1,600억개의 연산 생물학적으로 우리의 뇌는 적은 에너지로 높은 효율을 보여주고 있습니다.

Brain energy use - 란다우어의 한계에 초 근접한 칩 개발 - 기존의 컴퓨터 칩 전력의 10*7 분의 1수준 - 적용하여 제품으로 개발까지 약 5년 추정 - 인간과 컴퓨터간의 10*12 의 Mismatch 2016년도 기사 - 이 나노칩이 상용화 되어도 10*5 의 Mismatch 가 존재 할 것이다. 따라서, 소모하는 에너지의 한계로 인해 지금의 기술력으로는 기계가 인간의 사고를 할 수 있도록 하기에는 아직 많이 멀었다.

Information dissipation in neural networks Chaos Theory(카오스 이론, 혼돈 이론) : 불규칙해보이는 현상 속에서 질서와 규칙성을 설명하려는 이론 뇌파 대류 현상 앞서 설명했듯, 뇌에서의 신호 전달은 전기적 신호, 즉 물질현상에 의해 일어납니다. 무작위적인 random process가 아니라, 어떠한 원리를 바탕으로 물질현상이 일어나는데, 이는 카오스 이론으로 설명할 수 있다고 합니다. 우리나라에서는 KAIST의 정재승 박사가 이 이론을 바탕으로 뇌기능을 연구하기도 하는데요, 혼돈이론이라고도 불리는 카오스 이론이란, 겉으로 보기에는 한없이 무질서하고 불규칙해 보이면서도, 나름대로 어떤 질서와 규칙성을 가지고 있는 현상을 설명하려는 이론입니다. 카오스적인 현상은 예외적인 게 아니라 우리 주변 어디에나 있습니다. 태풍 등 물리현상 뿐만 아니라 뇌파나 심장박동 등 생체신호나 주가, 환율 등 금융시장의 각종 지표에서도 카오스적인 현상이 관찰됩니다. 오히려 물리학 교과서에 나오는 간단한 몇 개의 식으로 표현되는 운동들이 예외적인 현상이라고도 말할 정도로 많은 예가 있습니다. 주가 그래프 태풍

Information dissipation in neural networks Lyapunov exponents(리아프노프 지수, 발산지수) : 단위시간당 초기 조건의 차이가 얼마나 증폭되는가를 지수 함수적으로 나타낸 것 KS-entropy(KS엔트로피) : 리아프노프 지수의 양수값만을 모아 더한 값. 값이 클수록 큰 불확실성을 의미 리아프노프 지수(λ)↑ 더 카오스적 상태 이러한 카오스적 상태의 특징은, 초기 조건에 민감성을 띄고 시간 변화에 따라 매우 복잡한 궤도를 그린다는 것입니다. 이러한 상태에서는 아주 미세한 초기 조건의 차이가 지수함수적으로 벌어져 나중에 전혀 다른 운동의 결과를 보여주는데, 대표적인 예로는 “브라질에 있는 나비의 날갯짓이 미국 텍사스 주에 발생한 토네이도의 원인이 될 수 있다”는 로렌츠의 나비효과가 있습니다. 그래프를 보시면, 조건에 따라 벌어진 차이를 나타내는 값을 리아프노프 지수라고 합니다. 리아프노프 지수가 클수록 결과만 보고서는 초기상태를 예측할 수 없는 불확실성이 크다는 것을 알 수 있습니다. 따라서 지수함수적으로 벌어진 차이가 클수록 초기 상태를 예측할 수 없으니, 정보가 그만큼 더 소실되는 것입니다. 리아프노프 지수의 양수값만을 모아 더한 값을 KS-엔트로피라고 하며, KS-엔트로피 값이 클수록 큰 불확실성을 의미합니다. 큰 불확실성은 초기상태예측의 어려움 즉, 더 많은 정보 손실을 의미합니다. 따라서 손실된 정보만큼의 에너지가 낭비된다는 것을 의미합니다. 초기상태예측 불확실성↑→정보손실→에너지손실

Information dissipation in neural networks Neuroplasticity(신경가소성) : 인간의 두뇌가 경험에 의해 변화되는 능력  뇌는 물리적으로 끊임없이 변화한다 뇌는 성장하고 시냅스가 바뀌거나 뉴런은 죽고 다시 생성된다. 학습에 따라 뇌회로도 바뀐다.  없던 신경이 새로 생기기도 하고 있던 신경이 사라지기도 합니다 한편, 우리의 뇌는 물리적으로 끊임없이 변화합니다. 이를 신경가소성, 뇌 가소성이라고 합니다. 컴퓨터의 하드웨어는 물리적으로 변화시킬 수 없습니다. 또한 하드웨어와 소프트웨어는 명확하게 구분되어있죠. 하지만 생체 뇌는 학습, 감각 등을 통해 모양이 변하고 또 동시에 기능합니다. 즉, 하드웨어가 물리적으로 바뀌면서 이에 해당하는 기능을 수행하게 됩니다. KAIST의 정재승 박사는 이를 통해 다음과 같이 설명하는데요, “우리의 정신을 이루는 모든 기억, 감성, 성격, 자의식, 인격 등을 뇌로부터 얻어내기 위해서는, 그리고 그것을 이식하기 위해서는 구조를 바꾸는 형태로 이식해야만 한다. 다시 말해 현재의 컴퓨터처럼 하드웨어와 소프트웨어가 절대적으로 구분되어 기능하는 형태로는 인간의 뇌를 온전히 담아낼 수 없다.” 즉, 컴퓨터의 현재의 물리적인 구조는 인간과 동일하지 않기에, 물리적인 구조 특성에서 오는, 아직 알 수 없는 차이를 컴퓨터에서 반영할 수 없다는 것입니다. ######참고######## 뇌는 세포 수를 늘리고 시냅스 연결을 정교하게 바꾸고, 네트워크 구조를 변형시키면서 새로운 정보를 입력하고, 새로운 기능을 추가하고, 새로운 기억을 담아낸다. 원문보기:  http://www.hani.co.kr/arti/science/science_general/763668.html#csidxaf04e281fbe8e6e94f08b18f88852d0 

Information dissipation in neural networks Lyapunov exponents(리아프노프 지수, 발산지수) : 단위시간당 초기 조건의 차이가 얼마나 증폭되는가를 지수 함수적으로 나타낸 것 KS-entropy(KS엔트로피) : 리아프노프 지수의 양수값만을 모아 더한 값. 값이 클수록 큰 불확실성을 의미 상태가 고정되어있을 때보다, 예측 가능한 상태의 부피 증가 →초기상태를 예측할 수 있는 가능성 감소 초기상태 나중상태 시간이 지남에 따라 다른 상태로 옮겨짐 뇌의 특정 상태공간에서 물질현상 시작 앞서 인간의 뇌파가 카오스 이론에 적용된다고 했죠. 저희가 맡은 지문에서는 이를 토대로 우리의 뇌를 설명합니다. 방금 전 설명드린 신경가소성 이론과 카오스 이론을 종합해보겠습니다. 우리 뇌의 특정 상태공간에서 어떠한 물질현상이 시작된다면, 시간이 지남에 따라 이 상태는 다른 상태로 옮겨집니다. 결국 시간이 지난 시점에서 바라봤을 때, 초기상태를 예측할 수 있는 가능성은 절반으로 줄어들고, 1 비트의 정보를 잃어 버리게 됩니다. 즉, 우리는 신경을 새로 만들고, 또 전기신호를 통해 정보를 전달한다고 했었죠. 원래 찾으려던 상태의 양은 일정한데, 새로 옮겨진 상태로 정보를 주고받기 위해 또 전기적 에너지를 사용하므로 결국 에너지가 손실됩니다. 컴퓨터보다 몇 억배 효율적으로 에너지를 사용하는 인간의 뇌에서도 에너지가 낭비되는 것입니다. 초기상태예측 불확실성↑→정보손실→에너지손실

Information dissipation in neural networks Macroscale dynamics Microscale dynamics 고차원의 의식상태 변화 신경정보 처리과정 느리고, 수가 적고, 복잡한 상태 – 하나의 엔트로피 빠르고, 수가 많고, 단순한 상태 – 다양한 엔트로피 ∧ 더 많은 에너지 사용 어떤 사람들은 생체 뇌의 인지시스템을 macroscale dynamics와 microscale dynamics로 나눕니다. Macroscale dynamics는 느리고, 수가 적고, 복잡한 상태로, 하나의 엔트로피를 의미하고, Microscale dynamics는 빠르고, 수가 많고, 단순한 상태로, 다양한 엔트로피를 의미합니다. 단순 신경정보 처리과정은 Microscale dynamics에서 이루어지지만, 고차원의 의식상태 변화는 Macroscale dynamics에서 이뤄집니다. 많은 수의 물질을 빠른 상태로 만들기 위해서는 에너지가 더 필요합니다. 따라서 Macroscale 보다 Microscale에서 에너지가 더 많이 필요하고, 즉, 고차원의 의식상태변화보다 단순신경정보 처리과정에서 더 많은 에너지가 필요합니다. 생체 뇌의 고차원적인 의식상태변화를 아직 모방하지 못하는 컴퓨터는, 생체 뇌의 단순 신경정보 처리과정만을 따라하게 되는데, 따라서 어림잡아 약 10^10W(10의 10승 와트)만큼의 에너지가 소실된다고 본문에서는 주장하고 있습니다.

Energetics of the brain and AI ≠ 인간이 인지하기 위해 필요한 에너지 기계가 인지하기 위해 필요한 에너지

복잡한 감정 이나 인지는 분류 등은 인공지능 컴퓨터가 인간 뇌가 훨씬 에너지를 덜 들고 사고할 수 있다! 수학/과학적 계산, 공식의도출, 분류 등은 인공지능 컴퓨터가 더 적은 에너지로 행할 수 있다!

Energetics of the brain and AI 낮은 수준의 계산 능력과 알고리즘으로 딥러닝 방식을 이용 -careful design -Special purpose hardware -Izhikevich neuron 위와 같은 방법으로 인공지능이 생각하는데 소모되는 에너지를 줄일 수 있다.

Energetics of the brain and AI <한계> 인간으로 따지면 ‘신진대사’에 해당하는 부분을 어떻게 해결할 것인가? → 스스로 어떻게 생존하고 유지하는가에 관한 문제

EOD