Energetics of the brain and ai

Presentation on theme: "Energetics of the brain and ai"— Presentation transcript:

1 Energetics of the brain and ai
Anders Sandberg “Sapience Project 2016” 안재현 심현석

2 Index Introduction Computer and brain emulation energy use
Brain energy use Information dissipation in neural networks Energy of AI Conclusion

3 Energy needed for human brain
Introduction Energy needed for human brain VS Energy needed for AI

4 Computer and brain emulation energy use
현재 컴퓨터 => 작동당 25nJ 소비 전세계적으로 2.5TW 소비

5 Computer and brain emulation energy use
Koomey‘s Law : 에너지 소비는 지금껏 매 1.57년마다 반감됨. Landauer’s Principle : 논리적으로 비가역적인 정보의 조작은 정보처리장치의 해당 엔트로피 증가를 동반. =>1bit의 정보 지우는데 필요한 최소 E=kTln2 (Landauer limit) 현 GPU : 뇌의 수준에도 미치지 못함. -11

6 **Karlheinz Meier의 계산**
Brain energy use **Karlheinz Meier의 계산** 뇌가 20W의 에너지 사용 ->초당 약 천 억개의 뉴런들이 작동 ->활동전위 한번당 약 J 소비 ->1Hz의 신호를 받는 개의 시냅스들은 시냅스 전달 한번당 J 소비 -10 15 -14

7 Brain energy use 20 W / 1.3·10 J (체온에서의 Landauer limit) = 1.6·10^22의 비가역적인 기작/s ->이러한 기작이 1,000 억 개의 뉴런에 분산되어 있다고 가정하면 뉴런 하나에 초당 1.6억 회의 연산이 발생 ->뉴런 하나에 약 8000개 정도 존재하는 시냅스로 가정 하면 시냅스 하나에 초당 2000만 회의 연산이 발생 -21

8 Information dissipation in neural networks
Lyapunov exponent(발산 지수) : 동적 시스템에서 극소에 가 까운 궤적의 분리 속도를 나타내는 지표 (발산이 선형화된 근사 내에서 처리될 수 있다는 가정 하에) 정량 적으로, 초기 분리가 δZ0만큼 있는 위상 공간에서 두 개의 궤도 는 특정 비율로 발산

9 Information dissipation in neural networks
Maximal Lyapunov exponent(MLE) : 동적 시스템 에 대한 예측 가능성의 개념을 결정 양의 MLE는 대개 시스템이 혼란스럽다는 의미의 지표 Kolmogorov-Sinai 엔트로피 = 양의 Lyapunov exponent의 합 (정보 손실의 척도) 신경 시스템의 KS 엔트로피를 계산하면 단위 시간당 얼마나 많은 정보가 버려지는지 추정할 수 있음

10 Information dissipation in neural networks
하나의 간단한 신경 모델인 Theta model(Monteforte&Wolf) 뉴런과 스파이크 하나에 약 1 bit의 KS 엔트로피가 나타남 뉴런 당 초 당 약 1 스파이크에 대한 위의 추정치를 감안할 때, 이 것은 뇌에서 총 초 당 비트의 정보 손실 Landauer limit에 의하면 비트의 정보 손실은 최소한 1.3 * W의 에너지를 소모 → 열역학적 완전성에서 멀리 떨어져 있음 11 11 -10

11 Information dissipation in neural networks
인지=macroscale 역학 엔트로피(높은 수준의 정신상태 사이의 이동) +microscale 역학 엔트로피(신경 정보 처리) 엔트로피 비용 : 소규모(빠르고 많은 simple states) >대규모(느리고 적지만 complex states) 만약 computing system이 microscale을 모방한다면, 10 W이상이 사라짐. ->매우 약한 기반. -10

12 Energy of AI Level of Task Energy 계산 시, 일이 수행되는 차수(level)이 중요! Human
Cognition 사물 recognition Analogies Certain useful computation 여러 elements 분류/종합 Few months Level of Task 1 week Few years 85 minutes Similar operation directly Few microseconds Few hours

13 Energy of AI Brain Advantage Disadvantage Versatility Robustness
Cell로부터 기인->근본적 한계 가짐 Biospheric environment에서 파생 되는 문제 해결 필요

14 Conclusion 인공지능이 발전한다면, 결국 우리는 인공지능의 에너지 소비를 추정 하고자 할 것
에너지 계산의 cost는 단지 효과가 있는 시스템이 존재한다는 증거일 뿐이며, 위의 논의에서 알 수 있듯이 우리가 실제로 지능에 대해 이해 할 때까지는 아무것도 말할 수 없음 인공지능의 제약이 에너지 소비 뿐만은 아닐 것이며 여러 가지 요소들 이 있을 것 우리는 새로운 인공지능이 잠재적으로 매우 압축되고 빠른 프로세스 를 사용할 것으로 기대

15 Q&A

16 Thank You