Energetics of the brain and ai Anders Sandberg “Sapience Project 2016” 2016103359 안재현 2017103195 심현석

Index Introduction Computer and brain emulation energy use Brain energy use Information dissipation in neural networks Energy of AI Conclusion

Energy needed for human brain Introduction Energy needed for human brain VS Energy needed for AI

Computer and brain emulation energy use 현재 컴퓨터 => 작동당 25nJ 소비 전세계적으로 2.5TW 소비

Computer and brain emulation energy use Koomey‘s Law : 에너지 소비는 지금껏 매 1.57년마다 반감됨. Landauer’s Principle : 논리적으로 비가역적인 정보의 조작은 정보처리장치의 해당 엔트로피 증가를 동반. =>1bit의 정보 지우는데 필요한 최소 E=kTln2 (Landauer limit) 현 GPU : 뇌의 10 수준에도 미치지 못함. -11

**Karlheinz Meier의 계산** Brain energy use **Karlheinz Meier의 계산** 뇌가 20W의 에너지 사용 ->초당 약 천 억개의 뉴런들이 작동 ->활동전위 한번당 약 10 J 소비 ->1Hz의 신호를 받는 10 개의 시냅스들은 시냅스 전달 한번당 10 J 소비 -10 15 -14

Brain energy use 20 W / 1.3·10 J (체온에서의 Landauer limit) = 1.6·10^22의 비가역적인 기작/s ->이러한 기작이 1,000 억 개의 뉴런에 분산되어 있다고 가정하면 뉴런 하나에 초당 1.6억 회의 연산이 발생 ->뉴런 하나에 약 8000개 정도 존재하는 시냅스로 가정 하면 시냅스 하나에 초당 2000만 회의 연산이 발생 -21

Information dissipation in neural networks Lyapunov exponent(발산 지수) : 동적 시스템에서 극소에 가 까운 궤적의 분리 속도를 나타내는 지표 (발산이 선형화된 근사 내에서 처리될 수 있다는 가정 하에) 정량 적으로, 초기 분리가 δZ0만큼 있는 위상 공간에서 두 개의 궤도 는 특정 비율로 발산

Information dissipation in neural networks Maximal Lyapunov exponent(MLE) : 동적 시스템 에 대한 예측 가능성의 개념을 결정 양의 MLE는 대개 시스템이 혼란스럽다는 의미의 지표 Kolmogorov-Sinai 엔트로피 = 양의 Lyapunov exponent의 합 (정보 손실의 척도) 신경 시스템의 KS 엔트로피를 계산하면 단위 시간당 얼마나 많은 정보가 버려지는지 추정할 수 있음

Information dissipation in neural networks 하나의 간단한 신경 모델인 Theta model(Monteforte&Wolf) 뉴런과 스파이크 하나에 약 1 bit의 KS 엔트로피가 나타남 뉴런 당 초 당 약 1 스파이크에 대한 위의 추정치를 감안할 때, 이 것은 뇌에서 총 초 당 10 비트의 정보 손실 Landauer limit에 의하면 10 비트의 정보 손실은 최소한 1.3 * 10 W의 에너지를 소모 → 열역학적 완전성에서 멀리 떨어져 있음 11 11 -10

Information dissipation in neural networks 인지=macroscale 역학 엔트로피(높은 수준의 정신상태 사이의 이동) +microscale 역학 엔트로피(신경 정보 처리) 엔트로피 비용 : 소규모(빠르고 많은 simple states) >대규모(느리고 적지만 complex states) 만약 computing system이 microscale을 모방한다면, 10 W이상이 사라짐. ->매우 약한 기반. -10

Energy of AI Level of Task Energy 계산 시, 일이 수행되는 차수(level)이 중요! Human Cognition 사물 recognition Analogies Certain useful computation 여러 elements 분류/종합 Few months Level of Task 1 week Few years 85 minutes Similar operation directly Few microseconds Few hours

Energy of AI Brain Advantage Disadvantage Versatility Robustness Cell로부터 기인->근본적 한계 가짐 Biospheric environment에서 파생 되는 문제 해결 필요

Conclusion 인공지능이 발전한다면, 결국 우리는 인공지능의 에너지 소비를 추정 하고자 할 것 에너지 계산의 cost는 단지 효과가 있는 시스템이 존재한다는 증거일 뿐이며, 위의 논의에서 알 수 있듯이 우리가 실제로 지능에 대해 이해 할 때까지는 아무것도 말할 수 없음 인공지능의 제약이 에너지 소비 뿐만은 아닐 것이며 여러 가지 요소들 이 있을 것 우리는 새로운 인공지능이 잠재적으로 매우 압축되고 빠른 프로세스 를 사용할 것으로 기대

Q&A

Thank You