뇌가 어떻게 AI에 영감을 주었나 (그리고 노벨상까지 받았나)

1958년 하버드 의과대학의 어두운 방에서, 두 젊은 과학자는 점점 인내심을 잃어 가고 있었다. 데이비드 허블과 토르스텐 비셀은 마취된 고양이의 일차 시각피질에 텅스텐 미세전극을 찔러 넣고, 몇 시간 동안 화면에 빛의 점을 비추며 뉴런이 발화하도록 애쓰고 있었다. 세포의 전기적 스파이크를 클릭 소리로 바꿔 주는 오디오 모니터는 고집스럽게 침묵을 지켰다. 그때 유리 슬라이드 하나가 프로젝터에 끼었다. 그것을 빼내려고 흔드는 사이, 슬라이드의 어두운 가장자리가 화면을 가로질러 휙 지나갔고, 모니터는 갑자기 깨끗하고 리드미컬한 탁탁 소리로 터져 나왔다. 그 뉴런은 빛의 점에는 전혀 관심이 없었다. 그것이 관심을 둔 것은 특정 각도로 기울어진 채 움직이는 윤곽선이었다.

그 우연한 탁탁 소리는 현대 신경과학의, 그리고 있을 법하지 않게도 현대 인공지능의 탄생을 알린 소리 가운데 하나다. 그 고양이의 시각피질에서 2020년대의 이미지 분류기와 챗봇으로 이어지는 선은 직접적이고 추적 가능하며, 2024년 10월 스웨덴 왕립과학원은 인공 신경망의 두 선구자에게 노벨 물리학상을 수여하며 그 선을 공인했다. 이 글은 그 선을 따라간다. 뇌가 어떻게 윤곽선을 보는지에 관한 하나의 발견이 어떻게 기계의 한 가족 전체를 싹틔웠는지, 그리고 자세히 들여다보면 뇌와 그것이 영감을 준 시스템 사이의 관계가 실제로 무엇인지를 말이다.

고양이의 피질과 봄의 구조

1958년부터 1965년까지 하버드 의과대학에서 일하면서, 허블과 비셀은 일차 시각피질, 곧 V1 또는 브로드만 17영역이라 불리는 영역의 뉴런들의 반응 특성을 지도로 그렸다. 마취된 고양이와 원숭이에서 기록하면서, 그들은 개별 뉴런들이 지극히 까다롭다는 것을 발견했다. 그들이 단순세포라 부른 어떤 세포들은 특정 방향의 윤곽선이 망막의 특정 지점에 떨어질 때에만 발화했다. 그 윤곽선을 조금 기울이거나 살짝 옮기면 세포는 침묵했다. 다른 세포들, 곧 복합세포는 방향 선택성은 똑같이 강했지만 위치에 대해서는 훨씬 너그러워서, 적절한 각도의 윤곽선이라면 어떤 영역 안 어디에 있든 반응했다.

결정적인 통찰은 개별 세포들이 아니라 그들 사이의 관계에 있었다. 허블과 비셀은 하나의 위계를 제안했는데, 거기서는 정밀하고 위치에 고정된 단순세포들이 더 관대한 복합세포들로 입력을 보내고, 그리하여 시스템은 어떤 특징이 정확히 어디에 자리하든 상관없이 그것을 알아보는 표상을 쌓아 올린다. 아래쪽에서는 특이성을, 그 위에 층을 쌓아 불변성을 만들어 가는 것이다. 시각 세계가 피질 처리의 여러 단계에서 어떻게 분해되고 재조립되는지 보여 준 공로로, 두 사람은 로저 스페리와 함께 1981년 노벨 생리의학상을 공동 수상했다. 시각이 특징 검출기들의 층층이 쌓인 위계이며, 각 단계가 그 아래 단계의 출력을 결합해 더 추상적이고 더 안정된 무언가를 만든다는 발상은, 컴퓨팅 역사에서 가장 비옥한 발상 가운데 하나로 드러나게 된다.

피질에서 실리콘으로: 네오코그니트론

그 위계를 청사진으로 진지하게 받아들인 첫 공학자는 후쿠시마 구니히코였다. 도쿄의 NHK 방송과학기초연구소에서 일하던 그는 1980년 학술지 Biological Cybernetics에 자신의 야심을 노골적으로 선언하는 제목의 모델을 발표했다. "네오코그니트론: 위치 이동에 영향받지 않는 패턴 인식 메커니즘을 위한 자기조직화 신경망 모델." "위치 이동에 영향받지 않는다"라는 구절은 허블과 비셀을 기계의 언어로 옮긴 것인데, 위치 불변성, 곧 모양이 어디에 나타나든 그것을 알아보는 능력이야말로 복합세포가 풀어낸 바로 그 문제였기 때문이다.

네오코그니트론은 피질을 거의 층 하나하나까지 베꼈다. 그것은 후쿠시마가 S세포 층이라 부른, 허블-비셀 단순세포를 직접 본떠 국소 특징에 맞춰진 층과, 복합세포를 본떠 위치에 걸쳐 풀링함으로써 작은 이동에 대한 관용을 부여하는 C세포 층을 번갈아 쌓았다. 깊은 위계로 적층된 이 신경망은 손으로 쓴 숫자를 인식하도록 훈련되었다. 그것은 작동했고, 무언가 심오한 것을 입증했다. 뇌의 배선도 위에 세워진 기계가 실제 지각 과제를 풀 수 있다는 것을 말이다. 그것이 갖지 못한 것은 데이터로부터 자신의 연결 강도를 학습하는 효율적인 방법, 곧 훗날 도착해 모든 것을 바꾸게 될 그 조각이었다.

합성곱 혁명: 르쿤에서 알렉스넷까지

그 빠진 조각은 얀 르쿤의 손에서 맞춰졌다. 1989년 벨 연구소에서 르쿤은 손으로 쓴 숫자를 읽기 위한 최초의 실용적 합성곱 신경망을 발표했고, 이 설계는 훗날 다듬어져 1998년 LeNet-5라는 이름을 얻었다. 합성곱 신경망은 특징 검출 층과 풀링 층을 번갈아 두는 후쿠시마의 뇌에서 영감을 받은 골격을 유지하면서도, 그것을 역전파로 훈련시켰다. 역전파는 출력에서 거슬러 오류를 추적함으로써 신경망의 모든 연결을 효율적으로 조정하는 알고리즘이다. LeNet은 은행 수표의 숫자를 읽기 위해 상업적으로 배치되어, 세상에서 실제 경제적 일을 해낸 최초의 신경망 가운데 하나가 되었다.

20년 넘게 이 접근법은 끓어 넘치지 못한 채 부글거렸는데, 활용할 수 있는 데이터와 연산력이 한계였기 때문이다. 그러다 2012년, 토론토 대학교의 알렉스 크리제프스키, 일리야 수츠케버, 제프리 힌턴이 곧 누구나 알렉스넷이라 부르게 될 여덟 층짜리 합성곱 신경망을, 사진을 천 개의 범주로 분류하는 대회인 이미지넷 대규모 시각 인식 챌린지에 출전시켰다. 알렉스넷은 그저 우승한 것이 아니라, 경쟁하던 모든 방법을 무색하게 만들 만큼 큰 격차로 우승했다. 대략 1년 안에 컴퓨터 비전 분야 전체는 손으로 일일이 설계하던 옛 기법을 버리고 딥러닝으로 방향을 틀었다. 계보는 끊기지 않았다. 알렉스넷의 층층이 쌓인 특징 검출기들은 1958년 그 고양이의 단순세포와 복합세포의 증손자였으며, 규모를 키워 백만 장의 이미지로 훈련받은 것이었다.

또 하나의 전통: 홉필드, 에너지, 그리고 기억

합성곱의 계보는 이야기의 절반에 지나지 않으며, 2024년 노벨상은 나머지 절반에도 영예를 안겼다. 1982년, 물리학자 존 홉필드는 Proceedings of the National Academy of Sciences에 "신경망과 창발적 집단 연산 능력을 지닌 물리계"라는 제목의 논문을 발표했다. 홉필드는 생물학보다는 통계물리학에서 신경망에 접근했고, 지금 홉필드 신경망이라 불리는 것을 도입했다. 이는 연결들이 에너지 지형을 정의하는 순환 모델이다. 신경망에 손상되거나 부분적인 패턴을 제시하면, 그 동역학은 공이 골짜기로 가라앉듯 비탈을 굴러 내려가, 저장된 기억에 도달한다. 이것은 연상 기억의 수학적 이론, 곧 단편으로부터 전체를 되살리는 능력에 관한 이론이었다. 한 토막의 선율이 노래 전체를 끌어낼 수 있는 것처럼 말이다.

홉필드의 에너지 기반 틀은 하나의 연구 프로그램을 싹틔웠고, 제프리 힌턴은 비슷한 물리 원리 위에 세워진 확률적 신경망인 볼츠만 머신을 통해, 그리고 2000년대 중반 여러 층으로 된 구조에 대한 관심을 다시 불붙이는 데 도움을 준 심층 신뢰망을 통해 그것을 확장했다. 이 전통의 도달 범위는 놀랍도록 넓어졌다. 2017년 구글의 아시시 바스와니와 동료들이 "Attention Is All You Need"라는 논문에서 발표했고 지금 거대 언어 모델 안의 엔진이 된 구조인 트랜스포머는, 비록 그것의 자기 주의 메커니즘이 순환이 아니라 순방향 설계이긴 하지만, 학습된 연상과 창발적 집단 연산이라는 바로 이 세계에서 내려온다. 홉필드는 기억의 물리학을 제공했고 힌턴은 학습 장치를 제공했으며, 둘은 함께 이 분야의 두 거대한 계보를 빚어냈다.

2024년 10월 8일: 물리학이 신경망을 차지하다

2024년 10월 8일, 스웨덴 왕립과학원은 "인공 신경망으로 기계 학습을 가능하게 한 기초적 발견과 발명"의 공로로 프린스턴 대학교 명예교수 존 J. 홉필드와, 토론토 대학교 소속이자 전에는 구글에 몸담았던 제프리 E. 힌턴에게 노벨 물리학상을 공동 수여했다. 기계 학습 이면의 과학에 물리학상을 준 것은 많은 관찰자를 놀라게 했지만, 그 선택은 내부적으로 일관되었다. 홉필드의 기여는 물리계의 통계역학에 뿌리를 두었으며, 그가 연 에너지 기반 전통은 힌턴의 볼츠만 머신, 그가 옹호한 역전파, 그의 심층 신뢰망을 거쳐 이제 일상을 다시 빚어내는 기술에 이르기까지 깔끔한 호를 그리며 이어지기 때문이다. 이 상은 뇌와 물리학에서 빌려 온 추상이 이 학문이 줄 수 있는 최고의 영예에 값하는 지적 성취가 되었음을 학계가 인정한 것이었다.

기계가 뇌를 예측하기 시작했을 때

여기까지 영향은 한 방향으로, 신경과학에서 공학으로 흘렀다. 그러나 지난 10년의 가장 인상적인 전개 가운데 하나는 영향이 거꾸로 흐르는 것, 곧 인공 신경망이 자신에게 영감을 준 그 뇌를 이해하는 도구로 바뀌는 것이다. 2014년, MIT의 대니얼 야민스와 제임스 디카를로는 30년 전 홉필드의 연구를 실었던 바로 그 학술지에 한 연구를 발표했다. 그들은 깊은 합성곱 신경망을 물체 인식에 대해 훈련시킨 다음, 훈련된 그 신경망 내부의 활성화를, 물체가 인식되는 고차 시각 영역인 짧은꼬리원숭이의 하측두피질에서 얻은 실제 단일 뉴런 기록과 비교했다. 그 신경망은 이전의 어떤 모델보다도 실제 신경 발화율을 더 잘 예측했으며, 시사적이게도, 가장 깊고 범주화와 가장 관련 깊은 층들이 고차 시각 뉴런과 가장 잘 들어맞았다. 뇌를 모방하려고 만든 시스템이 한 바퀴 돌아와 그 뇌의 가장 좋은 모델이 된 것이다.

이와 평행한 수렴은 보상의 연구에서 나타났다. 1997년, 볼프람 슐츠, 피터 데이언, 리드 몬터규는 Science에 논문을 발표해, 중뇌의, 곧 배쪽 피개 영역과 흑질 치밀부의 도파민 뉴런이 단순히 쾌락을 알리는 것이 아니라 보상 예측 오차, 곧 동물이 기대한 보상과 실제로 받은 보상 사이의 간극을 부호화한다는 것을 보였다. 그 생물학적 신호는 리처드 서튼과 앤드루 바토가 발전시킨 강화 학습 이론의 핵심에 있는 시간차 학습 신호와 놀랍도록 닮은 것으로 드러났다. 기계가 시행착오로부터 학습하게 만들려고 컴퓨터 과학자들이 발명한 개념이, 거의 한 줄 한 줄, 뇌의 화학 작용 속에 새겨진 채로 발견된 것이다. 같은 원리들은 훗날 딥마인드의 심층 강화 학습 시스템에, 2013년 아타리를 플레이하는 DQN에서부터 2016년 알파고와 2017년 알파제로에 이르기까지 동력을 제공했다.

유용한 경고: 신경망은 뉴런이 아니다

이 모든 공명에도 불구하고, 오늘날의 인공 신경망이 생물학적 뇌의 현실적인 모델이라고 결론짓는 것은 중대한 오류일 것이며, 이것이야말로 이 모든 논의에서 아마 가장 영향이 큰 오해다. 실제 뉴런은 인공 단위의 매끄럽고 연속적인 활성화가 아니라, 불연속적인 전기적 스파이크로 소통한다. 생물학적 학습은 경사 역전파를 사용하는 것으로 보이지 않으며, 뇌가 실제로 어떻게 시냅스를 조정하는지는 여전히 열린 물음이다. 단일 뉴런의 가지돌기는 전형적인 인공 단위가 계산하는 단순한 가중합보다 훨씬 풍부한 연산을 수행한다. 그리고 그 규모는 겸허하게 만든다. 인간의 피질은 86억 개 정도의 뉴런을 약 100조 개의 시냅스로 연결해 담고 있으며, 이는 현재의 어떤 인공 신경망도 재현하지 못하는 세포 기제 속에 박혀 있다. 그 빌림은 영감이었지 복제가 아니었으며, 정직한 입장은 뇌와 그것이 싹틔운 기계가 사촌지간이라는 것, 곧 허블과 비셀의 위계에서 공통 조상을 나누면서도 그들의 생물학에서는 깊이 다르다는 것이다.

이곳은 또한 신경과학과 공학이 새로운 하드웨어를 향해 가장 직접적으로 수렴하는 지점이기도 하다. 때로 뉴로모픽 또는 뇌에서 영감을 받은 컴퓨팅이라 불리는 분야는, 신경 동역학을 종래의 그래픽 처리장치에서 흉내 내는 대신, 칩 자체에서 그것을 모방하는 실리콘을 만든다. 선도적인 노력으로는 인텔의 로이히, IBM의 트루노스, 스탠퍼드의 콰베나 보아헨이 만든 뉴로그리드 시스템, 그리고 맨체스터 대학교의 스티브 퍼버 아래에서 만들어진 스파이킹 신경망 기계 스피네이커가 있다. 각각은 매우 높은 에너지 효율로 실리콘에서 스파이킹 신경망을 구동한다. 아직 어느 것도 GPU 기반 딥러닝을 밀어내지는 못했지만, 그것들은 뇌의 설계 원리와 실용적인 AI 하드웨어가 가장 직접적으로 만나는 최전선을 표시한다.

핵심 요점

뇌가 어떻게 AI에 영감을 주었는지에 관한 이야기는 추적 가능한 하나의 계보로, 1958년 끼어 버린 프로젝터 슬라이드에서 시작된다. 그때 허블과 비셀은 시각피질 뉴런이 층층이 쌓인 특징 검출기, 곧 위치에 관대한 복합세포로 입력을 보내는 단순세포라는 것을 발견했고, 이 구조를 후쿠시마가 1980년 네오코그니트론으로 구현했으며, 르쿤이 1989년 합성곱 신경망으로 훈련 가능하게 만들었고, 2012년 알렉스넷이 이미지넷에서 우승하면서 현대로 폭발했다. 물리학에서 태어난 두 번째 전통은 홉필드의 1982년 연상 기억에 관한 에너지 기반 모델에서 힌턴의 볼츠만 머신과 심층 신뢰망을 거쳐 오늘날 언어 모델 이면의 트랜스포머로 이어지며, 이 두 계보가 함께 홉필드와 힌턴에게 2024년 노벨 물리학상을 안겨 주었다. 이제 영향은 양방향으로 흐른다. 깊은 신경망이 짧은꼬리원숭이 하측두피질의 실제 발화를 예측하고, 슐츠, 데이언, 몬터규가 발견한 도파민 보상 예측 오차가 강화 학습 이론을 거의 정확하게 거울처럼 비추기 때문이다. 그렇지만 그 닮음에는 확고한 한계가 있는데, 실제 뉴런은 스파이크를 일으키고, 역전파 없이 학습하며, 자신의 가지돌기에서 연산하고, 어떤 인공 신경망도 재현하지 못하는 회로 속에 86억 개라는 수로 빽빽이 들어차 있기 때문이다. 그래서 뇌와 AI를 가장 정확하게 묘사하는 말은 동일성이 아니라 깊고 생산적인 가족 닮음이다.