엔지니어링 철학: 제프리 힌턴, 유행보다 확신

핵심 요약

• 유행보다 확신. 힌턴은 자신의 경력 전부를 연결주의(connectionism), 즉 뇌를 닮은 신경망이 데이터로부터 학습한다는 생각에 걸었습니다. 기호주의 AI가 정설이었고 신경망은 막다른 길로 치부되던 두 번의 AI 겨울을 그렇게 견뎠습니다. 그가 옳았던 이유는 학계를 따라가기를 거부했기 때문입니다.
• 뇌가 곧 존재 증명입니다. 그의 논거는 결코 정리(theorem)가 아니었습니다. 생물학적이었습니다. 단순한 단위들이 모인 신경망이 지능을 학습한다는 것은 자명한데, 지금 이 문장을 읽고 있는 존재가 바로 그런 신경망이기 때문입니다. 형식이 아직 존재하지 않던 곳에서, 직관과 개연성이 그를 데려다주었습니다.
• 그는 공로 귀속에 정직합니다. 1986년 역전파(backpropagation) 논문은 이 아이디어를 실용적이고 유명하게 만들었지만, 힌턴은 공저자일 뿐 핵심 아이디어는 David Rumelhart의 것이라고 인정합니다. 그 바탕이 된 수학은 두 사람보다도 앞섭니다. 그는 역전파를 대중화했지, 혼자 발명한 것이 아닙니다.
• 그 베팅은 결실을 맺었고, 이후 그를 두렵게 했습니다. AlexNet(2012)이 겨울을 끝냈고, 튜링상(2018)과 노벨 물리학상(2024)이 뒤따랐습니다. 그리고 2023년, 그는 자신이 옳았던 바로 그것이 위험할 수 있다고 경고하기 위해 Google을 떠났습니다.

원칙

“나는 평범한 변명으로 스스로를 위로한다. 내가 하지 않았다면 다른 누군가가 했을 것이라고.” – 제프리 힌턴, 자신의 필생의 작업에 관하여, 2023¹

이 말은 후회에 관한 것이지만, 그 경력 전체를 떠받치는 원칙을 드러냅니다. 힌턴은 그 결과가 필연이라고 믿었습니다. 뇌를 닮은 학습 기계는 여러 선택지 중 하나가 아니라 지능이 실제로 만들어지는 방식 그 자체이며, 누군가는 반드시 그것을 증명해 내리라고 믿었습니다. 그러나 40년 가까운 세월 동안 그에게 동의하는 사람은 거의 없었습니다. 학계는 지능이 컴파일러를 설계하듯 만들어질 것이라고 결론지었습니다. 명시적인 기호, 손으로 작성한 규칙, 바닥까지 논리로 채워진 방식 말입니다. 단순한 단위들이 느슨하게 얽혀 연결 강도를 조정하며 학습하는 신경망은 신뢰를 잃은 1960년대의 호기심거리로 취급되었습니다. 자금은 말라붙었습니다. 그것도 두 번.

힌턴은 그래도 정설에 맞서 베팅했고, 그 이유 또한 유행에 어긋났습니다. 그는 수학보다 생물학을 신뢰했습니다. 그의 논거는 결코 깔끔한 정리가 아니었습니다. 그것은 지금 이 순간 당신 안에서 돌아가고 있는 존재 증명이었습니다. 뇌는 느리고, 잡음 많고, 단순한 단위들의 신경망이며, 누구도 규칙을 적어주지 않았는데도 보고, 말하고, 추론하는 법을 학습합니다. 그러므로 충분히 큰 인공 단위 신경망을 충분한 데이터로 훈련하면 같은 일을 해낼 수 있어야 합니다. 수학이 그것을 보장해서가 아니라, 우리가 가진 유일한 지능의 작동 사례가 정확히 그런 방식으로 만들어졌기 때문입니다. 이것이 바로 유행보다 확신입니다. 형식도 자금도 아직 당신 편이 아닐 때, 생물학을 믿기에 두 번의 겨울을 관통하며 자기 입장을 지키는 것입니다.

이것이 요구하는 절제는 드물고 또 불편합니다. 수십 년 동안 틀린 사람처럼 보이는 것을 견뎌야 한다는 뜻입니다. 핵심을 빗나갔다고 의심되는 무언가의 증명보다, 아직 증명하지 못한 직관을 더 선호해야 한다는 뜻입니다. 그리고 그 베팅이 마침내 결실을 맺을 때, 유행에 어긋났던 그 접근법이 결국 판 전체였음이 드러날 때, 가장 어려운 말을 할 자격을 얻게 된다는 뜻입니다. 힌턴이 2023년에 그렇게 했습니다. 자신이 너무 옳았는지도 모르며, 자신이 싸워 지켜낸 그것을 이제는 두려워해야 할지도 모른다는 말이었습니다.

배경

제프리 에버레스트 힌턴(Geoffrey Everest Hinton)은 1947년 12월 6일 런던에서 태어났습니다.² 그 이름들은 우연이 아닙니다. 그는 불 대수(Boolean algebra)로 모든 디지털 회로의 기초를 놓은 논리학자 George Boole와, 수학 교육자였던 Mary Everest Boole의 고손자입니다. “에버레스트”는 그 산에 이름을 준 바로 그 가문입니다.² 기호 논리를 창시한 사람의 후손이, 지능은 기호 논리가 아니라고 평생 주장한 셈입니다. 그 아이러니는 정확하며, 그 자신도 이를 언급한 바 있습니다.

그는 1970년 케임브리지 King’s College에서 실험심리학 학사 학위를 받았습니다. 컴퓨터 과학이 아니라 심리학이라는 점이 중요합니다. 그는 마음이 실제로 어떻게 작동하는지에 관한 연구를 통해 기계에 다다랐습니다.² 이후 에든버러 대학교에서 인공지능 박사 과정을 밟아 1978년에 마쳤고, 지도교수는 Christopher Longuet-Higgins였습니다.² 이것부터가 이미 조용한 반항이었습니다. Longuet-Higgins 본인은 신경망 아이디어에서 멀어져 당시 떠오르던 정설인 기호주의 AI 쪽으로 옮겨간 상태였지만, 힌턴은 연결주의 쪽에 자리를 잡고 그곳에 머물렀습니다.

뒤따른 것은 AI 겨울이었습니다. 1970년대, 그리고 다시 1980년대 후반과 1990년대에 걸쳐, 신경망이 실패한 프로그램으로 여겨지고 자금이 증발하며 진지한 연구자들은 다른 일을 하라는 조언을 듣던 시기였습니다. 힌턴은 그 모든 시기를 관통하며 연결주의의 깃발을 들고 나아갔습니다. 카네기 멜런을 거쳐 1987년부터는 토론토 대학교로 옮겼고, 그곳이 그의 오랜 보금자리가 되었습니다.² 그는 유행이 지나가기를 기다린 것이 아니었습니다. 그 유행이 틀렸다는 데 걸고 있었습니다.

작업

역전파와 표현 학습 (1986)

힌턴과 가장 많이 연관되는 단 하나의 논문은 1986년 Nature에 David Rumelhart, Ronald Williams와 함께 발표한 “Learning representations by back-propagating errors”입니다.³ 이 논문이 다룬 문제는 이 분야 전체의 중심 문제입니다. 은닉층을 가진 신경망은 원칙적으로 풍부한 구조를 표현할 수 있지만, 그것을 어떻게 훈련할 것인가, 즉 출력에서 발생한 오차를 두고 신경망 깊숙이 자리한 내부 연결 각각이 얼마나 책임이 있는지를 어떻게 판단할 것인가 하는 문제입니다. 역전파는 오차 신호를 층을 거꾸로 거슬러 보내, 미적분의 연쇄 법칙(chain rule)을 이용해 각 가중치에 그 몫의 책임을 배분하고, 모든 가중치를 오차가 줄어드는 방향으로 살짝 조정함으로써 이 문제에 답합니다. 이 논문의 더 깊은 주장은 그 제목에 담겨 있습니다. 이렇게 훈련된 신경망은 유용한 내부 표현(representation)을 스스로 학습한다는 것, 즉 아무도 찾으라고 일러주지 않은 특징을 스스로 발견한다는 것입니다.

여기서 공로 귀속에 관한 정직함이 중요합니다. 대중적인 이야기가 힌턴에게 공로를 지나치게 몰아주기 때문입니다. 그는 역전파를 발명하지 않았습니다. 그 바탕이 된 수학적 엔진인 역방향 자동 미분(reverse-mode automatic differentiation)은 1970년 Seppo Linnainmaa가 기술했고, Paul Werbos는 1974년 박사 학위 논문에서 이를 신경망 훈련에 사용하자고 제안했습니다.⁴ 1986년 논문이 한 일은 그 아이디어가 제대로 안착하게 만든 것입니다. 역전파가 다층 신경망으로 하여금 내부 표현을 학습하게 한다는 점을 명확히 보여주었고, 회의적이던 연구 공동체에게 심층 신경망 훈련이 실제로 실용적임을 납득시켰습니다.⁴ 힌턴 자신은 이 점에 철저합니다. 2018년 한 인터뷰에서 그는 분명하게 말했습니다. “David Rumelhart가 역전파의 기본 아이디어를 떠올렸으니, 그건 그의 발명입니다.”⁴ 정확한 표현은 힌턴이 역전파를 공동 개발하고 대중화했다는 것입니다. 혼자 발명한 것이 아닙니다. 학계가 기꺼이 그에게 단독 공로를 넘겨주려는 상황에서도 그가 이 점을 고집한다는 사실은, 이 시리즈 전체를 관통하는 바로 그 정직함입니다. 당신이 그저 주장하는 분위기로서의 취향과, 실제로 변호할 수 있는 기술 시스템으로서의 취향 사이의 차이 말입니다.

볼츠만 머신과 에너지 기반 아이디어

역전파 이전에, 그리고 그것과 나란히, 힌턴은 다르고 더 기이한 아이디어를 쫓고 있었습니다. 통계물리학의 수학을 빌려 학습 기계를 만들 수 있다는 생각이었습니다. 그는 1983~1985년 무렵 Terry Sejnowski, David Ackley와 함께 볼츠만 머신(Boltzmann machine)을 개발했습니다.⁵ 그 계보는 John Hopfield로 곧장 이어집니다. Hopfield는 1982년에 단순한 단위들의 신경망이 기억을 어떤 풍경(landscape) 속 저에너지 상태로 저장할 수 있음을 보였습니다. 언덕과 골짜기로 이루어진 표면을 떠올려 보세요. 저장된 각 패턴이 하나의 골짜기입니다. 신경망에 어떤 패턴의 손상되거나 일부만 남은 버전을 보여주면, 신경망은 “비탈을 따라 굴러 내려갑니다.” 전체 에너지를 낮추도록 단위들을 뒤집으며, 가장 가까운 골짜기에 안착해 완전한 기억을 복원할 때까지 말입니다. 물리학으로서의 기억입니다. 주소도 없고 탐색도 없이 떠올리는 것입니다.⁶

볼츠만 머신은 Hopfield의 에너지 풍경을 가져와 그것을 생성적(generative)이고 확률적(stochastic)으로 만들었습니다. 단지 저장된 상태로 안착하는 데 그치지 않고, 데이터 한 부류 전체의 통계적 구조를 학습한 뒤 그것의 새로운 사례를 생성할 수 있습니다.⁶ 이것이 바로 2024년 노벨 위원회가 짚어낸 작업입니다. 힌턴은 “Hopfield 신경망을 토대로, 다른 방법을 사용하는 새로운 신경망인 볼츠만 머신을 만들었으며,” 이 신경망은 “주어진 유형의 데이터에서 특징적인 요소를 인식하는 법을 학습할 수 있다”고 위원회는 밝혔습니다.⁷ 아래의 위젯은 그 아이디어의 Hopfield식 핵심으로, 두 사람이 끝내 함께 영예를 안은 연상 기억(associative-memory) 풍경입니다.

이것이 힌턴의 원칙을 가장 순수하게 드러낸 표현입니다. 1985년에 에너지 기반 확률 신경망이 기계 지능으로 가는 길이라고 증명할 수 있는 사람은 아무도 없었습니다. 그 정당성은 그것이 물리계가, 그리고 개연성 있게도 뇌가 안정 상태로 안착하는 방식을 닮았다는 데 있었습니다. 그는 보장이 아니라 물리학과 생물학을 따랐습니다.

심층 신뢰망에서 AlexNet으로: 돌파구 (2012)

이 베팅은 두 순간이 저울을 기울이기 전까지는 인기가 없었습니다. 첫 순간은 2006년이었습니다. 힌턴과 공동 연구자들은 심층 신뢰망(deep belief networks)을 한 층씩 훈련하는 방법을 보였는데, 이는 그때껏 누구도 해내지 못한 깊이의 신경망을 훈련하는 실용적 비결이었고, 흔히 “딥러닝(deep learning)”이라는 용어를 되살린 불씨로 꼽힙니다. 두 번째 순간은 모두가 기억하는 그것입니다.

2012년, 힌턴의 대학원생 Alex Krizhevsky와 Ilya Sutskever는 심층 합성곱 신경망인 AlexNet을 만들어, 이 분야에서 가장 어려운 이미지 분류 벤치마크인 ImageNet 대규모 시각 인식 챌린지(ImageNet Large Scale Visual Recognition Challenge)에 출전시켰습니다.⁸ 근소한 차이로 이긴 것이 아닙니다. AlexNet은 상위 5개 오류율 15.3%를 기록하며 2위를 10퍼센트포인트 넘게 앞섰는데, 전년도 성과가 1퍼센트의 소수점 단위로 측정되던 대회에서였습니다.⁸ 훗날 ACM은 힌턴과 그의 학생들이 “객체 인식의 오류율을 거의 절반으로 줄이고 컴퓨터 비전 분야를 재편했다”고 표현했습니다.⁹ 겨울은 어느 오후에 끝났습니다. 몇 달 만에 세 사람은 DNNresearch라는 회사를 세웠고, 2013년 Google이 이를 인수하며 AlexNet 코드까지 함께 가져갔습니다. 그 과정에서 힌턴은 Google Brain에 합류해 2023년까지 그곳에 머물렀습니다.² 그가 믿는다는 이유로 조롱받던 그것이, 돌연 업계 전체가 만들고 싶어 하는 유일한 것이 되었습니다.

Google을 떠나며, 위험으로의 전환 – 그리고 영예

2023년 5월, 힌턴은 Google을 떠났습니다. 분쟁 때문도, 경쟁사로 옮기기 위해서도 아니었습니다. New York Times에 밝혔듯, 자신의 발언이 고용주에게 영향을 미치지 않도록 하면서 “AI의 위험성에 대해 자유롭게 목소리를 낼” 수 있기 위해서였습니다.¹ 이 기계들이 지능을 갖출 수 있다고 반세기를 고집해 온 사람이, 그것들이 예상보다 빠르게 지능을 갖춰가고 있으며 그 결과들, 즉 허위 정보, 자율 시스템, “악의적 행위자”를 막기 어렵다는 점이 진정으로 위험하다는 결론에 이른 것입니다. 한 분야의 창시자가, 정당성을 입증받는 정점에서, 그 정당성을 현금화하는 대신 그것을 경계하는 쪽으로 돌아선 드문 사례입니다.¹⁰

그 정당성은 공식적입니다. 2019년 ACM은 “딥러닝의 대부들”인 힌턴, Yoshua Bengio, Yann LeCun에게 컴퓨팅 최고의 영예인 2018년 A.M. 튜링상을 수여했습니다. “심층 신경망을 컴퓨팅의 핵심 구성 요소로 만든 개념적·공학적 돌파구에 대하여”라는 이유였습니다.⁹ 그리고 2024년, 힌턴은 “인공 신경망을 통한 기계 학습을 가능하게 한 기초적 발견과 발명에 대하여” John Hopfield와 노벨 물리학상을 공동 수상했습니다. 볼츠만 머신의 통계역학적 뿌리에 수여된 물리학상이, 심리학 학위를 가진 사람에게 돌아간 것입니다.⁷ 튜링상과 노벨상을 같은 사람이 함께 받는 일은 흔치 않습니다. 힌턴은 둘 다 가지고 있습니다. 유행에 어긋났던 단 하나의 베팅으로 말입니다.

방법론

그 방법론은 50년에 걸쳐 일관됩니다. 편안한 정도를 넘어설 만큼 오래 확신을 붙들 것, 증명이 아니라 뇌로 그것을 정당화할 것, 그리고 무엇이 자신의 것인지에 대해 정직할 것.

정설이 아니라 생물학에 걸어라. 학계는 지능이 기호적이라고 말했습니다. 힌턴은 지능이 학습되고, 분산되어 있으며, 뇌를 닮았다고 말했습니다. 그리고 자금도 유행도 그가 틀렸다고 말하던 두 번의 겨울 동안 그 입장을 지켰습니다. 확신은 그것을 지키는 데 대가가 따를 때에만 가치가 있습니다.²

존재 증명을 활용하라. 수학이 아직 그곳에 없을 때는, 당신이 가진 단 하나의 작동하는 시스템에서 추론하세요. 뇌는 손으로 쓴 규칙 없이 학습하므로, 충분히 큰 신경망을 충분한 데이터로 훈련하면 마찬가지로 학습해야 합니다. 형식에 앞서 개연성을. 증명은 나중에 와도 됩니다.⁷

논리가 멈추면 물리학에서 빌려라. 에너지 풍경, 확률적 안착, 통계역학 – 힌턴은 필요한 도구가 AI 안에 존재하지 않았기에 볼츠만 머신을 위해 분야의 경계를 넘어 손을 뻗었습니다. 노벨상은, 문자 그대로, 그 약탈에 보답한 물리학이었습니다.⁶⁷

신경망만이 아니라 사람을 훈련하라. AlexNet은 그의 학생들이 만들었습니다. Sutskever는 이후 OpenAI로 갔습니다. 2012년의 결과는 힌턴이 이끈 연구실과 떼어 놓을 수 없습니다. 작업은 논문 못지않게 사람을 통해 전파됩니다.⁸

자신의 것만 주장하라. 그는 역전파를 대중화했고 그렇게 말합니다. 그러면서 아이디어는 Rumelhart의 공으로 돌리고, 두 사람보다 앞선 수학을 인정합니다. 건네받을 공로를 거절하려는 의지는 장인의 솜씨에서 따로 떨어진 것이 아니라 그 일부입니다.⁴

자신의 결과를 기꺼이 두려워하라. 마지막 행보, 즉 자신이 옳았던 그것의 위험을 경고하기 위해 Google을 떠난 일은, 방법론이 자기 자신을 향해 돌아선 것입니다. 그것이 당신의 필생의 작업을 고발할 때조차 증거를 따르는 것입니다.¹¹⁰

영향의 사슬

그를 빚은 사람들

George Boole와 Mary Everest Boole. 문자 그대로 그의 혈통이자, 유용한 대조 거리입니다. 기호 논리를 창시한 가문이 지능은 기호적이지 않다고 주장한 사람을 배출했습니다. 그 혈통은 그에게 수학적 진지함과 동시에 반항할 대상을 모두 주었습니다. (형성적 영향)

Donald Hebb과 학습의 신경과학. 학습이란 단순한 단위들 사이 연결 강도의 조정이라는 힌턴의 전체 입장은, “함께 발화하는 세포는 함께 연결된다”는 헤브식 사고에서 내려옵니다. 그는 실험심리학을 거쳐 왔고, 뇌는 언제나 그 모델이었습니다. (형성적 영향)

John Hopfield와 통계물리학. Hopfield의 1982년 에너지 기반 신경망은 힌턴이 볼츠만 머신을 쌓아 올린 직접적인 토대였습니다. 두 사람은 42년 뒤 그 공로로 노벨상을 함께 받게 됩니다. (직접적 영향)

그가 빚은 사람들

Ilya Sutskever와 Alex Krizhevsky. 그의 학생들이 AlexNet을 만들었고, 그중 한 명은 이후 OpenAI를 공동 창업했습니다. AI 겨울을 끝낸 2012년의 돌파구는 힌턴의 연구실에서, 그의 학생들 손으로 나왔습니다.

Yoshua Bengio와 Yann LeCun. 그의 공동 수상자이자 동료 “대부들”입니다. 신경망을 함께 살려낸 뒤 함께 튜링상을 받아든, 작고 고집스러운 공동체였습니다.

사실상 모든 현대 AI 시스템. 역전파는 오늘날 돌아가는 거의 모든 신경망을 훈련합니다. 그가 되살린 “딥러닝”은 대규모 언어 모델, 이미지 생성기, 그리고 지금 제가 그 위에서 만드는 에이전트 스택의 기반입니다.

관통하는 줄기

힌턴은 이 시리즈에서 딥러닝 갈래의 뿌리이며, 가장 또렷한 선은 안드레이 카파시로 이어집니다. 카파시의 “Software 2.0” 재구성 전체, 즉 신경망이란 손으로 작성한 것이 아니라 데이터로부터 컴파일된 프로그램이라는 생각은, 힌턴의 베팅이 이미 결실을 맺은 세계에서만 의미가 통합니다. 카파시는 학부생 시절 토론토에서 힌턴의 수업을 청강하기까지 하며, 그 복음이 정설이 되기 전에 그것을 흡수했습니다. 카파시가 스택을 신뢰하기 위해 모든 층을 바닥부터 직접 만들어야 한다고 고집한다면, 힌턴은 그 층 자체를 제공했습니다. 역전파는 카파시가 이해하기 위해 손으로 구현하는 바로 그것입니다. 이 축의 반대쪽 끝에는 존 카맥이 있습니다. 그래픽스 분야에서 경력을 쌓은 뒤 공학의 관점에서 AGI 연구로 돌아선 인물로, 힌턴이 생물학과 물리학에서 다다른 바로 그 목적지로 시스템과 성능의 접근법을 통해 향한 사람입니다. 하나의 산으로 가는 두 갈래 길입니다. 힌턴은 뇌를 신뢰했고, 카맥은 기계를 신뢰합니다. (시리즈 교량)

내가 여기서 얻는 것

내가 간직하는 교훈은, 일찍 옳은 것은 아주 오랫동안 틀린 것과 똑같아 보인다는 점입니다. 힌턴은 학계 전체가 폐기 처분한 입장을 붙들고 두 번의 겨울을 보냈고, 그의 확신을 단순한 고집과 갈라놓은 단 하나는 그것이 존재 증명에 닻을 내리고 있었다는 사실입니다. 뇌가 이런 방식으로 작동하므로 이것도 작동할 수 있다는 것 말입니다. 내가 붙들려 애쓰는 구분이 바로 이것입니다. 닻 없는 확신은 자아(ego)이지만, 가리켜 보일 수 있는 증거에 닻을 내린 확신, 유행이 당신을 바보라 부르는 세월을 견뎌낸 확신이야말로 실제 돌파구가 일어나는 방식입니다. 내가 품질을 유일한 변수로 여기고 출시를 향한 만연한 압력에 맞바꿀 대상으로 여기지 않는 것도 같은 이유입니다. 방 안의 사람들이 동의하지 않는다고 해서 기준이 움직이지는 않습니다.

더 어려운 교훈은 2023년의 전환입니다. 힌턴은 이겼습니다. 튜링상, 노벨상, 그의 베팅 위에 세워진 업계 전체를 얻었습니다. 그러고는 그 자격을 써서, 아무도 그에게 바라지 않던 말을 했습니다. 자신이 너무 옳았는지도 모르며, 그 결과가 위험할 수 있다는 말이었습니다. 이제 누구도 읽어낼 수 있는 속도보다 빠르게 코드를 작성하는 에이전트들의 시대에, 이것이 내가 가장 절실하다고 느끼는 본보기입니다. 증거를 따라 어떤 결과에 다다르는 것만으로는 충분하지 않습니다. 그 결과를 지나서까지 증거를 계속 따라가야 합니다. 그것이 당신이 가장 자랑스러워하는 작업을 고발할 때조차 말입니다. 그것이 바로 증거 관문을 당신 자신의 유산에 적용하는 일입니다. 데이터가 돌아설 때 자신의 결론을 기꺼이 두려워하려는 의지 말입니다. 생물학은 밝은 면을 위한 존재 증명이었습니다. 힌턴은 이제 우리가 어두운 면 또한 그만큼 정직하게 바라보아야 한다고 고집하고 있습니다.

자주 묻는 질문

제프리 힌턴의 엔지니어링 철학은 무엇인가요?

유행보다 확신입니다. 힌턴은 연결주의, 즉 단순한 단위들이 모인 뇌를 닮은 신경망 속 학습으로서의 지능에 자신의 경력을 걸었고, 기호주의 AI가 정설이고 신경망이 치부되던 두 번의 AI 겨울 동안 그 입장을 지켰습니다.² 그의 정당화는 수학적이기보다 생물학적이었습니다. 뇌는 손으로 쓴 규칙 없이 학습하는 단순한 단위들의 신경망이므로, 충분히 큰 인공 신경망을 충분한 데이터로 훈련하면 마찬가지로 학습할 수 있어야 한다는 것입니다.⁷ 그는 그 존재 증명을 우세한 형식과 우세한 자금보다 신뢰했고, 끝내 2012년 AlexNet으로 정당성을 입증받았습니다.⁸

제프리 힌턴이 역전파를 발명했나요?

아닙니다 – 그는 그것을 공동 개발하고 대중화했으며, 이는 중요한 구분입니다. 널리 인용되는 1986년 Nature 논문 “Learning representations by back-propagating errors”는 David Rumelhart, 힌턴, Ronald Williams가 함께 썼고, 다층 신경망을 역전파로 훈련하는 것이 실용적임을 연구 공동체에 납득시켰습니다.³ 그러나 그 바탕이 된 수학은 그들보다 앞섭니다. Seppo Linnainmaa는 1970년에 역방향 자동 미분을 기술했고, Paul Werbos는 1974년 논문에서 그것을 신경망에 적용하자고 제안했습니다.⁴ 힌턴 자신도 핵심 아이디어를 Rumelhart의 공으로 돌리며 이렇게 말합니다. “David Rumelhart가 역전파의 기본 아이디어를 떠올렸으니, 그건 그의 발명입니다.”⁴

제프리 힌턴은 왜 튜링상과 노벨상을 모두 받았나요?

그는 Yoshua Bengio, Yann LeCun과 공동으로 2018년 ACM A.M. 튜링상(2019년 발표)을 받았습니다. “심층 신경망을 컴퓨팅의 핵심 구성 요소로 만든 개념적·공학적 돌파구에 대하여”라는 이유였습니다.⁹ 이후 그는 John Hopfield와 함께 “인공 신경망을 통한 기계 학습을 가능하게 한 기초적 발견과 발명에 대하여” 2024년 노벨 물리학상을 공동 수상했습니다.⁷ 노벨상은 특히 Hopfield의 에너지 기반 신경망 위에 세워진 그의 볼츠만 머신이 가진 통계물리학적 뿌리를 인정한 것입니다.⁷ 단 하나의 작업 줄기로 컴퓨팅과 물리학 양쪽의 최고 영예를 모두 보유하는 일은 대단히 드뭅니다.

제프리 힌턴은 왜 2023년에 Google을 떠났나요?

그는 자신의 발언이 고용주에게 영향을 미치지 않으면서 AI의 위험성에 대해 자유롭게 말하기 위해 2023년 5월에 떠났고, New York Times에 “AI의 위험성에 대해 자유롭게 목소리를 내고” 싶다고 밝혔습니다.¹ 이 시스템들이 지능을 갖출 수 있다고 평생 주장한 끝에, 그는 그것들이 예상보다 빠르게 발전하고 있으며 실재하는 위험, 즉 허위 정보, 자율 시스템, 악의적 행위자라는 위험을 안고 있다고 결론지었습니다. 그는 자신의 양가감정을 이런 말로 요약했습니다. “나는 평범한 변명으로 스스로를 위로한다. 내가 하지 않았다면 다른 누군가가 했을 것이라고.”¹¹⁰

출처