エンジニアリング哲学：ジェフリー・ヒントン、流行より信念

要点

• 流行より信念。 ヒントンはコネクショニズム——脳に似たネットワークの中でデータから学習するという考え方——に自身のキャリア全体を賭けました。記号主義AIが定説で、ニューラルネットは行き止まりと切り捨てられていた2度のAIの冬を通じてです。彼が正しかったのは、学界に追従することを拒んだからにほかなりません。
• 脳こそが存在証明である。 彼の主張は定理ではありませんでした。それは生物学的なものでした。単純なユニットからなるネットワークが知能を学習できるのは明白だ、なぜなら今まさに一つの脳がこの文を読んでいるのだから、と。直観ともっともらしさが、まだ存在しない形式論の代わりに彼を支えたのです。
• 彼は功績の帰属について誠実である。 1986年のバックプロパゲーションの論文はこの考え方を実用的かつ有名にしましたが、ヒントンは共著者であり、中核となるアイデアはDavid Rumelhartのものだと認めています。その基礎にある数学は両者よりさらに古いのです。彼はバックプロパゲーションを世に広めた——単独で発明したわけではありません。
• 賭けは報われ、そして彼を恐れさせた。 AlexNet（2012年）が冬を終わらせ、チューリング賞（2018年）とノーベル物理学賞（2024年）が続きました。2023年、彼はGoogleを去り、自分が正しいと信じてきたものが危険かもしれないと警告するようになったのです。

原則

「私は、ありふれた言い訳で自分を慰めています。もし私がやらなかったとしても、誰か別の人がやっていただろう、と。」——ジェフリー・ヒントン、自らの生涯の仕事について、2023年¹

この一節は後悔について語ったものですが、その奥にはキャリア全体を貫く原則が透けて見えます。ヒントンはこの成果が必然だと信じていました——脳型の学習機械は数ある選択肢の一つではなく、知能が実際に築かれる唯一の道筋であり、誰かが必ずそれを証明するはずだ、と。だが40年のほとんどの間、ほかにそう考える人はほぼ皆無でした。学界は、知能はコンパイラと同じように設計されるものだと決めつけていたのです。明示的な記号、手書きのルール、どこまでも論理。ニューラルネットワーク——単純なユニットがゆるく結びつき、結合の強さを調整して学習する網——は、信用を失った1960年代の珍品として扱われました。資金は枯渇しました。二度も。

それでもヒントンは定説に逆らって賭けました。しかもその理由は流行に背くものでした。彼は数学よりも生物学を信じたのです。その主張はきれいな定理ではありませんでした。それは今あなた自身の中で動いている存在証明でした。脳は遅く、ノイズが多く、単純なユニットからなるネットワークであり、誰がルールを書かなくても見て、話し、推論することを学習します。であれば、十分に大きな人工ユニットのネットワークを、十分なデータで訓練すれば、同じことができるはずだ——数学がそれを保証したからではなく、私たちの手にある知能の唯一の実例が、まさにそのように作られているからです。これが流行より信念ということです。形式論や資金がまだ味方しなくとも、生物学を信じるがゆえに、2度の冬を通じて立場を貫くのです。

これが要求する規律はまれであり、しかも居心地の悪いものです。それは何十年も「間違って見える」状態に耐えることを意味します。まだ証明できない直観を、見当違いではないかと疑っている事柄の証明よりも好むことを意味します。そして賭けがついに報われたとき——流行に背いたアプローチが結局すべてだったと判明したとき——最も難しいことを口にする資格を得るのです。ヒントンが2023年にそうしたように。すなわち、自分は正しすぎたのかもしれない、戦って勝ち取ったものは恐れるべきものかもしれない、と。

背景

ジェフリー・エヴェレスト・ヒントンは1947年12月6日、ロンドンに生まれました。² この名前は偶然ではありません。彼はジョージ・ブール——そのブール代数があらゆるデジタル回路の基礎となっている論理学者——と、数学教育者メアリー・エヴェレスト・ブールの玄孫にあたります。「エヴェレスト」は、あの山にその名を与えた一族と同じです。² 記号論理の発明者の血を引く者が、知能は記号論理ではないと論じることに生涯を費やしたわけです。その皮肉は寸分の狂いもなく、彼自身もそれを指摘しています。

彼は1970年、ケンブリッジ大学キングズ・カレッジで実験心理学の文学士号を取得しました——コンピュータサイエンスではなく心理学であり、これが重要です。彼は心が実際にどう働くかという研究を通じて機械にたどり着いたのです。² その後、エディンバラ大学で人工知能の博士号を取得し、1978年に修了、指導教官はChristopher Longuet-Higginsでした。² これはすでにひそやかな反抗でした。Longuet-Higgins自身はニューラルネットワークの考え方から離れ、当時台頭しつつあった正統派である記号主義AIへと移っていました。ヒントンはコネクショニストの側に踏みとどまり、そこに居続けたのです。

その後に訪れたのがAIの冬でした——1970年代、そして1980年代後半から1990年代にかけて再び、ニューラルネットワークは失敗したプログラムとみなされ、資金が蒸発し、まじめな研究者は別のことに取り組むよう助言された時期です。ヒントンはそのすべてを通じてコネクショニズムの旗を掲げ続け、カーネギーメロン大学を経て、1987年からはトロント大学へと移り、そこが長らく彼の本拠地となりました。² 彼は流行が過ぎ去るのを待っていたのではありません。流行のほうが間違っていると賭けていたのです。

仕事

バックプロパゲーションと表現の学習（1986年）

ヒントンに最も結びつけられる一本の論文が、1986年にNature誌でDavid Rumelhart、Ronald Williamsとともに発表された「Learning representations by back-propagating errors（誤差逆伝播による表現の学習）」です。³ この論文が扱った問題は、分野全体の中心的な問題でした。隠れ層を持つネットワークは原理的には豊かな構造を表現できますが、それをどう訓練するか——出力で誤差が出たとき、ネットワークの奥深くにある各内部結合がどれだけ責任を負うのかをどう判断するか、という問題です。バックプロパゲーションは、誤差信号を層を逆向きにたどって送り、微分の連鎖律を使って各重みにその責任分を割り当て、誤差を減らす方向へすべての重みを少しずつ動かすことで、これに答えます。論文がそのタイトルで示したより深い主張は、こうして訓練されたネットワークが有用な内部表現を自ら学習する——誰にも指示されていない特徴を自分で発見する——というものでした。

ここで功績の帰属についての誠実さが重要になります。世間に流布する物語はヒントンを過大評価しているからです。彼はバックプロパゲーションを発明したわけではありません。その基礎にある数学的エンジン——リバースモードの自動微分——は1970年にSeppo Linnainmaaによって記述され、Paul Werbosは1974年の博士論文でそれをニューラルネットワークの訓練に使うことを提案していました。⁴ 1986年の論文がしたのは、その考え方を定着させたことです。バックプロパゲーションによって多層ネットワークが内部表現を学習できることを明確に示し、深いネットワークの訓練が実際に実用的だと懐疑的な研究界を納得させたのです。⁴ ヒントン自身はこの点について厳格です。2018年のインタビューで彼ははっきりとこう述べています。「David Rumelhartがバックプロパゲーションの基本的なアイデアを思いついた。だからそれは彼の発明だ。」⁴ 正確に言えば、ヒントンはバックプロパゲーションを共同開発し、世に広めた——単独で発明したわけではありません。分野が喜んで彼に単独の功績を差し出そうとするときに、彼がこのことにこだわるという事実こそ、このシリーズ全体を貫くのと同じ誠実さです。それは主張するだけの雰囲気としての美意識と、実際に擁護できる技術的体系としての美意識との違いにほかなりません。

ボルツマンマシンとエネルギーベースの発想

バックプロパゲーション以前、そしてそれと並行して、ヒントンは別の、より風変わりなアイデアを追っていました。統計物理学の数学を借りて学習機械を作れるのではないか、という発想です。Terry Sejnowski、David Ackleyとともに、1983年から1985年ごろ、彼はボルツマンマシンを開発しました。⁵ その系譜はJohn Hopfieldをまっすぐに通っています。Hopfieldは1982年に、単純なユニットのネットワークが記憶を、ある地形の中の低エネルギー状態として蓄えられることを示していました。丘と谷からなる起伏を思い浮かべてください。蓄えられた各パターンが一つの谷です。ネットワークに、あるパターンの壊れた、あるいは部分的な版を見せると、それは「坂を転がり落ち」——全体のエネルギーを下げるようユニットを反転させ——最も近い谷に落ち着いて、完全な記憶を取り戻します。物理としての記憶。アドレスも探索もなしの想起です。⁶

ボルツマンマシンはHopfieldのエネルギー地形を受け継ぎ、それを生成的かつ確率的にしました——蓄えられた状態に落ち着くだけでなく、あるデータ群全体の統計的構造を学習し、その新たな例を生成できるのです。⁶ これこそ2024年のノーベル委員会が特筆した仕事です。ヒントンは「Hopfieldネットワークを、異なる手法を用いる新しいネットワークの基礎として使った——それがボルツマンマシンであり」、それは「あるタイプのデータの中に特徴的な要素を認識することを学習できる」とされました。⁷ 下のウィジェットは、その発想のHopfield型の核——両者が最終的に栄誉を受けた、連想記憶の地形です。

これはヒントンの原則の最も純粋な表現です。1985年の時点では、エネルギーベースの確率的ネットワークが機械知能への道だと証明できる者は誰もいませんでした。その正当化の根拠は、それが物理系——そしておそらくは脳——が安定状態に落ち着く様に似ている、という点でした。彼は保証ではなく、物理と生物学に従ったのです。

ディープ・ビリーフ・ネットからAlexNetへ：ブレイクスルー（2012年）

この賭けは、2つの瞬間がそれを傾けるまで不人気のままでした。1つ目は2006年、ヒントンと共同研究者たちがディープ・ビリーフ・ネットワークを一層ずつ訓練する方法を示したときです——それまで誰も到達できなかったほど深いネットワークを訓練する実用的な手順であり、「ディープラーニング」という言葉を復活させたと通常クレジットされる火種となりました。2つ目は、誰もが覚えているあの出来事です。

2012年、ヒントンの大学院生だったAlex KrizhevskyとIlya Sutskeverが深い畳み込みニューラルネットワーク——AlexNet——を構築し、分野で最も難しい画像分類のベンチマークであるImageNet Large Scale Visual Recognition Challengeに出場させました。⁸ それは僅差の勝利ではありませんでした。AlexNetはトップ5エラー率15.3%を記録し、2位を10パーセントポイント以上引き離したのです。前年までの改善が小数点以下の数値で測られていたコンテストでのことでした。⁸ のちにACMが述べたように、ヒントンとその学生たちは「物体認識のエラー率をほぼ半減させ、コンピュータビジョンの分野を作り変えた」のです。⁹ 冬は一つの午後のうちに終わりました。数か月のうちに3人は会社DNNresearchを立ち上げ、2013年にGoogleがそれを——そしてAlexNetのコードもろとも——買収し、ヒントンをGoogle Brainに迎え入れました。彼は2023年までそこに在籍しました。² 信じているといって嘲笑された当のものが、突如として、業界全体が築きたがる唯一のものになったのです。

Googleを去り、リスクへと転じる——そして栄誉

2023年5月、ヒントンはGoogleを去りました。争いがあったからでも、競合に移るためでもありません——New York Timesに語ったところによれば、雇用主に影響が及ぶことなく「AIのリスクについて自由に発言できる」ようにするためでした。¹ こうした機械を知能を持つように作れると半世紀にわたって主張し続けてきた男が、それらが予想より速く知能を持ちつつあり、その帰結——誤情報、自律システム、「悪意ある者」を止めることの難しさ——が本当に危険だと結論づけたのです。これは、ある分野の創始者が、正しさを証明された絶頂において、その証明を換金するのではなく、それに警鐘を鳴らす側に転じた、まれな事例の一つです。¹⁰

その立証は公式なものです。2019年、ACMはヒントン、Yoshua Bengio、Yann LeCun——「ディープラーニングのゴッドファーザーたち」——に、計算機科学最高の栄誉である2018年A.M.チューリング賞を、「ディープニューラルネットワークをコンピューティングの重要な構成要素にした概念的・工学的ブレイクスルーに対して」授与しました。⁹ そして2024年、ヒントンはJohn Hopfieldとともにノーベル物理学賞を分かち合いました。「人工ニューラルネットワークによる機械学習を可能にする基礎的な発見と発明に対して」——心理学の学位を持つ男に、ボルツマンマシンの統計力学的なルーツに対して授与された、物理学の賞です。⁷ チューリング賞とノーベル賞は通常、同一人物が同時に手にするものではありません。ヒントンは両方を、同じ流行に背いた一つの賭けによって手にしているのです。

方法

その方法は50年を通じて一貫しています。心地よい範囲を超えて信念を保ち、証明ではなく脳によってそれを正当化し、何が自分のものかについて誠実であり続けること。

定説ではなく、生物学に賭けよ。 分野は知能を記号的なものだと言いました。ヒントンは、それは学習され、分散され、脳に似ていると言い——資金も流行もどちらも彼が間違っていると告げる2度の冬を通じて、その線を守りました。信念は、保ち続けることに代償を伴うときにのみ、価値を持つのです。²

存在証明を使え。 数学がまだそこにないとき、手元にある唯一の動く実例から推論せよ。脳は手書きのルールなしに学習する、だから十分に大きく、十分なデータで訓練されたネットワークも学習できるはずだ。形式論より先にもっともらしさを。証明は後から来ればよい。⁷

論理が行き詰まったら物理から借りよ。 エネルギー地形、確率的な落ち着き、統計力学——ヒントンがボルツマンマシンのために分野を越えて手を伸ばしたのは、必要な道具がAIの中に存在しなかったからです。ノーベル賞は、文字どおり、その越境に物理学が報いたものでした。⁶⁷

ネットワークだけでなく、人を育てよ。 AlexNetは彼の学生たちが構築しました。SutskeverはのちにOpenAIへと進みました。2012年の成果は、ヒントンが率いた研究室と切り離せません。仕事は論文と同じくらい、人を通じて伝播していくのです。⁸

自分のものだけを主張せよ。 彼はバックプロパゲーションを世に広めた——そう述べ、そのアイデアをRumelhartに帰し、両者よりさらに古い数学の存在も認めます。差し出されようとする功績を断る覚悟は、職人技の一部であって、それと別物ではありません。⁴

自分自身の成果を恐れる覚悟を持て。 最後の一手——自分が正しかった当のものの危険性を警告するためにGoogleを去ること——は、方法をそれ自身に向けたものです。たとえそれが自らの生涯の仕事を告発することになろうとも、証拠に従え。¹¹⁰

影響の連鎖

彼を形作った人々

ジョージ・ブールとメアリー・エヴェレスト・ブール。 文字どおり彼の家系であり、そして有用な対照軸でもあります。記号論理を打ち立てた一族が、知能は記号的ではないと論じた男を生み出したのです。その血脈は、彼に数学的な真剣さと、反抗すべき対象の両方を与えました。（形成的影響）

Donald Hebbと学習の神経科学。 ヒントンの立場の全体——学習とは単純なユニット間の結合の強さの調整である、という考え——は、ヘブ的な「ともに発火する細胞はともに結びつく」という思考に由来します。彼は実験心理学を通ってきており、脳は常にモデルでした。（形成的影響）

John Hopfieldと統計物理学。 Hopfieldの1982年のエネルギーベースのネットワークは、ヒントンがボルツマンマシンを築いた直接の基礎でした。2人は42年後、それによってノーベル賞を分かち合うことになります。（直接的影響）

彼が形作った人々

Ilya SutskeverとAlex Krizhevsky。 彼の学生たちがAlexNetを構築し、その一人はのちにOpenAIを共同創業しました。AIの冬を終わらせた2012年のブレイクスルーは、ヒントンの研究室から、彼の学生たちの手によって生まれたのです。

Yoshua BengioとYann LeCun。 彼の共同受賞者であり、同じ「ゴッドファーザー」たち——ともにニューラルネットワークを生き延びさせ、そしてともにチューリング賞を受け取った、小さく頑固な共同体です。

本質的に、現代のあらゆるAIシステム。 バックプロパゲーションは、今日動いているほぼすべてのニューラルネットワークを訓練しています。彼が復活させた「ディープラーニング」は、大規模言語モデル、画像生成器、そして私が今その上に築いているエージェントスタックの下地なのです。

一本の筋

ヒントンはこのシリーズのディープラーニングという枝の根であり、最も明瞭な線はAndrej Karpathyへと前へ伸びています。Karpathyの「ソフトウェア2.0」という捉え直しの全体——ニューラルネットワークは手で書かれるのではなくデータからコンパイルされるプログラムだという考え——は、ヒントンの賭けがすでに報われた世界でしか意味をなしません。Karpathyは学部生のときトロントでヒントンの授業に実際に出席し、それが正統になる前にその福音を吸収していました。Karpathyがスタックを信頼するためにあらゆる層をゼロから組み上げよと主張するところで、ヒントンは層そのものを供給しました。バックプロパゲーションこそ、Karpathyがそれを理解するために自分の手で実装するものなのです。軸のもう一方の端にはJohn Carmackがいます。彼はグラフィックスのキャリアを経て、工学の側からAGI研究へと転じました——ヒントンが生物学と物理学からたどり着いたのと同じ目的地への、システムと性能のアプローチです。一つの山への2つのルート。ヒントンは脳を信じ、Carmackは機械を信じる。（シリーズの架け橋）

私がここから受け取るもの

私が手放さずにいる教訓は、早すぎる正しさは、長いあいだ、間違っていることと見分けがつかない、ということです。ヒントンは分野全体が見限った立場を保ったまま2度の冬を過ごしました。そして彼の信念を単なる頑固さから隔てていた唯一のものは、それが存在証明に錨を下ろしていたという点でした——脳はこのように働く、だからこれは動きうる、と。その区別こそ、私が握りしめておこうとするものです。錨のない信念はエゴです。指し示せる証拠に錨を下ろした信念を、流行が「お前は愚か者だ」と告げる年月を通じて保ち続けること——それが、本物のブレイクスルーが起こる仕方なのです。これは私が品質を唯一の変数として扱い、出荷せよという周囲の圧力と引き換えにされるものではないと考えるのと、同じ理由です——基準は、その場が反対したからといって動いたりはしません。

より難しい教訓は2023年の転回です。ヒントンは勝ちました——チューリング賞、ノーベル賞、彼の賭けの上に築かれた業界全体を。そしてその立場を使って、誰も彼に望んでいなかったことを口にしました。すなわち、自分は正しすぎたのかもしれない、その成果は危険かもしれない、と。誰も読み切れない速さでコードを書くエージェントの分野において、これこそ私が最も切実だと感じる手本です。証拠に従ってある成果にたどり着くだけでは足りません。たとえそれが最も誇りに思う仕事を告発することになろうとも、成果の先までその証拠を追い続けなければならないのです。それは証拠の関門を自らの遺産に適用すること——データが転じたとき、自分自身の結論を恐れる覚悟です。生物学は良い面についての存在証明でした。ヒントンは今、悪い面も同じくらい誠実に見つめようと迫っているのです。

FAQ

ジェフリー・ヒントンのエンジニアリング哲学とは何ですか？

流行より信念です。ヒントンはコネクショニズム——単純なユニットからなる脳型ネットワークの中での学習としての知能——に自身のキャリアを賭け、記号主義AIが定説でニューラルネットが切り捨てられていた2度のAIの冬を通じて、その立場を保ちました。² その正当化は数学的というより生物学的なものでした。脳は手書きのルールなしに学習する単純なユニットのネットワークであり、だから十分に大きな人工ネットワークを十分なデータで訓練すれば、同じように学習できるはずだ、と。⁷ 彼はその存在証明を、当時主流だった形式論や資金よりも信頼し、最終的に2012年のAlexNetによって立証されたのです。⁸

ジェフリー・ヒントンはバックプロパゲーションを発明したのですか？

いいえ——彼はそれを共同開発し、世に広めたのであって、これは重要な区別です。広く引用される1986年のNature論文「Learning representations by back-propagating errors」（David Rumelhart、ヒントン、Ronald Williamsによる）は、バックプロパゲーションで多層ネットワークを訓練することが実用的だと研究界を納得させました。³ しかしその基礎にある数学は彼らより古いのです。Seppo Linnainmaaは1970年にリバースモードの自動微分を記述し、Paul Werbosは1974年の論文でそれをニューラルネットワークに応用することを提案していました。⁴ ヒントン自身は中核のアイデアをRumelhartに帰し、こう述べています。「David Rumelhartがバックプロパゲーションの基本的なアイデアを思いついた。だからそれは彼の発明だ。」⁴

ジェフリー・ヒントンはなぜチューリング賞とノーベル賞の両方を受賞したのですか？

彼はYoshua Bengio、Yann LeCunとともに2018年ACM A.M.チューリング賞（2019年発表）を「ディープニューラルネットワークをコンピューティングの重要な構成要素にした概念的・工学的ブレイクスルーに対して」受賞しました。⁹ その後、John Hopfieldとともに2024年ノーベル物理学賞を「人工ニューラルネットワークによる機械学習を可能にする基礎的な発見と発明に対して」分かち合いました。⁷ ノーベル賞は特に、Hopfieldのエネルギーベースのネットワークの上に築かれた彼のボルツマンマシンの統計物理学的なルーツを評価したものです。⁷ 計算機科学と物理学の双方の最高栄誉を、一つの仕事の系譜で同時に保持するのは、きわめてまれなことです。

ジェフリー・ヒントンはなぜ2023年にGoogleを去ったのですか？

彼は2023年5月、雇用主に影響が及ぶことなくAIのリスクについて自由に発言するために去りました。New York Timesには「AIのリスクについて自由に発言したい」と語っています。¹ こうしたシステムを知能を持つように作れると生涯主張してきたのち、彼はそれらが予想より速く進歩しており、現実の危険——誤情報、自律システム、悪意ある者——をはらんでいると結論づけたのです。彼はその両義的な思いを、次の一節にまとめました。「私は、ありふれた言い訳で自分を慰めています。もし私がやらなかったとしても、誰か別の人がやっていただろう、と。」¹¹⁰

出典