エンジニアリング哲学：Kyunghyun Cho

要点

• 彼はリカレントネットワークに、学習されるメモリゲートを与えました。 2014年の論文「Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation」の筆頭著者として、Kyunghyun ChoはGated Recurrent Unit（GRU）を提唱しました。これは、各ステップで過去のどれだけを保持し、どれだけを上書きするかをネットワーク自身に学習させる、簡素化されたゲート付きセルであり、競合相手であるLSTMよりも少ないパラメータで動作します。¹³
• 彼はattentionを機械翻訳に取り込む一翼を担いました。 Dzmitry Bahdanau（筆頭著者）とYoshua Bengioとともに、Choは「Neural Machine Translation by Jointly Learning to Align and Translate」（2014年）を共著しました。この論文では、文全体を一つの固定長ベクトルに押し込む代わりに、デコーダが原文の任意の部分にソフトに対応付けできるようにしたのです。この仕組みは、Transformerと、あらゆる現代の大規模言語モデルの直接の祖先となりました。²⁴
• 彼はオープンで再現可能なサイエンスを牽引する声でもあります。 Choは、オープンな査読と入念な実証主義の積極的な提唱者であり続けてきました――誠実なベースライン、自らの結果に対する懐疑、そして公開された場での研究発表です。それは査読に関する彼の研究や、OpenReviewのようなオープンなプラットフォームの活用に記録されています。⁵⁶
• AaltoからNYU、そして創薬設計へ。 1985年に韓国で生まれ、Aalto大学で博士号を取得し、Université de MontréalでYoshua Bengioのもとポスドクを務め、2015年にNYUに加わり、Prescient Design――現在はGenentechの一部――を共同創業して、機械学習を抗体設計に応用しています。¹⁷

原理

「一方のRNNが記号の系列を固定長のベクトル表現へとエンコードし、もう一方がその表現を別の記号の系列へとデコードする。」――Kyunghyun Cho 他。彼ら自身の後の研究が乗り越えていくことになる、RNN Encoder-Decoderを説明して¹

エンジニアリングにおける最も古い本能は、制御構造を自分自身で設計することです。どの入力が重要か、システムがある値をどれだけ長く記憶すべきか、バッファのどこを参照すべきか――それを決めるのは設計者です。その判断をアーキテクチャに刻み込めば、システムは設計者の推測をそのまま受け継ぎます。Choの一連の仕事は、その逆方向に走っています。彼を特徴づける貢献――GRUのゲートと、attentionのソフトな対応付け――は、同じ一手を共有しています。すなわち、制御構造をハードコードするのをやめ、モデルにそれを学習させることです。どの過去の状態を保持するか、どの入力に注意を向けるか――それらは、設計者が手作業で定めるルールではなく、ネットワークがデータから調整するパラメータになります。¹²

GRUは、その最も純粋な例です。素朴なリカレントネットワークは隠れ状態を前へと運び、各ステップで古い状態と新しい入力を固定された仕方で混ぜ合わせます。その固定された混合比は設計者の推測であり、たいていは間違っています。系列の早い段階にあった重要な信号は、数ステップのうちにノイズへと薄まってしまうのです。Choのゲート付きユニットは、その推測を学習されたゲートに置き換えます。ゲートとは、各ステップ・各次元ごとに、古いメモリをどれだけ保持し、新しい入力でどれだけ上書きするかを決める、小さなシグモイド値の制御です。³ ネットワークは、いつ握りしめ、いつ手放すかを学習します。誰もメモリの方針を手で書いたりはしません。データがそれを書き込むのです。

Attentionは、記憶する代わりに参照することに同じアイデアを適用したものです。そして、Choの原理には、前半を誠実に保つための後半があります――科学者としての規律です。学習された仕組みが本当に役立つかどうかを確かめる方法は、熱意ではありません。それは、強いベースラインとの公平な勝負であり、持ちこたえるまでは自らが懐疑的でいる結果であり、他者が再現できるよう公開された手法です。⁵⁶ モデルに自らの制御構造を学習させよ――そして、それが本当に機能したことを、誠実に、公開された場で検証せよ。 前半は力の源です。後半は、その力を信頼に値するものにするものなのです。

背景

Kyunghyun Choは、1985年に韓国で生まれました。¹ 2009年にKAISTで計算機科学の学士号を取得し、その後フィンランドへ渡ってAalto大学で大学院教育を受け、2011年に機械学習およびデータマイニングの修士号を、2014年に理学博士号を取得しました。指導教官はJuha Karhunen教授（Tapani Raiko、Alexander Ilinとともに）でした。¹⁷ フィンランドは、ディープラーニングにとって極めて重要な年を生んだ揺りかごとしては意外な場所ですが、要点はそのタイミングにあります。彼が博士号を取り終えたのは、まさにこの分野が転換しようとしていた、その瞬間でした。

Aaltoからモントリオールへ移り、Université de MontréalでYoshua Bengioのもとポスドク研究員となりました――やがてMILAとなり、当時としては世界で最も密度の高いディープラーニング人材の集積地となる、その研究室です。¹ このエッセイの軸となる二つの論文――GRUと、attentionに基づくNMTモデル――は、どちらも2014年というこの時期に生まれ、それぞれにBengioが共著者として名を連ねています。¹² その速さは、立ち止まって味わうに値します。ポスドクとして着任した研究者が、およそ一年のうちに、GRUを世に出した論文の筆頭著者となり、翻訳にattentionを導入した論文の共著者となったのです。いまや、この二つのアイデアはどちらも、稼働している多くのAIの土台に据えられています。

2015年にニューヨーク大学に加わり、現在はCourant Instituteおよびデータサイエンスセンターの計算機科学・データサイエンス教授、Glen de Vries記念健康統計学教授、そしてYann LeCunとともにNYUのGlobal AI Frontier Labの共同ディレクターを務めています。⁷ 2017年から2020年にかけてはFacebook AI Researchの研究員を務め、そして――彼の原理が言語の枠を越えて届いたことを示す一章として――2021年初頭にPrescient Designを共同創業しました。これは、湿式実験を組み込んだ抗体設計のスタートアップで、同年のうちにGenentechに買収され、そこで彼は生成的機械学習を創薬設計に応用する最先端研究を率いました。⁷⁸ その間ずっと、彼はオープンで再現可能なサイエンスの声高な擁護者であり続けてきました。⁵⁶

仕事

GRU――ネットワークがゲート制御を学習するメモリ

ゲート制御がなぜ重要かを肌で感じるには、リカレントネットワークが一つの重要な値を、長くノイズだらけの系列を通して運ぼうとする様子を眺めてみてください。ネットワークは一度に一ステップずつ読み込み、各ステップで更新する単一の隠れた「メモリ」を保持します。早い段階で、保持する価値のある値が現れます。その後に続くものはすべてノイズです。素朴なRNNは古いものと新しいものを固定された比率で混ぜるため、その初期の値は数ステップのうちに流れ去り――終わりに着く頃には、消えています。問題のすべては、保持か上書きかという判断がハードコードされていたことにあります。下のウィジェットは、それを手に取れるものにします。一つのゲートが、各ステップで、古いメモリのどれだけが生き残るかを決めるのです。「保持」の側へスライドさせれば初期の値は無傷で終わりまで届き、「上書き」の側へスライドさせればほとんど即座に洗い流されます。

それこそが、ChoのGRUが加えるまさにそのレバーです。ただし、ゲートをあなたが設定する代わりに、ネットワークがそれを学習します。2014年のRNN Encoder-Decoderの論文で導入されたGRUは、二つの学習されるゲートを用います。直前の隠れ状態をどれだけ前へ運び、どれだけ新しい情報で置き換えるかを制御する更新ゲートと、過去がどれだけ新しい候補状態に影響を与えるべきかを決めるリセットゲートです。³ どちらもシグモイド値――0と1のあいだの滑らかなつまみ――であり、つまり全体が微分可能で、勾配降下法で訓練できます。ネットワークは、いつ値を長く握りしめ、いつ洗い流すかを、データから発見するのです。³

この設計は、意識的に倹約されています。GRUは、HochreiterとSchmidhuberによる、より古いLSTMと並んで登場しました。LSTMは同じ勾配消失問題を、より多くの仕掛け――別個のセル状態と追加の出力ゲート――で解いています。GRUは「コンテキストベクトルも出力ゲートも持たず、結果としてLSTMより少ないパラメータ」でありながら、音声認識、音楽モデリング、言語タスクのいずれにおいても同等の性能を発揮します。³ それこそ、名指しするに値するエンジニアリングの趣味です。本質的なアイデア――学習されるゲート制御――を捉えつつ、必要だと証明できない部品を削ぎ落とした、より簡素なユニットです。長年にわたり、GRUとLSTMは、あらゆる系列モデリングのツールキットにおける二つの既定のリカレントセルでした。

Attention――ソフトな対応付け、そして固定ベクトルというボトルネックの終わり

RNN Encoder-Decoderには構造的な欠陥があり、Cho自身の論文がそれを名指ししていました。エンコーダは入力文全体を「固定長のベクトル表現」へと押しつぶし、デコーダはその単一のベクトルから翻訳全体を再構築しなければなりません。¹ 短い文ならそれで問題ありません。しかし長い文では、それは破局です――段落を鍵穴に通そうとしているようなもので、リカレントネットワークは終わりに近い語を過剰に重み付けし、その一方で冒頭は薄れていく傾向があります。⁴ ボトルネックは、固定長のベクトルそのものなのです。

その解決策が、「Neural Machine Translation by Jointly Learning to Align and Translate」（2014年／2015年）――Dzmitry Bahdanauを筆頭著者とし、ChoとBengioが名を連ねる――であり、ボトルネックを丸ごと取り除くことでした。² 原文を一つのベクトルに圧縮する代わりに、モデルはすべての原文の語の表現を保持し、各出力ステップでデコーダにそれらすべてにわたる重みの組を計算させます――「この語を生成するには、主にここを、少しだけあそこを参照せよ」と告げる、学習されたソフトな対応付けです。⁴ デコーダは、単一の圧搾された状態を通してのみ入力に届くのではなく、入力の任意の部分に直接アクセスできるようになります。⁴ 決定的なのは、この対応付けが言語学者によって手作業で指定されるのではなく、翻訳とともに、端から端まで一体で学習される点です。モデルは、どこを参照すべきかを自分自身で決めます――GRUのゲートと同じ原理を、いまや記憶ではなくattentionに適用したものです。

そこから今日への道筋は、短く、そして荷重を支えるものです。ソフトな対応付けは自己attentionへと一般化し、2017年にはTransformerの「Attention Is All You Need」がスケールド・ドット積attentionを定式化し、リカレンスを丸ごと投げ捨てました――BERT、T5、GPT、そして大規模言語モデルの世代まるごとの基盤となった設計です。⁴ 現代のLLMは、まさに本当の意味で、スケールアップされ、周囲のRNNを剥ぎ取られたattentionなのです。Choが2014年に翻訳へ導入する一翼を担った仕組みこそが、あなたのチャットボットを動かしているものです。（帰属は重要です。Choは、GRUの論文では筆頭著者であり、attentionの論文ではBahdanau、Bengioとの共著者です――彼が一人でattentionを導入したわけではありません。）¹²

オープンで再現可能なサイエンス

第二の原理は、より静かで、そして誇大広告に流されやすい分野においては、より難しいものです。Choはオープンで再現可能なサイエンス――公開された場で実施・査読され、誠実なベースラインと、自らの結果への働く懐疑を伴う研究――の一貫した擁護者であり続けてきました。⁵⁶ 彼はOpenReviewのようなオープンなプラットフォームを活用し、また提唱もしてきました。さらに、査読プロセスそのものについての研究にも貢献し、著者自身による論文の評価が査読プロセスに役立てられるかといった問いを探究しています。⁵⁶ その一本の筋は、結果とは、著者が制御できなかった精査を生き延びるまでは結果ではない、ということです。

なぜ技術的に重要なのか。ディープラーニングは、自分を欺くのが異様に容易な分野です。新しいアーキテクチャは、弱いベースラインや、運の良いシードや、調整不足の競合相手なら、ほぼ確実に打ち負かします――そして文献は、誰かが古い手法に公平な勝負をさせた途端に蒸発してしまう「改善」で散らかっています。Choが体現する規律は、証明されるまでは自らの利得をまやかしだと仮定し、自分の手法を調整するのと同じだけ強くベースラインを調整し、誰かが自分の誤りを証明できるほど十分にオープンに発表することです。それは、「モデルにそれを学習させよ」という本能が「自分がそうあってほしかったからモデルがそれを学習したのだ」へと腐っていくのを防ぐ、実証の良心なのです。

サイエンスのための機械学習――Prescient Design

Choの原理が言語に限定されない一般的なものであることの最も明確な証は、彼がそれを次に持ち込んだ場所――創薬設計にあります。2021年初頭、彼はPrescient Designを共同創業しました。同社は同年にGenentechに買収され、治療用抗体を設計するための「湿式実験を組み込んだ（lab-in-the-loop）」プラットフォームを構築しました。⁷⁸ このループは、生成的MLモデル、マルチタスクの特性予測器、能動学習による選択を、実際の湿式実験と反復的なサイクルで結びつけます――モデルが抗体の変異体を提案し、実験室がそれらを試験し、その結果がモデルを再訓練します。⁸ 臨床的に意義のある標的にわたって適用され、このシステムは千を超える変異体を設計・試験し、出発点となったリード分子よりもはるかに強い結合を持つ抗体を設計しました。⁸ その構造は、彼が築いてきた他のすべてに通底するものと同じです。答えを手で設計するのではなく、証拠からそれを学習するシステムを築くこと――そして、学習が誠実なものであり続けるよう、実測でループを閉じることなのです。

方法

GRU、attention、オープンサイエンスの提唱、そして抗体の仕事を横断して読めば、同じ約束事が繰り返し現れます。Choの方法は、スローガンというよりも、常に守られる一連の習慣です。

制御構造を学習可能にせよ。 彼を特徴づける一手は、通常ならハードコードするであろう判断――どれだけ長く記憶するか、どこを参照するか――を取り上げ、それをモデルがデータから調整するパラメータへと変えることです。GRUのゲートと、attentionの対応付けは、二つの領域における同じ本能です。その教訓は、系列モデルをはるかに越えて転用できます。閾値や重み付けやルーティングのルールを推測している自分に気づいたら、自分が推測するよりもシステムのほうがそれをうまく学習できるのではないかと問うてみることです。¹²

本質的なアイデアを捉える、より簡素な仕組みを選べ。 GRUは学習されるゲート制御を残し、LSTMのセル状態と出力ゲートを落とし、より少ないパラメータでその性能に並びます。³ それは、ニューラルセルのレベルにおける最小限の価値ある成果物です――荷重を支えるアイデアをなお担う、最小の単位であり、Sophie WilsonのARMに通底するのと同じ手段の倹約です。

取り除く前に、ボトルネックを名指しせよ。 Cho自身のEncoder-Decoderの論文は固定長ベクトルという限界を名指しし、attentionの論文がそれを取り除きました。¹⁴ 規律とは、まず構造的な欠陥を正確に言葉にすること――鍵穴を通る段落――です。なぜなら、鋭く名指しされたボトルネックは、すでに半分解かれているからです。それは、モデルではなくデータを攻めるというFei-Fei Liの決断と同じ本能です。便利な制約ではなく、本当の制約を見つけることなのです。

ベースラインに公平な勝負をさせよ。 誠実な実証主義とは、打ち負かそうとしている手法を、自分が提案するものと同じだけ強く調整し、その試験を生き延びるまでは自らの利得を疑わしいものとして扱うことを意味します。これは、研究の実践へと作り変えられた証拠の関門です――「改善した」は証拠ではなく、「強く、オープンに再現可能なベースラインに対して改善した」が証拠なのです。⁵⁶

公開された場で仕事をせよ。 オープンな査読、オープンなプラットフォーム、再現可能な結果。手法の価値は、著者が主張するものではなく、独立した精査を生き延びるものです――だからこそ、検証できるほど十分にオープンに発表することは、エンジニアリングの一部であって、その後の礼儀ではありません。それは、サイエンスそのものに適用された品質こそが唯一の変数です。数えられる唯一のものは、その結果が本物かどうかなのです。⁵⁶

影響の連鎖

彼を形づくった人々

Yoshua BengioとMILAのグループ。 Choの極めて重要な年は、Bengioのモントリオールの研究室でのポスドクとして起こり、BengioはGRUとattentionの両方の論文を共著しています。¹² MILAは、2010年代初頭のリカレントネットワークと機械翻訳のアイデアが最も強く推し進められていた環境であり、Choの仕事はそれと切り離せません。（直接的な影響）

Juha KarhunenとAaltoの学派。 Tapani Raiko、Alexander Ilinとともに、Juha Karhunenのもとで受けたAaltoでの博士課程の訓練は、モントリオールでの年月が翻訳という目標を与える前に、彼を教師なし学習とニューラルネットワークの伝統に根づかせました。¹⁷（形成的な影響）

ディープラーニングの系譜。 GRUが取り組む勾配消失問題、そしてそれが位置するリカレント型・畳み込み型のアーキテクチャは、深いネットワークがそもそも訓練できるということを確立したGeoffrey HintonとYann LeCunの数十年の仕事から下ってきたものです。Choは現在、NYUの研究室をLeCunと共同で運営しています。⁷（形成的な影響）

彼が形づくった人々

現代の系列モデリング。 長年にわたり、GRUは二つの既定のリカレントセルの一つでした――あらゆるNLP、音声、時系列の実践者が反射的に行ったGRU／LSTMの選択における、より簡素なほうの半分です。³

TransformerとLLMの時代。 Choが共著した論文で翻訳に導入されたattentionは、Transformerが組み上げられる元となる自己attentionへと一般化しました――そしてTransformerこそが、あらゆる現代の大規模言語モデルが動く土台です。⁴ この仕組みは、この分野の歴史において最も重大なものの一つです。

サイエンスのための機械学習。 Prescient DesignとGenentechを通じて、Choは生成的MLを治療用抗体設計へと推し進める一翼を担いました。「証拠から学習し、実測でループを閉じる」というパターンが、言語と同じくらい生物学にも属するのだ、という主張です。⁸

一本の筋

Choは、本シリーズのディープラーニングの枝における仕組みの蝶番です――基礎からLLMの時代への橋渡しなのです。Geoffrey HintonとYann LeCunは深いネットワークが学習できることを確立し、Fei-Fei Liはそれらが学習する対象となるデータを供給しました。Choのゲート制御とattentionは、それらの基礎を、言語を大規模に扱えるものへと変えたアーキテクチャ上の一歩であり――そして彼のattentionの仕事は、のちにAndrej Karpathyが一世代の人々に作り方を教えることになり、現代のLLMを動かすTransformerへとまっすぐ流れ込みます。Hintonが学習する機械は動くと言い、Liがさあ、ここに学ぶべき世界があると言うのに対し、Choはこう言います。モデルに自らの制御構造を学習させよ――何を記憶し、何を参照するかを――そして、それが本当にそうしたことを、公開された場で証明せよ。前半の節は、Transformerへの道筋です。後半は、それを誠実に保つ実証の良心です――Fei-Fei Liがベンチマークにもたらしたのと同じ厳格さなのです。（シリーズの橋渡し）

ここから受け取るもの

私がChoから受け取り続けている教訓は、システムが学習できる判断をハードコードするのをやめることです。私の本能は、大半のエンジニアと同じく、自分自身の判断――この閾値、あの重み付け、このルーティングのルール――を刻み込むことです。なぜなら、自分の判断こそが信頼できる部分のように感じられるからです。GRUとattentionは、どちらもその逆のほうがしばしば長持ちするという主張です。モデルは、適切な仕組みと十分なデータを与えられれば、私が推測するよりもはるかにうまく、メモリの方針や対応付けを学習するでしょう。だから、魔法の定数を調整したり、何が重要かを決める分岐を手で書いたりしている自分に気づいたときには、私はいまこう問います――システムが学習すべき判断を、自分が刻み込んでいるのではないか、と。技術とは選択を下すことではなく、選択が学習されることを可能にする構造を築くことなのです。

第二の教訓は、最初の教訓が私に嘘をつかないようにする規律です。システムに自らの振る舞いを学習させることが心を酔わせるのは、まさにそれがいとも簡単に、うまくいったように見えるからです――デモは通り、指標は上向き、私は信じたくなる。Choのオープンサイエンスの倫理は、その解毒剤です。強いベースラインに対する公平な勝負を生き延びるまでは、自らの結果をまやかしだと仮定し、誰かが自分の誤りを証明できるほど十分にオープンにそれを発表すること。だからこそ私は証拠の関門を譲れないものとして扱うのです――「改善した」は感覚であり、「調整されたベースラインに対して、再現可能に改善した」が証拠です。自らの制御構造を学習するシステムを築き、それから、自分が設定権を持たなかった証明の基準にそれらを照らすこと。力と誠実さは、一つの実践の二つの半分なのです。

FAQ

GRU（Gated Recurrent Unit）とは何ですか？

GRUは、Kyunghyun Choが2014年の論文「Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation」で筆頭著者として導入した、リカレントニューラルネットワークのセルの一種です。¹ これは学習されるゲート――更新ゲートとリセットゲートで、どちらも0と1のあいだのシグモイド値――を用いて、各ステップで直前の隠れ状態をどれだけ保持し、新しい入力でどれだけ上書きするかを制御します。これによりネットワークは、長い系列にわたって何を記憶すべきかを学習でき、勾配消失問題を解決します。GRUはLSTMの別個のセル状態と出力ゲートを省くため、より少ないパラメータでLSTMと同等の性能を発揮します。³

Kyunghyun Choは、attentionと機械翻訳に何を貢献しましたか？

Choは、Dzmitry Bahdanau（筆頭著者）、Yoshua Bengioとともに、ニューラル機械翻訳にattentionの仕組みを導入した論文「Neural Machine Translation by Jointly Learning to Align and Translate」（2014年）の共著者です。² 原文を一つの固定長ベクトルに圧縮する代わりに、モデルはすべての原文の語の表現を保持し、各出力ステップでデコーダにそれらすべてにわたるソフトな対応付けを学習させます。この仕組みは、2017年にTransformerの自己attentionへと一般化し、それが現代の大規模言語モデルの基盤となっています。⁴ これとは別に、Choは、GRUを導入した2014年の論文の筆頭著者でした。¹

Attentionは、どのEncoder-Decoderのボトルネックを解決しましたか？

Choの2014年の論文で説明された元のRNN Encoder-Decoderは、入力文全体を「固定長のベクトル表現」へとエンコードし、デコーダはそこから出力全体を再構築しなければなりません。¹ 長い文では、この単一のベクトルがボトルネックとなり――段落が鍵穴に押し込まれるようなもので――リカレントネットワークは系列の冒頭からの情報を失う傾向があります。⁴ Attentionは、すべての原文の位置の表現を保持し、デコーダが単一の圧縮された状態に頼るのではなく、学習された重みとともにそれらのどれにでも直接注意を向けられるようにすることで、ボトルネックを取り除きました。⁴

Kyunghyun Choは現在、何をしていますか？

Choは、NYUのCourant Instituteおよびデータサイエンスセンターの計算機科学・データサイエンス教授、Glen de Vries記念健康統計学教授、そしてYann LeCunとともにNYUのGlobal AI Frontier Labの共同ディレクターです。⁷ 彼は2021年にPrescient Design――同年にGenentechに買収――を共同創業し、そこで生成的機械学習を「湿式実験を組み込んだ（lab-in-the-loop）」治療用抗体設計に応用する最先端研究を率い、MLモデルと湿式実験を反復的な最適化ループで結びつけました。⁷⁸ 彼は今なお、オープンで再現可能なサイエンスの積極的な擁護者であり続けています。⁵⁶

出典