エンジニアリング哲学：フェイフェイ・リー、データこそが土台である

要点

• 突破口はモデルではなく、データセットだった。 この分野は10年にわたってアルゴリズムを調整し続け、より優れたモデルこそがボトルネックだと思い込んでいました。フェイフェイ・リーは逆の賭けに出ます。欠けていた要素は大規模なデータなのだ、と。彼女はImageNetを構想し、率いました――WordNetの階層に沿って整理され、数万人ものAmazon Mechanical Turkの作業者によって注釈づけされた、20,000以上のカテゴリーにまたがるおよそ1,400万枚の手作業ラベル付き画像です。³⁴
• AlexNetは彼女のデータの上で勝った。 深層畳み込みネットワークが2012年のImageNetチャレンジを圧倒したとき――トップ5エラー率15.3%、2位に10ポイント以上の差――それはデータ中心の主張を裏づけました。アルゴリズムは何年も前から存在していたのです。変わったのは、学習に足るだけの適切なデータがついに手に入ったことでした。⁴⁵
• AIは人間中心でなければならない。 リーの第二の原理は、AIには「人工的なものは何もない」という考えです。AIは人間が作り、人間に向けてふるまい、人間の生活に影響を及ぼします。彼女はこの信念を制度として根づかせるため、Stanford HAI（2019年）とAI4ALL（2017年）を共同設立しました。⁶⁷⁸
• 移民から創業者へ。 1976年に北京で生まれ、16歳でニュージャージーに渡り、プリンストン在学中も家族のクリーニング店を切り盛りし、物理学の学士号とカルテックの博士号を取得しました。現在は、3Dの世界を理解するモデルを構築する空間知能のスタートアップ、World Labsを率いています。¹²¹⁰

原理

「私たちのAIに関する仮説はデータ駆動でなければならず、データ中心こそが正しい仮説だった」――ImageNetの背後にあった賭けについて、フェイフェイ・リー⁹

2000年代の大半を通じて、機械学習における支配的な本能はモデルの改良でした。より巧妙なアーキテクチャ、より優れたオプティマイザ、より鋭い特徴抽出器。データは、アルゴリズム同士が競い合う固定された控えめな背景として扱われていたのです。フェイフェイ・リーの中心的な一手は、その序列をひっくり返すことでした。彼女は、本当のボトルネックはアルゴリズムではなくデータなのだと主張します。機械の知覚を前進させる方法は、数千の例題の上でモデルを磨き続けることではありません。桁違いに多くの適切な例題を与え、子どもが世界を学ぶように――十分な量に出会うことによって――学ばせることなのだ、と。⁹

この類推は飾りではなく、議論そのものでした。子どもにものの見方を教えるのに、規則を列挙する人はいません。子どもは視覚体験の奔流に浸ることで学びます――物体、情景、顔を何百万回となく垣間見るうちに、視覚世界の構造が定まっていくのです。リーの賭けは、学習アルゴリズムにも同じものが必要だ、というものでした。必要なのはより優れた教師ではなく、はるかに大きく豊かな例題の流れだ、と。そこで彼女は、この分野が避けてきた地味で膨大な仕事に取り組みました。その流れそのものを築いたのです。³

原理を一行で言えばこうなります――データこそが土台であり、AIは人間中心でなければならない。 前半はエンジニアリングの主張です。知能は十分な量の適切なデータの上で学ぶことから立ち現れ、そのデータを供給する者がこの分野にできることを形づくる、と。後半は目的についての主張です。リーは、AIは何か異質な力ではないと言い張ります。それは人間の作り出した人工物であり、その唯一の正当性は人々の役に立つことにあるのだ、と。「AIに人工的なものは何もありません」と彼女は学生たちによく語ります。「それは人間が作り、人間のために動くことを意図され、人間の生活と人間社会に影響を及ぼすのです」⁶。彼女はモデルではなくデータセットを築くことでこの分野に「目」を与え――その後の10年を、その目が人間の善に向けられ続けるよう主張することに費やしました。

背景

フェイフェイ・リーは1976年に北京で生まれました。¹ 彼女が12歳のとき、父親がニュージャージー州パーシッパニーに移住します。16歳のとき、彼女と母親もあとを追い、ほとんど英語が話せないまま到着しました。¹² 一家のアメリカでの足がかりはクリーニング店で、リーはそこで働きました――高校時代は週末ごとに、大学進学後も帰省するたびにほぼ毎週末、勉強の合間に店の運営を手伝い、帳簿をつけたのです。¹² これは心に留めておくに値する一節です。後にコンピューティングの歴史上もっとも大規模なラベリング作業の一つを取り仕切ることになる人物は、カウンターの前で他人の洗濯物を処理しながら、運営の規律を学びました。

彼女は奨学金を得てプリンストンに進学し、1999年に物理学の学士号を取得します。その間の一時期は、家業を遠隔で切り盛りしていました。¹² コンピュータサイエンスではなく物理学――乱雑な現象の背後にある単純な法則を探す訓練であり、それこそ彼女が後に視覚に対して適用することになる本能でした。彼女は大学院でカルテックに移り、2001年に電気工学の修士号、2005年に博士号を取得し、神経科学とコンピュータビジョンの交差点で研究を行いました。¹

プリンストンの教員となり、続いてスタンフォード（2009年）に加わるころには、彼女は自身の分野の流れに逆らう一つの信念を身につけていました。前進への道は、小さなデータセットの上のより優れたモデルではなく、誰も築こうとしなかった桁違いに大きなデータセットなのだ、という信念です。¹⁴ これに続くすべて――ImageNet、チャレンジ、人間中心への転換、スタートアップ――は、その一つの逆張りの賭けを徹底的に突き詰めたものなのです。

仕事

ImageNet：この分野に「目」を与える（2009年）

リーの賭けをもっとも明快に体感できるのは、モデルを固定したまま学習データを増やしたときに何が起こるかを眺めることです。分類器が賢くなるわけではありません――アルゴリズムは変わらないのです――それでも、ラベル付きの例題を一つ与えるごとに、世界に対する分類器の像はくっきりしていきます。下のウィジェットはそれを手で触れられるものにします。少数の点から始めると、同じモデルは粗く誤った境界を推測します。ラベル付きのデータを次々と加えていくと、モデルは本当の形をなぞり、その精度は天井に向かって上がっていくのです。これがImageNetの主張を凝縮したものです。

その歴史は具体的であり、誰の功績かという点も重要です。リーはこのプロジェクトを構想し、プリンストン在籍中の2006〜2007年ごろにアイデアの作業を始めました。WordNetの共同制作者であるクリスティアン・フェルバウムと協力し、WordNetの概念階層をデータセットを支える背骨として用いたのです。⁴ ImageNetは、まぎれもなく彼女が率いたチームの取り組みでした。CVPR 2009で発表された記念碑的論文「ImageNet: A Large-Scale Hierarchical Image Database」は、Jia Deng、Wei Dong、Richard Socher、Li-Jia Li、Kai Li、そしてリー（上席著者として末尾に記載）の共著です。³ この分野を作り変えたバージョンのデータセットは、20,000以上のカテゴリーにまたがるおよそ1,400万枚の手作業注釈付き画像にまで成長しました――完全版のImageNet-21Kリリースは21,841クラスに14,197,122枚の画像を含みます。⁴

エンジニアリング上の問題はモデルではなく、ラベリングでした。1,400万枚の画像を手作業で注釈づけることは、どの研究グループにとっても手に余ります。そこでリーのチームはAmazon Mechanical Turkに目を向け、2008年7月から2010年4月にかけて167か国のおよそ49,000人の作業者に作業を分散させ、1億6,000万枚を超える候補画像をふるいにかけ、残した各画像を品質のために複数回ラベルづけしました。⁴ この物流上の偉業――地球規模で知覚をクラウドソーシングすること――こそが貢献でした。「もっとデータを使え」と提案することは誰にでもできたでしょう。リーはそれを現実にする装置を築いたのです。

ILSVRCと2012年のAlexNetによる裏づけ

データセットだけでは何も証明できません。この分野にそれを使わせなければならないのです。そこで2010年から2017年にかけて、リーのグループはImageNet Large Scale Visual Recognition Challenge（ILSVRC）を運営しました――1,000カテゴリーに標準化された部分集合の上で行われる年次コンペティションで、約128万枚の学習画像、50,000枚の検証画像、100,000枚のテスト画像を用います。⁴ このチャレンジはImageNetを共有のベンチマークでありリーダーボードへと変え、10年近くにわたってコンピュータビジョン研究の重力の中心となりました。

裏づけは2012年9月30日に訪れました。深層畳み込みニューラルネットワーク――トロントにあるジェフリー・ヒントンの研究室から生まれたAlexNet――が、トップ5エラー率15.3%でチャレンジを制し、2位に10.8パーセントポイント以上の差をつけたのです。⁴⁵ そのマージンは、現代のAI時代の蝶番です。しかし見落とされがちなのはなぜそれが可能だったのか、という点です。畳み込みアーキテクチャは新しいものではなく、勾配ベースの学習も新しいものではありませんでした。新しかったのは、史上初めて、深層ネットワークがただ丸暗記するのではなく学習できるほど大きく豊かなデータセットが存在したことです。リーが、欠けていた要素を供給したのです。彼女自身の教え子が後に数値化したように、ImageNetでは人間の精度すら容易には得られません――リーのもとで博士号を取り、チャレンジの人間ベンチマーク実験を担当したアンドレイ・カルパシーは、集中して取り組んでようやくトップ5の人間のエラー率を約5.1%と見積もりました。⁵ 機械はいまや、人間を消耗させるほどの水準に迫っていたのです。

これはシリーズ全体のなかで、データ中心の主張をもっとも明快に示す例です。勝利したアルゴリズムはジェフリー・ヒントンの系譜に属し、畳み込みアーキテクチャはヤン・ルカンのLeNetの末裔です。しかしリーのデータなしでは、どちらも2012年に勝てなかったでしょう。モデルとデータは一つの突破口の二つの半分なのです――そして10年のあいだ、この分野は間違ったほうの半分を固定し続けていました。

人間中心のAIとStanford HAI

この分野により強力な「目」を手渡したのち、リーはキャリアの次の局面を、その目がどこに向けられているのかを案じることに費やしました。彼女の捉え方は一見すると単純です。AIは人類に降りかかる外的な力ではない。それは人間の創造物であり、その目的は人間の利益にある、と。「私はよく学生たちに、『人工知能』という名前に惑わされてはいけないと伝えます――そこに人工的なものは何もありません」と彼女は書いています。「AIは人間が作り、人間によってふるまうことを意図され、最終的には人間の生活と人間社会に影響を及ぼすのです」⁶。

2019年3月、彼女はその信念を制度として根づかせ、哲学者でありスタンフォードの元プロボストであるジョン・エチェメンディとともにStanford Institute for Human-Centered Artificial Intelligence（HAI）を共同設立し、創設共同ディレクターを務めました。⁷ HAIの使命――人間の状況を改善するためにAIの研究、教育、政策、実践を前進させること――は、しばしば能力を孤立させて最適化してしまう分野に対する、意図的な重しです。それは、私が美意識を技術的システムとして扱うよう駆り立てられるのと同じ本能です――その場のノリではなく。仕事が何のためにあるのかという問いは、生ぬるいものではなく、エンジニアリングの後にやってくるものでもありません。それはエンジニアリングの一部なのです。

AI4ALL、Google Cloud、『The Worlds I See』、そしてWorld Labs

リーのキャリアは、彼女ほどの地位の研究者としては異例なほど幅広く、その各章が同じ二つの原理を表しています。2017年、彼女はAIにおける多様性を高めるために活動する非営利団体AI4ALLを共同設立しました――「人間中心」を誰がシステムを作るのかという問いに直接適用したものです。⁸ 2017年1月から2018年の秋にかけてスタンフォードからサバティカルを取り、Google CloudでAI/MLのチーフサイエンティスト兼バイスプレジデントを務め、研究から製品への翻訳を産業界へと持ち込みました。¹

2023年、彼女は回顧録『The Worlds I See』を出版しました。バラク・オバマが推薦図書に挙げ、Financial Timesが年間ベストブックの一冊に選んだ本です――「半分は回顧録、半分は科学」、移民の科学者とデータ中心の賭けの物語を一冊に収めたものです。⁹ そして2024年9月、彼女はJustin Johnson、Christoph Lassner、Ben Mildenhallとともに空間知能のスタートアップWorld Labsを共同設立しました――3Dの世界を知覚し、生成し、推論する基盤「world model（世界モデル）」を構築する企業で、およそ10億ドルの資金を後ろ盾としています。¹⁰ その一貫した筋道は正確です。ImageNetは機械に静的な視覚を与えました。World Labsは機械に空間的な理解を与えるという彼女の賭けです――次の、より難しい種類の「見る」ことなのです。

方法

リーの方法は、クリーニング店のカウンターから空間知能の研究室まで一貫しています。誰もが見過ごしている制約を見つけ、それを取り除く地味なものを築き、仕事を人々に向け続けること。

モデルだけでなく、データを攻める。 ある分野が行き詰まったとき、ボトルネックは本当にアルゴリズムなのか、それともアルゴリズムが学ばねばならないデータのほうなのかを問うこと。リーを決定づけた一手は、データを疑い――そして膨大な物流上の代償を払って、それを証明するデータセットを築いたことでした。³⁴

すでにそれを解いている領域から構造を借りる。 ImageNetは独自の分類体系を発明したわけではありません。WordNetが持つ人間の概念の階層の上に立ったのです。既知の構造が問題に合うなら、作り直すのではなくそれを取り込むこと――ルカンが並進不変性を畳み込みに織り込んだのと同じ本能です。³⁴

この分野に自分の仕事を使わせる。 引き出しの中のデータセットは何も変えません。ILSVRCチャレンジはImageNetをリーダーボードを備えた共有のベンチマークへと変え、それこそが実際に研究コミュニティを動かしたものでした。⁴

問題が要求する規模でクラウドソーシングする。 1,400万枚の画像をラベルづけすることは一つの研究室には不可能でした。だからリーは数万人の作業者にまたがる注釈パイプラインを築いたのです。その運用上の解決策こそが、科学的な貢献でした。⁴

何のためにあるのかを問い続ける。 人間の目的を欠いた能力は、リーの見方では、不完全なエンジニアリングです。HAIとAI4ALLは研究にあとから付け足された慈善事業ではありません。それは方法を拡張したもの――その仕事が存在するに値するかを問うSteveテストを、分野全体に適用したものなのです。⁶⁷⁸

影響の連鎖

彼女を形づくった人々

クリスティアン・フェルバウムとWordNet。 ImageNetを支える背骨はWordNetの概念階層であり、リーはWordNetの共同制作者クリスティアン・フェルバウムとの直接の協力のもとでデータセットを築きました。人間の言語の分類体系が、機械の視覚の骨格になったのです。（直接の影響）

学習についての認知科学的な見方。 リーの中心的な類推――モデルは子どもがそうするように、十分な量の世界に触れることで視覚を学ぶべきだ――は、カルテックで神経科学とコンピュータビジョンの境目を歩んだ訓練に由来します。規則よりデータに賭けることは、生物の知覚が実際にどう発達するかへの賭けなのです。（形成的な影響）

物理学者の本能。 彼女の学部での訓練はコンピュータサイエンスではなく物理学でした――乱雑な現象の背後にある単純な構造を見つけ出す学問です。「より多くの適切なデータ」がこの分野の法則であって力任せの裏技ではない、と信じる気持ちは、物理学者ならではの確信です。（形成的な影響）

彼女が形づくった人々

現代のコンピュータビジョン。 ImageNetで学習または事前学習されたすべての視覚システム――それは10年のあいだ、事実上そのすべてを意味します――は、リーのデータを受け継いでいます。彼女は単にこの分野に貢献したのではありません。この分野が学ぶ基盤そのものを供給したのです。

深層学習の時代そのもの。 現代のAIブームの始まりとしてもっとも頻繁に引き合いに出される出来事である2012年のAlexNetの勝利は、彼女のデータの上で、彼女のチャレンジの中で実現しました。その突破口のデータ中心の半分は彼女のものです。

一世代の研究者たち。 スタンフォードの研究室を通じて、彼女はアンドレイ・カルパシーをはじめ、それぞれが中心的な人物となった学生たちを指導しました。そしてAI4ALLを通じて、そもそも誰がこの分野を築けるのかという裾野を広げようと取り組んできました。

貫く筋道

リーはこのシリーズの深層学習の枝におけるデータの根であり、隣り合う人々との結びつきは異例なほど文字どおりです。ジェフリー・ヒントンの研究室は2012年にImageNetを制したアルゴリズムを築き、ヤン・ルカンはそのアルゴリズムの末裔となる畳み込みアーキテクチャを設計しました――しかしAlexNetはリーのデータの上で動いたのです。モデルとデータセットは一つの出来事の二つの半分であり、長年のあいだこの分野はモデルを磨き続けていましたが、そのデータセットこそまだ存在しなかったものでした。前へと続く線は、彼女自身の博士課程の学生であるアンドレイ・カルパシーへと伸びます。彼はILSVRCの人間精度ベンチマークを担当し、のちに「Software 2.0」――ネットワークをデータからコンパイルされたプログラムと捉える考え方――を提唱しました。これは、知能が宿るのはコードではなくデータだというリーの賭けを自然に一般化したものです。ルカンは「世界を学べ」と言い、ヒントンは「その学習機械は機能する」と言い、リーは言います――「ここに学ぶべき世界がある、さあ行け」と。（シリーズの架け橋）

ここから学ぶこと

リーから私がずっと持ち続けている教訓は、地味な土台こそがしばしば本当の突破口だ、ということです。この分野は10年をモデルで競うことに費やしました――賢さが宿っているように感じられるのがモデルだからです――それでいて、この分野をもっとも遠くへ進めた人物は、データセットを築くことでそれを成し遂げました。それはアルゴリズム上の洞察というより、運用上の忍耐の行為でした。それは私の本能の順序を組み替えます。何かが行き詰まったとき、私はいまや真っ先にこう問います。ボトルネックは私が取り組みたい賢い部分なのか、それとも私が避けている退屈な部分――データ、ラベリング、誰も築きたがらない土台――なのか、と。それは証拠ゲートと同じ規律です。「最適化するのにもっとも面白いものは何か」ではなく、「実際の制約は何か」を問うのです。

第二の教訓は、より難しく、より静かなものです。リーはこの分野に本当により強力な能力を与え、そののち10年を、それが人々に対して責任を負い続けるよう主張することに費やしました――HAIを設立し、AI4ALLを設立し、人間が人間のために作るものに人工的なものは何もないと繰り返したのです。それはエンジニアリングへの結びの言葉ではありません。それはエンジニアリングが存在する理由そのものです。だからこそ私は品質こそが唯一の変数であると考え、Steveテスト――これは存在するに値するか――は、単なる仕上げの磨きではなく、能力そのものに向けて問うべきものだと考えます。リーは「目」を築き、そののち、その目が人間の善に向けられ続けるよう見届けました。土台と、その土台が何のためにあるのか、ということを。

FAQ

フェイフェイ・リーのエンジニアリング哲学とは何ですか？

データこそが土台であり、AIは人間中心でなければならない、というものです。リーを決定づけた賭けは、機械の知覚におけるボトルネックはモデルではなくデータだ――知能は、子どもが経験を通じてものの見方を学ぶように、十分な量の適切な例題の上で学ぶことから立ち現れる――というものでした。彼女はそれを行動に移し、およそ1,400万枚のラベル付き画像データセットであるImageNetを構想し、率いました。³⁴ 第二の原理は、AIは人間の利益のための人間の人工物だ――「そこに人工的なものは何もない」――というもので、彼女はこれをStanford HAIとAI4ALLを通じて制度化しました。⁶⁷⁸

ImageNetとは何ですか。フェイフェイ・リーは一人でそれを築いたのですか？

ImageNetは、現代のコンピュータビジョンの基盤的な学習セットとなった大規模なラベル付き画像データベースです――WordNetの概念階層に沿って整理され、Amazon Mechanical Turkを介してラベルづけされた、20,000以上のカテゴリーにまたがるおよそ1,400万枚の手作業注釈付き画像です。⁴ リーはこのプロジェクトを構想し、率いましたが、それはチームの取り組みでした。2009年のCVPR論文「ImageNet: A Large-Scale Hierarchical Image Database」はJia Deng、Wei Dong、Richard Socher、Li-Jia Li、Kai Li、そしてフェイフェイ・リー（上席著者として）の共著であり、WordNetの背骨はWordNetの共同制作者クリスティアン・フェルバウムとの協力から生まれました。³⁴

ImageNetはどのように深層学習ブームへとつながったのですか？

2010年から2017年にかけて、リーのグループは1,000カテゴリーの部分集合の上で行う年次コンペティション、ImageNet Large Scale Visual Recognition Challenge（ILSVRC）を運営しました。⁴ 2012年9月30日、深層畳み込みネットワークAlexNetがトップ5エラー率15.3%で勝利し――2位に10.8ポイント以上の差をつけました――この出来事は広く現代のAI時代の始まりとして扱われています。⁴⁵ 決定的な点は、畳み込みアルゴリズムはすでに存在していた、ということです。新しかったのは、それが学習できるほど大きなデータセットでした。欠けていた要素は、モデルではなくデータだったのです。⁴

フェイフェイ・リーは今、何をしていますか？

Stanford HAI（2019年）とAI4ALL（2017年）を共同設立し、Google CloudでAI/MLのチーフサイエンティスト（2017〜2018年）を務め、2023年に回顧録『The Worlds I See』を出版したのち、リーは2024年9月にWorld Labsを共同設立しました。¹⁷⁸⁹ World Labsは、3Dの世界を知覚し、生成し、推論する基盤「world model（世界モデル）」を構築する空間知能のスタートアップであり――機械の知覚の次なるフロンティアへの彼女の賭けで、約10億ドルの資金を後ろ盾としています。¹⁰

出典