工程哲学：赵京铉（Kyunghyun Cho）

核心要点

• 他为循环神经网络赋予了可学习的记忆门。 作为2014年论文《Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation》的第一作者，赵京铉提出了门控循环单元（Gated Recurrent Unit，GRU）——一种简化的门控单元，让网络在每一步自行学习该保留多少过往状态、又该覆盖多少，而所用参数比与之比肩的LSTM更少。¹³
• 他推动了注意力机制走进机器翻译。 赵京铉与Dzmitry Bahdanau（第一作者）以及Yoshua Bengio合作撰写了《Neural Machine Translation by Jointly Learning to Align and Translate》（2014），让解码器能够软性地对齐到源句的任意部分，而不必把整句话挤压进一个定长向量。这一机制是Transformer乃至当代所有大语言模型的直接祖先。²⁴
• 他是开放、可复现科学的重要倡导者。 赵京铉一直积极推动开放评审与审慎的实证精神——诚实的基线、对自身结果保持怀疑、研究成果公开发表——这些都体现在他对同行评审的研究以及对OpenReview等开放平台的使用之中。⁵⁶
• 从Aalto到NYU，再到药物设计。 他1985年生于韩国，在芬兰Aalto大学取得博士学位，随后在蒙特利尔大学跟随Yoshua Bengio做博士后，2015年加入NYU，并联合创办了Prescient Design——如今已并入Genentech——将机器学习应用于抗体设计。¹⁷

核心原则

“一个RNN将符号序列编码为一个定长的向量表示，另一个RNN再把该表示解码成另一段符号序列。”——赵京铉等人，描述其后续工作终将超越的那个RNN编码器-解码器¹

工程上最古老的本能，就是亲手设计控制结构。你来决定哪些输入重要、系统该把某个值记住多久、该到缓冲区的何处去查找。你把这些决定写进架构，系统也就继承了你的猜测。而赵京铉的全部工作恰恰反其道而行。他最具代表性的贡献——GRU的门控与注意力的软对齐——都遵循同一个动作：不再把控制结构写死，而是让模型自己学会它。 保留哪个过往状态、关注哪个输入——这些不再是设计者手工固定的规则，而成了网络从数据中调出来的参数。¹²

GRU是其中最纯粹的例子。一个普通的循环网络把隐藏状态向前传递，并在每一步以固定的方式将旧状态与新输入混合。这种固定的混合是设计者的猜测，而它通常是错的：序列早期的重要信号往往在几步之内就被稀释成噪声。赵京铉的门控单元用一个可学习的门取代了这一猜测——这是一个取值在sigmoid范围内的小型控制器，逐步、逐维地决定保留多少旧记忆、又用新输入覆盖多少。³ 网络自己学会何时该握紧、何时该松手。没有人手写记忆策略；策略是由数据写就的。

注意力是同一思想从“记忆”转向“观看”的应用。而赵京铉的原则还有让前半部分保持诚实的下半句——一种科学家的纪律。要弄清一个可学习的机制是否真的有用，靠的不是热情，而是与强基线的公平对决、对结果保持怀疑直到它经得起检验、以及方法的公开发表以便他人复现。⁵⁶ 让模型学会自己的控制结构——然后诚实地、公开地验证它确实奏效。 前半句是力量的来源；后半句则让这股力量值得信赖。

背景

赵京铉于1985年生于韩国。¹ 他2009年在KAIST取得计算机科学学士学位，随后赴芬兰Aalto大学深造，2011年获机器学习与数据挖掘硕士学位，并于2014年取得理学博士学位，导师为Juha Karhunen教授（合作者包括Tapani Raiko与Alexander Ilin）。¹⁷ 芬兰看似不像是孕育深度学习关键年份的摇篮，但时机正是要点所在：他恰好在这一领域即将转向之时完成了博士学业。

从Aalto出发，他前往蒙特利尔，在蒙特利尔大学跟随Yoshua Bengio做博士后——那个后来成为MILA的实验室，当时是全世界深度学习人才最密集之处。¹ 支撑本文的两篇论文——GRU与基于注意力的NMT模型——都出自2014年那个窗口期，且Bengio都是其中的共同作者。¹² 值得驻足体会这一切发生得有多快：一位研究者以博士后身份到来，大约一年之内，就成了提出GRU那篇论文的第一作者，又是把注意力引入翻译那篇论文的共同作者。如今这两个想法都支撑着相当大一部分实际运行的AI。

2015年，他加入纽约大学（NYU），如今在Courant研究所与数据科学中心任计算机科学与数据科学教授，是Glen de Vries健康统计学讲席教授，并与Yann LeCun共同担任NYU全球AI前沿实验室（Global AI Frontier Lab）的联合主任。⁷ 2017至2020年间，他在Facebook AI Research担任研究科学家；而真正显示其原则跨越语言领域的一章，是2021年初他联合创办了Prescient Design——一家采用“实验室在环（lab-in-the-loop）”模式的抗体设计初创公司，同年被Genentech收购，在那里他领导前沿研究，将生成式机器学习应用于药物设计。⁷⁸ 自始至终，他都是开放、可复现科学的有力倡导者。⁵⁶

工作成果

GRU：一种网络学会去门控的记忆

要体会门控为何重要，不妨看一个循环网络如何试图在一段漫长而嘈杂的序列中携带一个重要的值。网络每次读取一步，握着唯一的隐藏“记忆”，并在每一步更新它。早期出现了一个值得保留的值；其后的一切都是噪声。普通RNN以固定比例混合新旧，于是那个早期的值在几步之内就流失殆尽——到序列末尾时，它已不复存在。整个问题就出在保留还是覆盖这一决定被写死了。下面的组件让这一点变得可感：一个门在每一步决定多少旧记忆得以幸存。把它滑向“保留”，早期的值便完好抵达终点；把它滑向“覆盖”，它几乎立刻就被冲刷殆尽。

这正是赵京铉的GRU所加入的那根杠杆，只不过门由网络学习而来，而非由你设定。GRU在他2014年的RNN编码器-解码器论文中提出，使用两个可学习的门：一个更新门，控制把多少先前的隐藏状态向前携带、又用多少新信息加以替换；以及一个重置门，决定过往的多少部分应影响新的候选状态。³ 两者都是sigmoid取值——介于0与1之间的平滑旋钮——这意味着整个单元都是可微的，可以用梯度下降进行训练。网络从数据中发现何时该长久保留一个值、又何时该把它清空。³

这一设计有意保持精简。它与Hochreiter和Schmidhuber更早提出的LSTM同期出现，后者用更复杂的机件解决同样的梯度消失问题——一个独立的细胞状态，外加一个额外的输出门。GRU“没有上下文向量或输出门，因而参数比LSTM更少”，却在语音识别、音乐建模与语言任务上表现相当。³ 这正是值得点名的工程品味：用更简单的单元抓住核心思想——可学习的门控——而舍弃那些你无法证明确有必要的部件。多年来，GRU与LSTM一直是各类序列建模工具箱中两个默认的循环单元。

注意力：软对齐，以及定长向量瓶颈的终结

RNN编码器-解码器存在一个结构性缺陷，赵京铉自己的论文就点明了它：编码器把整句输入压缩成“一个定长的向量表示”，而解码器必须从这唯一的向量中重建出整段译文。¹ 对短句而言无妨。对长句却是灾难——你是在逼一整段文字穿过一个钥匙孔，而循环网络往往过度偏重句尾附近的词，句首则逐渐淡去。⁴ 瓶颈正是那个定长向量本身。

解决之道，出自《Neural Machine Translation by Jointly Learning to Align and Translate》（2014/2015）——Dzmitry Bahdanau为第一作者，赵京铉与Bengio参与——就是把这个瓶颈彻底去掉。² 模型不再把源句压成一个向量，而是保留每一个源词的表示，并让解码器在每个输出步对所有源词计算一组权重——这是一种可学习的软对齐，意思是“要生成这个词，主要看这里，稍微看一点那里”。⁴ 解码器由此可直接访问输入的任意部分，而不必只通过一个被挤压的状态去触及。⁴ 关键在于，这种对齐并非由语言学家手工指定；它与翻译一道端到端地共同学习。模型自己决定该看向何处——这与GRU的门是同一原则，如今从记忆转用到了注意力上。

从那里通向今天的脉络既短又承重。软对齐被推广为自注意力，2017年Transformer的《Attention Is All You Need》将缩放点积注意力形式化，并彻底丢弃了循环结构——这一设计成了BERT、T5、GPT乃至整整一代大语言模型的基石。⁴ 从某种真切的意义上说，当代的LLM不过是被放大、并剥去外围RNN之后的注意力。赵京铉于2014年帮助引入翻译的那一机制，正是你的聊天机器人赖以运转的那一个。（署名很重要：赵京铉是GRU论文的第一作者，又是注意力论文中与Bahdanau、Bengio并列的共同作者——并非他一人提出了注意力。）¹²

开放、可复现的科学

第二条原则更为低调，而在一个易被炒作裹挟的领域里，也更难坚持。赵京铉一贯倡导开放、可复现的科学——研究在公开之中进行与评审，配以诚实的基线，以及对自身结果切实有效的怀疑。⁵⁶ 他使用并力挺OpenReview这类开放平台，还贡献了关于同行评审本身的研究，探讨诸如作者对自己论文的评估能否为评审过程提供参考之类的问题。⁵⁶ 贯穿其中的主线是：一个结果在经受作者无法操控的检验之前，算不上结果。

为何这在技术上至关重要：深度学习异乎寻常地容易让人自欺。一个新架构几乎总能击败一个弱基线、一颗走运的随机种子，或一个调参不足的对手——而文献里满是“改进”，一旦有人给老方法一场公平的对决，它们便烟消云散。赵京铉所示范的纪律，是在被证明之前先假定自己的增益是假象，把基线调到和自己的方法一样卖力，并把成果公开到足以让人证明你是错的。这正是那种实证的良知，它让“让模型自己学”的本能不至于堕落成“模型学会了，因为我希望它学会”。

面向科学的机器学习：Prescient Design

赵京铉的原则具有普适性、而非语言专属，最清楚的标志在于他随后把它带向了何处：药物设计。2021年初，他联合创办了Prescient Design，同年被Genentech收购，旨在构建一个用于设计治疗性抗体的“实验室在环”平台。⁷⁸ 这一闭环把生成式ML模型、多任务性质预测器、主动学习筛选与真实的湿实验耦合成一个迭代循环——模型提出抗体变体，实验室加以测试，结果再去重新训练模型。⁸ 在一系列临床相关靶点上，该系统设计并测试了上千个变体，并改造出比起始先导分子结合力大幅增强的抗体。⁸ 这一结构与他构建的其他一切贯穿如一：不要亲手设计答案，而要构建一个能从证据中学出答案的系统——并用真实测量闭合循环，让学习始终保持诚实。

方法

把GRU、注意力、对开放科学的倡导以及抗体工作通读下来，同样的信念反复出现。与其说赵京铉的方法是一句口号，不如说是一组长期坚守的习惯。

让控制结构可学习。 其标志性动作，是把一个你通常会写死的决定——记多久、看哪里——转化为模型从数据中调出来的参数。GRU的门与注意力的对齐，是同一本能在两个领域的体现。这一启示远远超出序列模型的范畴：当你发现自己在猜一个阈值、一个权重或一条路由规则时，不妨问问，系统能否比你猜得更好地把它学出来。¹²

优先选择抓住核心思想的更简单机制。 GRU保留了可学习的门控，舍弃了LSTM的细胞状态与输出门，以更少的参数实现了相当的性能。³ 这是神经单元层面的最小可敬产品——仍能承载那个承重思想的最小单元，与贯穿Sophie Wilson的ARM的那种手段之节制如出一辙。

先点名瓶颈，再去除它。 赵京铉自己的编码器-解码器论文点名了定长向量这一局限；注意力论文则将其去除。¹⁴ 这种纪律在于先精确地陈述结构性缺陷——那段穿过钥匙孔的文字——因为一个被尖锐点名的瓶颈就已解决了一半。这与李飞飞决定攻打数据而非模型是同一本能：找到真正的约束，而非那个顺手的约束。

给基线一场公平的对决。 诚实的实证意味着，要把你想超越的方法调到和你提出的方法一样卖力，并在自己的增益经受住这一考验之前始终对它存疑。这是把证据关口化为一种研究实践——“它变好了”不是证据；“它在一个强而公开可复现的基线面前变好了”才是。⁵⁶

在公开之中工作。 开放评审、开放平台、可复现的结果。一个方法的价值不在于其作者声称什么，而在于什么能经受独立的检验——这正是为什么把成果公开到足以被核查，是工程的一部分，而非事后的客套。这是把质量是唯一的变量用到科学自身：唯一算数的，是结果是否真实。⁵⁶

影响链

谁塑造了他

Yoshua Bengio与MILA团队。 赵京铉的关键之年，是在Bengio的蒙特利尔实验室做博士后时度过的，GRU与注意力两篇论文Bengio都是共同作者。¹² MILA正是当年把2010年代初的循环网络与机器翻译思想推得最猛的环境，赵京铉的工作与之密不可分。（直接影响）

Juha Karhunen与Aalto学派。 他在Aalto跟随Juha Karhunen，与Tapani Raiko、Alexander Ilin一道接受的博士训练，让他在蒙特利尔岁月为之赋予翻译目标之前，先扎根于无监督学习与神经网络的传统。¹⁷（奠基影响）

深度学习的谱系。 GRU所应对的梯度消失问题，以及它所处的循环与卷积架构，都承袭自Geoffrey Hinton与Yann LeCun数十年的工作——正是这些工作确立了深度网络终究是可以训练的。如今赵京铉与LeCun在NYU共同执掌一个实验室。⁷（奠基影响）

他塑造了谁

当代的序列建模。 多年来GRU都是两个默认循环单元之一——每位NLP、语音与时间序列从业者下意识就会做出的GRU/LSTM抉择中更简单的那一半。³

Transformer与LLM时代。 注意力，在赵京铉参与撰写的那篇论文中被引入翻译，后来被推广为自注意力，而Transformer正是由它构建——Transformer又是当代每一个大语言模型赖以运转的根基。⁴ 这一机制是该领域历史上最具深远影响的机制之一。

面向科学的机器学习。 通过Prescient Design与Genentech，赵京铉推动生成式ML走进治疗性抗体设计，论证了“从证据中学、用测量闭合循环”这一范式之于生物学一如之于语言。⁸

贯穿的主线

赵京铉是本系列深度学习分支的机制枢纽——从基础通往LLM时代的桥梁。Geoffrey Hinton与Yann LeCun确立了深度网络能够学习；李飞飞提供了它们赖以学习的数据。赵京铉的门控与注意力，则是把这些基础转变为能够大规模处理语言之物的那一步架构跃进——而他的注意力工作直接汇入了Transformer，Andrej Karpathy后来正是教会一代人去构建它，它也驱动着当代的LLM。当Hinton说学习机器能行、李飞飞说这是供其学习的世界，赵京铉则说：让模型学会自己的控制结构——记住什么、看向什么——再在公开之中证明它确实学会了。 前一句是通往Transformer的脉络；后一句是让它保持诚实的实证良知——与李飞飞带给基准测试的那种严谨同出一辙。（系列之桥）

我从中所取

我从赵京铉身上一直记取的，是别把系统本可学会的决定写死。和大多数工程师一样，我的本能是把自己的判断编码进去——这个阈值、那个权重、这条路由规则——因为我的判断感觉才是那个值得信赖的部分。GRU与注意力都在论证一件相反的事，且它往往更经得起岁月：给模型恰当的机制与足够的数据，它学出的记忆策略或对齐，会远胜我去猜测一个。所以每当我发觉自己在调一个魔法常数，或在手写一条决定何者重要的分支时，如今我会问自己：我是不是正在把一个本该由系统去学的决定给编码下来。真正的本领不在于做出那个选择，而在于构建那个让选择得以被学会的结构。

第二条启示，是那种让第一条不至于自欺欺人的纪律。让系统学会自己的行为之所以令人沉醉，恰恰因为它太容易看起来奏效了——演示通过了，指标上扬了，而我也愿意相信。赵京铉的开放科学之道便是解药：在自己的结果经受住与强基线的公平对决之前，先假定它是假象，并把它公开到足以让人证明你错了。这正是我把证据关口视为不可商量的原因——“它变好了”是一种感觉，“它在一个调好的基线面前可复现地变好了”才是证据。构建能学会自己控制结构的系统，再用一套你无权设定的证明标准去要求它们。力量与诚实，是同一项实践的两半。

常见问题

什么是GRU（门控循环单元）？

GRU是一种循环神经网络单元，赵京铉作为第一作者在2014年论文《Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation》中提出。¹ 它使用可学习的门——一个更新门和一个重置门，两者均取sigmoid值，介于0与1之间——来控制每一步保留多少先前的隐藏状态、又用新输入覆盖多少。这让网络得以学会在长序列中该记住什么，从而解决梯度消失问题。它的表现与LSTM相当，却使用更少的参数，因为它省去了LSTM那个独立的细胞状态与输出门。³

赵京铉对注意力机制与神经机器翻译有何贡献？

赵京铉是《Neural Machine Translation by Jointly Learning to Align and Translate》（2014）的共同作者——与Dzmitry Bahdanau（第一作者）以及Yoshua Bengio合作——这篇论文把注意力机制引入了神经机器翻译。² 模型不再把源句压缩成一个定长向量，而是保留每个源词的表示，并让解码器在每个输出步对所有源词学习一种软对齐。这一机制在2017年被推广为Transformer的自注意力，而后者正是当代大语言模型的根基。⁴ 另外，赵京铉还是2014年提出GRU那篇论文的第一作者。¹

注意力解决了编码器-解码器的什么瓶颈？

最初的RNN编码器-解码器，正如赵京铉2014年论文所述，把整句输入编码成“一个定长的向量表示”，解码器必须由此重建出全部输出。¹ 对长句而言，这唯一的向量就是瓶颈——一整段文字被逼着穿过钥匙孔——而循环网络往往会丢失序列起始处的信息。⁴ 注意力去除了这一瓶颈：它保留每个源位置的表示，让解码器以可学习的权重直接关注其中任意一个，而不再依赖单一的压缩状态。⁴

赵京铉如今在做什么？

赵京铉是NYU Courant研究所与数据科学中心的计算机科学与数据科学教授，是Glen de Vries健康统计学讲席教授，并与Yann LeCun共同担任NYU全球AI前沿实验室的联合主任。⁷ 他于2021年联合创办Prescient Design——同年被Genentech收购——在那里领导前沿研究，将生成式机器学习应用于“实验室在环”的治疗性抗体设计，把ML模型与湿实验耦合进一个迭代优化循环。⁷⁸ 他至今仍是开放、可复现科学的积极倡导者。⁵⁶

来源