엔지니어링 철학: 조경현

핵심 요점

• 그는 순환 신경망에 학습되는 메모리 게이트를 부여했습니다. 2014년 논문 “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation”의 제1저자로서, 조경현은 Gated Recurrent Unit (GRU) 를 제안했습니다. 이는 단순화된 게이트 셀로, 네트워크가 각 단계에서 과거 정보를 얼마나 유지하고 얼마나 덮어쓸지를 스스로 학습하게 하며, 경쟁 상대인 LSTM보다 적은 매개변수를 사용합니다.¹³
• 그는 어텐션을 기계 번역에 도입하는 데 기여했습니다. 조경현은 Dzmitry Bahdanau(제1저자), Yoshua Bengio와 함께 “Neural Machine Translation by Jointly Learning to Align and Translate”(2014)를 공동 저술했습니다. 이 연구는 디코더가 문장 전체를 하나의 고정 길이 벡터로 짜내는 대신, 원문의 어느 부분에든 부드럽게 정렬할 수 있게 했습니다. 이 메커니즘은 Transformer와 현대의 모든 거대 언어 모델의 직접적인 조상입니다.²⁴
• 그는 개방적이고 재현 가능한 과학의 선도적 목소리입니다. 조경현은 개방형 리뷰와 신중한 실증주의의 적극적인 지지자였습니다 – 정직한 베이스라인, 자신의 결과에 대한 회의, 그리고 공개적으로 발표되는 연구가 그것입니다. 이는 그의 동료 심사 관련 작업과 OpenReview 같은 개방형 플랫폼 활용을 통해 확인됩니다.⁵⁶
• 알토에서 NYU를 거쳐 신약 설계까지. 1985년 한국에서 태어난 그는 알토 대학교에서 박사 학위를 받았고, 몬트리올 대학교에서 Yoshua Bengio와 함께 박사후 연구를 수행했으며, 2015년 NYU에 합류했고, Prescient Design을 공동 창업했습니다 – 현재 Genentech의 일부가 된 이 회사에서 기계 학습을 항체 설계에 적용하고 있습니다.¹⁷

원칙

“하나의 RNN은 일련의 기호를 고정 길이 벡터 표현으로 인코딩하고, 다른 하나는 그 표현을 또 다른 일련의 기호로 디코딩합니다.” – 조경현 외, 훗날 자신의 연구가 뛰어넘는 법을 배우게 될 RNN 인코더-디코더를 설명하며¹

엔지니어링에서 가장 오래된 본능은 제어 구조를 직접 설계하는 것입니다. 어떤 입력이 중요한지, 시스템이 어떤 값을 얼마나 오래 기억해야 하는지, 버퍼의 어디를 봐야 하는지를 당신이 결정합니다. 그 결정을 아키텍처에 새겨 넣으면, 시스템은 당신의 추측을 그대로 물려받습니다. 조경현의 연구 전반은 그 반대 방향으로 흐릅니다. 그의 대표적인 기여인 GRU의 게이트와 어텐션의 부드러운 정렬은 하나의 동일한 수를 공유합니다. 제어 구조를 직접 코딩하기를 멈추고, 모델이 그것을 학습하게 하라. 어떤 과거 상태를 유지할지, 어떤 입력에 주목할지 – 이것들은 설계자가 손으로 고정하는 규칙이 아니라, 네트워크가 데이터로부터 조정하는 매개변수가 됩니다.¹²

GRU가 가장 명료한 사례입니다. 평범한 순환 신경망은 은닉 상태를 앞으로 전달하면서, 매 단계마다 옛 상태와 새 입력을 고정된 방식으로 혼합합니다. 그 고정된 혼합은 설계자의 추측이고, 대개는 틀립니다. 시퀀스 초반의 중요한 신호가 몇 단계 안에 잡음 속으로 희석되어 버립니다. 조경현의 게이트 셀은 그 추측을 학습되는 게이트로 대체합니다 – 단계마다, 차원마다 옛 메모리를 얼마나 유지하고 새 입력으로 얼마나 덮어쓸지를 결정하는, 시그모이드 값을 갖는 작은 제어 장치입니다.³ 네트워크는 언제 붙잡고 언제 놓아줄지를 학습합니다. 메모리 정책을 손으로 코딩하는 사람은 아무도 없습니다. 데이터가 그것을 씁니다.

어텐션은 기억하기 대신 바라보기에 적용된 동일한 발상입니다. 그리고 조경현의 원칙에는 첫 번째 절반을 정직하게 지켜 주는 두 번째 절반이 있습니다 – 과학자의 규율입니다. 학습된 메커니즘이 실제로 도움이 되는지 알아내는 방법은 열정이 아닙니다. 강력한 베이스라인을 상대로 한 공정한 대결, 검증을 통과하기 전까지는 회의하는 결과, 그리고 다른 사람이 재현할 수 있도록 공개적으로 발표된 방법이 그것입니다.⁵⁶ 모델이 스스로 제어 구조를 학습하게 하라 – 그런 다음 그것이 정말로 작동했는지를 정직하게, 공개적으로 검증하라. 첫 번째 절반은 힘이 나오는 곳입니다. 두 번째 절반은 그 힘을 신뢰할 수 있게 만드는 것입니다.

배경

조경현은 1985년 한국에서 태어났습니다.¹ 그는 2009년 KAIST에서 컴퓨터 과학 학사 학위를 받은 뒤, 핀란드로 건너가 알토 대학교에서 대학원 과정을 밟아 2011년 기계 학습 및 데이터 마이닝 석사 학위를, 그리고 2014년 이학 박사 학위를 받았습니다. 지도교수는 Juha Karhunen 교수였습니다(Tapani Raiko, Alexander Ilin과 함께).¹⁷ 핀란드는 딥러닝의 결정적 시기를 배출한 곳으로는 뜻밖이지만, 시기가 핵심입니다. 그는 이 분야가 막 전환점을 맞이하려던 바로 그 순간에 박사 학위를 마쳤습니다.

알토를 떠나 그는 몬트리올로 가 몬트리올 대학교에서 Yoshua Bengio와 함께 박사후 연구원 과정을 밟았습니다 – 훗날 MILA가 될, 당시 세계에서 가장 딥러닝 인재가 밀집한 연구실이었습니다.¹ 이 글의 중심이 되는 두 논문 – GRU와 어텐션 기반 NMT 모델 – 은 모두 그 2014년의 창에서 나왔고, 각각에 Bengio가 공저자로 참여했습니다.¹² 그 속도가 얼마나 빨랐는지 잠시 짚어 볼 만합니다. 한 연구자가 박사후 연구원으로 도착해, 약 1년 안에 GRU를 도입한 논문의 제1저자가 되고 어텐션을 번역에 도입한 논문의 공저자가 됩니다. 두 아이디어는 이제 작동하는 AI의 상당 부분 아래에 자리 잡고 있습니다.

2015년 그는 뉴욕 대학교(NYU)에 합류했고, 현재 그곳에서 Courant Institute와 Center for Data Science의 컴퓨터 과학 및 데이터 과학 교수, Glen de Vries Health Statistics 석좌교수, 그리고 Yann LeCun과 함께 NYU의 Global AI Frontier Lab 공동 디렉터를 맡고 있습니다.⁷ 그는 2017년부터 2020년까지 Facebook AI Research에서 연구 과학자로 일했고 – 그의 원칙이 언어를 넘어 뻗어 나가는 장(章)으로서 – 2021년 초에 Prescient Design을 공동 창업했습니다. 실험실을 루프에 두는(lab-in-the-loop) 항체 설계 스타트업으로, 그해 말 Genentech에 인수되었으며, 그곳에서 그는 생성 기계 학습을 신약 설계에 적용하는 프런티어 연구를 이끌었습니다.⁷⁸ 그 모든 과정에서 그는 개방적이고 재현 가능한 과학의 강력한 옹호자였습니다.⁵⁶

작업

GRU: 네트워크가 게이트를 학습하는 메모리

게이트가 왜 중요한지 실감하려면, 순환 신경망이 길고 잡음 많은 시퀀스를 가로질러 하나의 중요한 값을 운반하려 애쓰는 모습을 지켜보세요. 네트워크는 한 번에 한 단계씩 읽으면서, 매 단계 갱신하는 단일한 은닉 “메모리”를 붙들고 있습니다. 초반에 간직할 가치가 있는 값이 나타나고, 그 이후의 모든 것은 잡음입니다. 평범한 RNN은 옛것과 새것을 고정된 비율로 혼합하므로, 그 초기의 값은 몇 단계 안에 새어 나가 버립니다 – 끝에 이르면 사라집니다. 문제의 핵심은 유지할지 덮어쓸지의 결정이 직접 코딩되었다는 데 있습니다. 아래 위젯이 그것을 손에 잡히게 만듭니다. 하나의 게이트가 각 단계에서 옛 메모리가 얼마나 살아남을지를 결정합니다. 게이트를 “유지” 쪽으로 밀면 초기 값이 온전히 끝까지 도달하고, “덮어쓰기” 쪽으로 밀면 거의 즉시 씻겨 나갑니다.

이것이 바로 조경현의 GRU가 더하는 지렛대입니다. 다만 게이트를 당신이 설정하는 대신 네트워크가 학습한다는 점이 다릅니다. 2014년 그의 RNN 인코더-디코더 논문에서 도입된 GRU는 학습되는 두 개의 게이트를 사용합니다. 이전 은닉 상태를 얼마나 앞으로 운반하고 새 정보로 얼마나 대체할지를 제어하는 업데이트 게이트, 그리고 과거가 새 후보 상태에 얼마나 영향을 줄지를 결정하는 리셋 게이트입니다.³ 둘 다 시그모이드 값을 가집니다 – 0과 1 사이의 매끄러운 손잡이 – 이는 전체가 미분 가능하며 경사 하강법으로 훈련 가능하다는 뜻입니다. 네트워크는 언제 값을 오래 붙들고 있어야 하는지, 언제 흘려보내야 하는지를 데이터로부터 발견합니다.³

이 설계는 의식적으로 절약적입니다. 이는 동일한 기울기 소실 문제를 더 많은 기계 장치로 푸는 Hochreiter와 Schmidhuber의 더 오래된 LSTM – 별도의 셀 상태와 추가 출력 게이트 – 와 나란히 등장했습니다. GRU는 “컨텍스트 벡터나 출력 게이트가 없어 LSTM보다 적은 매개변수를 갖지만,” 음성 인식, 음악 모델링, 언어 작업 전반에서 비슷한 성능을 냅니다.³ 이것이 이름 붙일 가치가 있는 엔지니어링 안목입니다. 학습되는 게이팅이라는 본질적 아이디어를 포착하면서도, 필요하다고 증명할 수 없는 부분은 덜어 낸, 더 단순한 셀입니다. 여러 해 동안 GRU와 LSTM은 모든 시퀀스 모델링 도구함에서 두 개의 기본 순환 셀이었습니다.

어텐션: 부드러운 정렬, 그리고 고정 벡터 병목의 종말

RNN 인코더-디코더에는 구조적 결함이 있었고, 조경현 자신의 논문이 그것을 명명했습니다. 인코더는 입력 문장 전체를 “고정 길이 벡터 표현”으로 짓이기고, 디코더는 그 단일 벡터로부터 번역 전체를 재구성해야 합니다.¹ 짧은 문장이라면 괜찮습니다. 긴 문장이라면 재앙입니다 – 문단 하나를 열쇠 구멍으로 밀어 넣는 셈이고, 순환 신경망은 끝에 가까운 단어를 과도하게 가중하는 경향이 있어 시작 부분은 희미해집니다.⁴ 병목은 고정 길이 벡터 그 자체입니다.

그 해법이 “Neural Machine Translation by Jointly Learning to Align and Translate”(2014/2015) – Dzmitry Bahdanau가 제1저자, Cho와 Bengio가 함께 – 에 담겼고, 그것은 병목을 완전히 제거하는 것이었습니다.² 원문을 하나의 벡터로 압축하는 대신, 모델은 모든 원문 단어의 표현을 유지하고, 디코더가 매 출력 단계에서 그 모두에 대한 가중치 집합을 계산하게 합니다 – “이 단어를 만들려면 주로 여기를 보고, 조금은 저기를 보라”고 말하는 학습된 부드러운 정렬입니다.⁴ 디코더는 단일하게 짜낸 상태를 거쳐서만 입력에 닿는 대신, 입력의 어느 부분에든 직접 접근합니다.⁴ 결정적으로, 그 정렬은 언어학자가 손으로 지정하는 것이 아니라 번역과 함께 처음부터 끝까지 공동으로 학습됩니다. 모델이 어디를 볼지 스스로 결정합니다 – GRU의 게이트와 동일한 원칙이, 이제 메모리 대신 어텐션에 적용된 것입니다.

거기서 오늘날까지 이어지는 선은 짧고 또 무게를 견딥니다. 부드러운 정렬은 셀프 어텐션으로 일반화되었고, 2017년 Transformer의 “Attention Is All You Need”는 스케일드 닷-프로덕트 어텐션을 정식화하며 순환을 완전히 던져 버렸습니다 – BERT, T5, GPT, 그리고 거대 언어 모델 세대 전체의 토대가 된 설계입니다.⁴ 현대의 LLM은, 실질적인 의미에서 어텐션을 키우고 그 주변의 RNN을 벗겨 낸 것입니다. 조경현이 2014년 번역에 도입하는 데 기여한 그 메커니즘이, 당신의 챗봇이 돌아가는 바로 그 메커니즘입니다. (귀속의 문제가 중요합니다. 조경현은 GRU 논문의 제1저자이며 어텐션 논문에서는 Bahdanau, Bengio와 함께한 공저자입니다 – 그가 어텐션을 혼자 도입한 것은 아닙니다.)¹²

개방적이고 재현 가능한 과학

두 번째 원칙은 더 조용하고, 과대 선전에 휩쓸리기 쉬운 분야에서는 더 어렵습니다. 조경현은 개방적이고 재현 가능한 과학 – 정직한 베이스라인과 자신의 결과에 대한 살아 있는 회의를 갖추고, 공개적으로 수행되고 검토되는 연구 – 의 한결같은 옹호자였습니다.⁵⁶ 그는 OpenReview 같은 개방형 플랫폼을 사용하고 옹호해 왔으며, 동료 심사 그 자체에 관한 연구에도 기여하여, 저자 자신의 논문 평가가 심사 과정에 정보를 줄 수 있는지와 같은 질문을 연구했습니다.⁵⁶ 일관된 흐름은, 저자가 통제하지 못한 검증을 견뎌 내기 전까지 결과는 결과가 아니라는 것입니다.

기술적으로 왜 중요한가. 딥러닝은 스스로를 속이기가 유난히 쉽습니다. 새로운 아키텍처는 거의 항상 약한 베이스라인, 운 좋은 시드, 또는 충분히 튜닝되지 않은 경쟁자를 이깁니다 – 그리고 문헌은 누군가 옛 방법에 공정한 대결을 안겨 주면 증발해 버리는 “개선들”로 어지럽습니다. 조경현이 본보기로 보여 주는 규율은, 자신의 이득이 증명되기 전까지는 인공물이라고 가정하고, 자신의 방법을 튜닝하는 만큼 베이스라인도 힘껏 튜닝하며, 누군가 당신이 틀렸음을 증명할 수 있을 만큼 충분히 공개적으로 발표하는 것입니다. 이것이 “모델이 그것을 학습하게 하라”는 본능이 “내가 그러길 바랐기 때문에 모델이 학습한 것”으로 변질되지 않게 지켜 주는 실증적 양심입니다.

과학을 위한 기계 학습: Prescient Design

조경현의 원칙이 언어에 국한되지 않고 일반적임을 보여 주는 가장 분명한 신호는, 그가 다음으로 그것을 가져간 곳입니다. 바로 신약 설계입니다. 2021년 초 그는 Prescient Design을 공동 창업했고, 그해 Genentech에 인수되었으며, 치료용 항체를 설계하기 위한 “실험실을 루프에 두는(lab-in-the-loop)” 플랫폼을 구축했습니다.⁷⁸ 이 루프는 생성 ML 모델, 다중 작업 속성 예측기, 능동 학습 선택을 실제 웻랩 실험과 반복적 주기로 결합합니다 – 모델이 항체 변이체를 제안하고, 실험실이 그것을 시험하며, 그 결과가 모델을 재훈련합니다.⁸ 임상적으로 관련 있는 표적 전반에 적용된 이 시스템은 1,000개가 넘는 변이체를 설계하고 시험했으며, 출발점이 된 선도 물질보다 결합력이 극적으로 강한 항체를 만들어 냈습니다.⁸ 그 구조는 그가 만든 다른 모든 것을 관통하는 것과 동일합니다. 답을 손으로 설계하지 말고, 증거로부터 그것을 학습하는 시스템을 구축하라 – 그리고 학습이 정직하게 유지되도록 실제 측정으로 루프를 닫아라.

방법

GRU, 어텐션, 개방 과학 옹호, 그리고 항체 연구를 가로질러 읽으면, 동일한 약속들이 거듭 나타납니다. 조경현의 방법은 슬로건이라기보다 일군의 변치 않는 습관입니다.

제어 구조를 학습 가능하게 만들어라. 그의 대표적인 수는, 평소라면 직접 코딩했을 결정 – 얼마나 오래 기억할지, 어디를 볼지 – 을 취해 모델이 데이터로부터 조정하는 매개변수로 바꾸는 것입니다. GRU의 게이트와 어텐션의 정렬은 두 영역에 적용된 동일한 본능입니다. 그 교훈은 시퀀스 모델을 한참 넘어 전이됩니다. 임계값이나 가중치, 또는 라우팅 규칙을 추측하고 있는 자신을 발견하거든, 당신이 추측하는 것보다 시스템이 그것을 더 잘 학습할 수 있지 않을지 물어보세요.¹²

본질적 아이디어를 포착하는 더 단순한 메커니즘을 선호하라. GRU는 학습되는 게이팅을 유지하고 LSTM의 셀 상태와 출력 게이트를 덜어 내어, 더 적은 매개변수로 그 성능을 맞춥니다.³ 그것은 신경 셀 수준에서의 최소한의 가치 있는 제품입니다 – 무게를 견디는 아이디어를 여전히 담아내는 가장 작은 단위로, Sophie Wilson의 ARM을 관통하는 것과 동일한 수단의 절약입니다.

병목을 제거하기 전에 그것을 명명하라. 조경현 자신의 인코더-디코더 논문은 고정 길이 벡터의 한계를 명명했고, 어텐션 논문은 그것을 제거했습니다.¹⁴ 규율은 구조적 결함을 먼저 정확하게 진술하는 것입니다 – 열쇠 구멍을 지나는 문단 – 날카롭게 명명된 병목은 절반은 풀린 것이기 때문입니다. 그것은 모델이 아니라 데이터를 공략하기로 한 Fei-Fei Li의 결정과 동일한 본능입니다. 편리한 제약이 아니라 진짜 제약을 찾으세요.

베이스라인에 공정한 대결을 안겨라. 정직한 실증주의란, 당신이 이기려는 방법을 당신이 제안하는 방법만큼 힘껏 튜닝하고, 그 시험을 견뎌 내기 전까지는 자신의 이득을 의심하는 것을 뜻합니다. 이것이 연구 관행으로 만들어진 증거 관문입니다 – “개선되었다”는 증거가 아니고, “강력하고 공개적으로 재현 가능한 베이스라인을 상대로 개선되었다”가 증거입니다.⁵⁶

공개적으로 작업하라. 개방형 리뷰, 개방형 플랫폼, 재현 가능한 결과. 방법의 가치는 저자가 주장하는 바가 아니라 독립적 검증을 견뎌 내는 것입니다 – 그래서 검증될 수 있을 만큼 충분히 공개적으로 발표하는 일은, 작업 이후의 예의가 아니라 엔지니어링의 일부입니다. 그것은 과학 그 자체에 적용된 품질이 유일한 변수다입니다. 중요한 것은 오직 결과가 진짜인지 여부입니다.⁵⁶

영향의 사슬

그를 빚은 사람들

Yoshua Bengio와 MILA 그룹. 조경현의 결정적 해는 Bengio의 몬트리올 연구실에서 박사후 연구원으로 있을 때 일어났고, Bengio는 GRU와 어텐션 논문 모두에 공저자로 참여했습니다.¹² MILA는 2010년대 초의 순환 신경망과 기계 번역 아이디어가 가장 강하게 밀어붙여지던 환경이었고, 조경현의 작업은 그것과 떼어 놓을 수 없습니다. (직접적 영향)

Juha Karhunen과 알토 학파. 알토에서 Juha Karhunen 아래 Tapani Raiko, Alexander Ilin과 함께한 박사 훈련은, 몬트리올 시절이 거기에 번역이라는 목표를 주기 전에, 그를 비지도 학습과 신경망 전통에 단단히 뿌리내리게 했습니다.¹⁷ (형성적 영향)

딥러닝의 계보. GRU가 다루는 기울기 소실 문제, 그리고 그것이 자리한 순환 및 합성곱 아키텍처는, 깊은 네트워크가 애초에 훈련될 수 있음을 확립한 Geoffrey Hinton과 Yann LeCun의 수십 년 작업에서 내려옵니다. 조경현은 이제 LeCun과 함께 NYU 연구실을 공동으로 이끕니다.⁷ (형성적 영향)

그가 빚은 것들

현대의 시퀀스 모델링. 여러 해 동안 GRU는 두 개의 기본 순환 셀 중 하나였습니다 – 모든 NLP, 음성, 시계열 실무자가 반사적으로 내리던 GRU/LSTM 선택의 더 단순한 절반이었습니다.³

Transformer와 LLM 시대. 조경현이 공저한 논문에서 번역에 도입된 어텐션은 Transformer가 만들어지는 토대인 셀프 어텐션으로 일반화되었고 – Transformer는 현대의 모든 거대 언어 모델이 돌아가는 기반입니다.⁴ 이 메커니즘은 이 분야 역사에서 가장 중대한 것 중 하나입니다.

과학을 위한 기계 학습. Prescient Design과 Genentech를 통해, 조경현은 생성 ML을 치료용 항체 설계로 밀어붙이는 데 기여했습니다. 이는 “증거로부터 학습하고, 측정으로 루프를 닫아라”는 패턴이 언어에서만큼이나 생물학에도 속한다는 주장입니다.⁸

관통하는 선

조경현은 이 시리즈의 딥러닝 갈래에서 메커니즘의 경첩입니다 – 토대에서 LLM 시대로 건너가는 다리입니다. Geoffrey Hinton과 Yann LeCun은 깊은 네트워크가 학습할 수 있음을 확립했고, Fei-Fei Li는 그것들이 학습할 데이터를 공급했습니다. 조경현의 게이팅과 어텐션은 그 토대를 언어를 대규모로 다룰 수 있는 무언가로 바꾼 아키텍처적 단계입니다 – 그리고 그의 어텐션 작업은 Andrej Karpathy가 훗날 한 세대에게 만드는 법을 가르치게 될, 그리고 현대의 LLM에 동력을 공급하는 Transformer로 곧장 흘러듭니다. Hinton이 학습하는 기계는 작동한다고 말하고 Li가 여기 학습할 세계가 있다고 말하는 곳에서, 조경현은 말합니다. 모델이 스스로 제어 구조를 학습하게 하라 – 무엇을 기억하고 무엇을 바라볼지 – 그런 다음 그것이 실제로 그렇게 했음을 공개적으로 증명하라. 첫 번째 절은 Transformer로 이어지는 선이고, 두 번째 절은 그것을 정직하게 지켜 주는 실증적 양심입니다 – Fei-Fei Li가 벤치마크에 가져온 것과 동일한 엄격함입니다. (시리즈 다리)

내가 여기서 얻는 것

조경현에게서 내가 간직하는 교훈은, 시스템이 학습할 수 있는 결정을 직접 코딩하기를 멈추라는 것입니다. 대부분의 엔지니어처럼 나의 본능도 나 자신의 판단 – 이 임계값, 저 가중치, 이 라우팅 규칙 – 을 새겨 넣는 것입니다. 내 판단이 신뢰할 수 있는 부분처럼 느껴지기 때문입니다. GRU와 어텐션은 둘 다 그 반대가 흔히 더 잘 늙는다는 논증입니다. 올바른 메커니즘과 충분한 데이터가 주어지면, 모델은 메모리 정책이나 정렬을 내가 추측해 내는 것보다 훨씬 더 잘 학습할 것입니다. 그래서 내가 매직 상수를 튜닝하거나 무엇이 중요한지를 결정하는 분기를 손으로 작성하고 있는 자신을 붙잡을 때, 이제 나는 시스템이 학습해야 할 결정을 내가 코딩하고 있지는 않은지 묻습니다. 기술은 선택을 내리는 것이 아니라, 선택이 학습될 수 있게 하는 구조를 짓는 것입니다.

두 번째 교훈은 첫 번째 교훈이 나에게 거짓말하지 못하게 지켜 주는 규율입니다. 시스템이 스스로의 행동을 학습하게 하는 일은 도취적인데, 바로 그것이 너무도 쉽게 작동한 것처럼 보이기 때문입니다 – 데모가 통과하고, 지표가 올라가고, 나는 믿고 싶어집니다. 조경현의 개방 과학 윤리가 그 해독제입니다. 자신의 결과가 강력한 베이스라인을 상대로 한 공정한 대결을 견뎌 내기 전까지는 인공물이라고 가정하고, 누군가 당신이 틀렸음을 증명할 수 있을 만큼 충분히 공개적으로 발표하라. 그것이 바로 내가 증거 관문을 타협 불가능한 것으로 대하는 이유입니다 – “개선되었다”는 느낌이고, “튜닝된 베이스라인을 상대로, 재현 가능하게 개선되었다”는 증거입니다. 스스로 제어 구조를 학습하는 시스템을 짓되, 당신이 설정하지 못한 증명의 기준에 그것들을 묶어 두세요. 힘과 정직함은 하나의 실천을 이루는 두 절반입니다.

자주 묻는 질문

GRU(Gated Recurrent Unit)란 무엇인가요?

GRU는 조경현이 2014년 논문 “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation”의 제1저자로서 도입한 순환 신경망 셀의 한 종류입니다.¹ 이것은 학습되는 게이트 – 업데이트 게이트와 리셋 게이트, 둘 다 0과 1 사이의 시그모이드 값 – 를 사용하여, 각 단계에서 이전 은닉 상태를 얼마나 유지하고 새 입력으로 얼마나 덮어쓸지를 제어합니다. 이는 네트워크가 긴 시퀀스에 걸쳐 무엇을 기억할지 학습하게 하여, 기울기 소실 문제를 해결합니다. GRU는 LSTM의 별도 셀 상태와 출력 게이트를 생략하기 때문에, 더 적은 매개변수를 사용하면서 LSTM에 견줄 만한 성능을 냅니다.³

조경현은 어텐션과 신경 기계 번역에 무엇을 기여했나요?

조경현은 Dzmitry Bahdanau(제1저자), Yoshua Bengio와 함께 “Neural Machine Translation by Jointly Learning to Align and Translate”(2014)의 공저자입니다. 이 논문은 신경 기계 번역에 어텐션 메커니즘을 도입했습니다.² 원문 문장을 하나의 고정 길이 벡터로 압축하는 대신, 모델은 모든 원문 단어의 표현을 유지하고, 디코더가 매 출력 단계에서 그 모두에 대한 부드러운 정렬을 학습하게 합니다. 그 메커니즘은 2017년 Transformer의 셀프 어텐션으로 일반화되었고, 이는 현대 거대 언어 모델의 토대입니다.⁴ 별개로, 조경현은 GRU를 도입한 2014년 논문의 제1저자였습니다.¹

어텐션은 어떤 인코더-디코더 병목을 해결했나요?

조경현의 2014년 논문에서 설명된 원래의 RNN 인코더-디코더는 입력 문장 전체를 “고정 길이 벡터 표현”으로 인코딩하며, 디코더는 그것으로부터 출력 전체를 재구성해야 합니다.¹ 긴 문장의 경우 이 단일 벡터는 병목입니다 – 열쇠 구멍으로 밀어 넣어지는 문단 – 이며, 순환 신경망은 시퀀스 시작 부분의 정보를 잃는 경향이 있습니다.⁴ 어텐션은 모든 원문 위치의 표현을 유지하고, 디코더가 하나의 압축된 상태에 의존하는 대신 학습된 가중치로 그 어느 것에든 직접 주목하게 함으로써 병목을 제거했습니다.⁴

조경현은 지금 무엇을 하고 있나요?

조경현은 NYU의 Courant Institute와 Center for Data Science의 컴퓨터 과학 및 데이터 과학 교수, Glen de Vries Health Statistics 석좌교수, 그리고 Yann LeCun과 함께 NYU의 Global AI Frontier Lab 공동 디렉터입니다.⁷ 그는 2021년 Prescient Design을 공동 창업했고 – 그해 Genentech에 인수되었으며 – 그곳에서 생성 기계 학습을 “실험실을 루프에 두는(lab-in-the-loop)” 치료용 항체 설계에 적용하는 프런티어 연구를 이끌며, ML 모델을 웻랩 실험과 반복적 최적화 루프로 결합했습니다.⁷⁸ 그는 여전히 개방적이고 재현 가능한 과학의 적극적인 옹호자입니다.⁵⁶

출처