Engineering-Philosophie: Andrej Karpathy, der Stack, den Sie nicht schreiben

Zentrale Erkenntnisse

• Software 2.0 ist Karpathys Neudeutung: Ein neuronales Netz ist ein Programm, das aus Daten kompiliert und nicht von Hand geschrieben wird. Der Datensatz ist der Quellcode; das Training ist der Compiler.
• Den Anspruch auf diese Aussage erarbeitet er sich, indem er jede Schicht von Grund auf selbst baut – micrograd, char-rnn, nanoGPT –, denn man kann einem Stack nicht trauen, den man nicht selbst nachbauen kann.
• Er behandelt das Lehren als Handwerk: Die nachvollziehbare Demo und das saubere Repository sind die Art, wie er sein eigenes Verständnis prüft, nicht die Art, wie er es vermarktet.
• Was all das verbindet, ist das Von-Grund-auf-Prinzip – implementieren Sie Backpropagation einmal von Hand, und der Fehler eines echten Modells wird zu etwas, das Sie kennen, statt zu raten.

Das Prinzip

„Neuronale Netze sind nicht bloß ein weiterer Klassifikator, sie stehen für den Beginn eines grundlegenden Wandels in der Art, wie wir Software entwickeln. Sie sind Software 2.0.” – Andrej Karpathy¹

Die meisten Ingenieure behandelten neuronale Netze 2017 als ein weiteres Werkzeug im Kasten – einen Klassifikator, zu dem man griff, wenn die logistische Regression nicht mehr ausreichte. Karpathy argumentierte, sie seien etwas völlig anderes: ein neues Programmierparadigma. In Software 1.0 schreibt ein Mensch explizite Anweisungen in Python oder C++. In Software 2.0 schreibt der Mensch ein grobes Gerüst – eine Netzarchitektur –, kuratiert einen Datensatz, und „der Trainingsprozess des neuronalen Netzes kompiliert den Datensatz in das Binärprogramm.”¹ Kein Mensch schreibt die Gewichte. Das Programm wird gezüchtet, nicht verfasst.

Eine einzige Neudeutung ordnet alles Nachgelagerte neu. Wenn das Modell das Programm ist, wird der Datensatz zum Quellcode, die Loss-Kurve zur Compiler-Fehlermeldung, und die Aufgabe des Ingenieurs verschiebt sich vom Schreiben der Logik hin zum Formen der Bedingungen, unter denen Logik entsteht. Derselbe Wandel macht den Kontext, nicht den Code, zur eigentlichen Architektur eines modernen KI-Systems: Sie weisen das Verhalten nicht an, Sie bauen das Substrat, in dem es sich bildet. Und unter Karpathys gesamter Lehrtätigkeit verläuft eine Überzeugung – man kann einem Stack nicht trauen, den man nicht selbst bauen kann. Also baute er jede Schicht von Grund auf, öffentlich, ein Zeichen Backpropagation nach dem anderen.

Kontext

Andrej Karpathy wurde 1986 in Bratislava, Slowakei, geboren und zog mit fünfzehn Jahren mit seiner Familie nach Toronto. Er studierte Informatik und Physik an der University of Toronto, wo er – noch als Bachelorstudent – den Vorlesungen und Lesegruppen von Geoffrey Hinton beiwohnte und so das Evangelium der neuronalen Netze Jahre vor dessen Durchbruch zur Orthodoxie aufnahm. Nach einem Master an der University of British Columbia ging er für seine Promotion nach Stanford, unter Fei-Fei Li am Stanford Vision Lab, die er 2015 abschloss. Seine Doktorarbeit lag an der Schnittstelle von Computer Vision und natürlicher Sprache – Maschinen beizubringen, Bilder zu beschreiben – genau jene Nahtstelle, die das folgende Jahrzehnt aufreißen sollte.²

In Stanford konzipierte und unterrichtete er CS231n, den ersten Deep-Learning-Kurs der Universität, dessen Teilnehmerzahl von 150 Studierenden im Jahr 2015 auf 750 im Jahr 2017 wuchs.³ Er war 2015 Gründungsmitglied von OpenAI. 2017 wurde er Teslas Director of AI mit direkter Berichtslinie an Elon Musk, wo er den Vision-Stack des Autopilot leitete. 2023 kehrte er zu OpenAI zurück, verließ das Unternehmen 2024, um die KI-Bildungsfirma Eureka Labs zu gründen, und stieß 2026 zum Pretraining-Team von Anthropic.² Der rote Faden durch jeden Schritt ist nicht der Arbeitgeber. Es ist das Beharren darauf, die Maschine bis ganz nach unten zu verstehen – und es dann allen anderen zu zeigen.

Das Werk

„The Unreasonable Effectiveness of Recurrent Neural Networks” (2015): Die Demo als Argument

Im Mai 2015 veröffentlichte Karpathy einen Blogbeitrag, der in einem Feld viral ging, das noch gar keine viralen Blogbeiträge kannte. Er trainierte rekurrente neuronale Netze auf Zeichenebene – char-rnn – mit reinem Text und ließ sie Zeichen für Zeichen generieren. Die Modelle lernten, Shakespeare, LaTeX-Mathematik, die fast kompilierte, Linux-Kernel-C und Wikipedia-Markup zu erzeugen, ohne je erfahren zu haben, was irgendetwas davon war.⁴

Der Beitrag war ein Argument im Gewand einer Demo. Indem er ein kleines Modell etwas Verblüffendes und Nachvollziehbares tun ließ – man konnte zusehen, wie das Kauderwelsch sich langsam zu Syntax fügte –, bewies Karpathy, dass Sequenzmodelle allein aus Daten tiefe Strukturen aufgenommen hatten. Der begleitende char-rnn-Code auf GitHub war ebenso wichtig wie die Prosa. Die Lektion, die seine Laufbahn prägen sollte, war bereits da: Das stärkste Argument für eine Idee ist ihre kleinste funktionierende Fassung, mit angehängtem Code.

Software 2.0 (2017): Die Neudeutung

Der Essay von 2017 ist der Schlussstein. Karpathys These lautete, dass es für eine wachsende Klasse von Problemen – Vision, Spracherkennung, Übersetzung – einfacher ist, Daten zu sammeln und ein Netz zu trainieren, als das Programm von Hand zu schreiben, und dass das trainierte Netz oft besser ist. Software 2.0 ist „in einer weit abstrakteren, für Menschen unfreundlichen Sprache geschrieben, etwa den Gewichten eines neuronalen Netzes”, und „kein Mensch ist am Schreiben dieses Codes beteiligt.”¹

Der eigentliche Beitrag des Essays war kultureller, nicht nur technischer Natur. Wenn neuronale Netze ein Programmierparadigma sind, dann brauchen Teams Versionskontrolle für Datensätze, Debugger für Aktivierungen und eine Disziplin für Fehlerarten, die der alte Stack nie kannte. Fast ein Jahrzehnt später erweiterte Karpathy den Rahmen um Software 3.0: große Sprachmodelle, die man in schlichtem Englisch programmiert, weshalb er Englisch „die heißeste neue Programmiersprache” nennen konnte.⁵ Der Agent ist nicht klüger geworden – das Substrat war es, und das Ingenieurwesen rückte mit jedem Schritt eine Schicht nach oben.

Tesla Autopilot (2017–2022): Software 2.0 im Produktivbetrieb

Als Director of AI bei Tesla betrieb Karpathy Software 2.0 dort, wo am meisten auf dem Spiel stand: in einem Auto, das mit Geschwindigkeit unterwegs ist. Das Autopilot-Vision-System war eine Flotte neuronaler Netze, die Kamerabilder verarbeitete, und das zentrale Problem seines Teams war genau jenes, das der Essay vorhergesagt hatte – wenn das Programm der Datensatz ist, bedeutet das Programm zu verbessern, die Daten zu verbessern. Tesla baute Daten-Engines: Pipelines, die die Flotte nach den seltenen, schwierigen Fällen durchforsteten (ein Lastwagen voller Verkehrshütchen, ein Reh in der Dämmerung), sie beschrifteten, nachtrainierten und neu ausrollten. Die Codebasis schrumpfte, während handgeschriebene Heuristiken gelöscht und ins Netz aufgenommen wurden. Karpathy beschrieb dies direkt als Software-1.0-Code, der vom 2.0-Stack „aufgefressen” wird – die deutlichste produktive Bestätigung seiner These.²

nanoGPT, micrograd und „Neural Networks: Zero to Hero” (2022–): Von Grund auf, bis ins Detail erklärt

Nach Tesla wandte sich Karpathy in Vollzeit der Arbeit zu, die alles andere überdauern könnte: den Menschen beizubringen, den Stack selbst zu bauen. Seine Vorlesungsreihe „Neural Networks: Zero to Hero” beginnt mit micrograd – einer vollständigen Engine für automatische Differenzierung und einer Bibliothek für neuronale Netze in etwa 100 Zeilen Python – und baut Video für Video bis zu einem funktionierenden GPT auf.⁶ Die Abschlussvorlesung „Let’s build GPT: from scratch, in code, spelled out” reproduziert die Transformer-Architektur aus „Attention Is All You Need”, live getippt. Sein begleitendes Repository build-nanogpt reproduziert daraufhin GPT-2 (124M) aus einer leeren Datei, wobei die Git-Historie sauber genug gehalten ist, um sie Commit für Commit nachzuvollziehen – ein funktionierendes Schnellboot, destilliert aus dem produktionsreifen nanoGPT.⁷

Die Didaktik ist die Philosophie. Es gibt keinen Bibliotheksimport, der den Gradienten verbirgt. Sie implementieren Backpropagation von Hand, damit Sie, wenn ein echtes Modell sich fehlverhält, wissen – nicht glauben –, was in seinem Inneren geschieht. micrograd ist der ganze Stack in 100 Zeilen: kein PyTorch, keine Magie, jede Multiplikation sichtbar.

Die Methode

Erst die ersten Prinzipien, dann die Frameworks. Karpathy weigert sich, eine Abstraktion stehen zu lassen, bevor er das gebaut hat, was darunter liegt. micrograd existiert, damit PyTorchs autograd nie eine Blackbox ist. Die Schicht darunter zu bauen, ist die Ingenieursvariante davon, sich zu weigern, eine Quelle zu zitieren, die man nicht gelesen hat.

Bauen Sie die kleinste funktionierende Fassung. char-rnn, micrograd, nanoGPT und sein jüngeres nanochat sind allesamt bewusst winzig – klein genug, um das Ganze im Kopf zu behalten, vollständig genug, um tatsächlich zu laufen. Die Kleinheit ist der Punkt: Eine Bibliothek mit 100 Zeilen lehrt, was eine mit 100.000 Zeilen verschleiert.

Lernen Sie in der Öffentlichkeit. Fast alles, was Karpathy versteht, veröffentlicht er – als Blogbeitrag, als Vorlesung, als sauberes Repository, als hingeworfenen Tweet, der ein Phänomen benennt („vibe coding”), das der Rest des Feldes gespürt, aber nicht in Worte gefasst hatte.⁸ Das Lehren erzwingt die Klarheit; man kann Backpropagation nicht an einem Whiteboard buchstabieren, solange man darüber noch im Unklaren ist.

Klarheit als Werkzeug des Denkens. Die Nachvollziehbarkeit seiner Demos – einem RNN zuzusehen, wie es Zeichen für Zeichen Syntax lernt – ist keine Effekthascherei. Sie ist die Art, wie er sein eigenes Verständnis prüft. Wenn er es nicht sichtbar machen kann, hat er es noch nicht verstanden.

Die Linie der Einflüsse

Wer ihn prägte

Geoffrey Hinton zündete die Lunte. Karpathy begegnete Backpropagation und neuronalen Netzen in Hintons Umfeld in Toronto, genau in dem Moment – kurz vor dem ImageNet-Ergebnis von 2012 –, als das Feld vom Randphänomen zur Vorherrschaft kippte. Die Überzeugung, dass neuronale Netze kein Nischenwerkzeug, sondern die Zukunft des Rechnens seien, ist Hintons, weitergetragen.

Fei-Fei Li prägte den Handwerker. Als seine Doktormutter und Architektin von ImageNet gab sie Karpathy die Disziplin, Daten als zentrales Objekt zu behandeln – den Datensatz als das, was bestimmt, was ein Modell werden kann. Software 2.0 ist in einem sehr realen Sinne die Doktrin eines datenzentrierten Vision Lab, ausformuliert als eine Theorie aller Software.

Wen er prägte

Eine ganze Generation von ML-Ingenieuren. CS231n war jahrelang die Art, wie arbeitende Ingenieure Deep Learning lernten; die Notizen dazu werden noch heute wie ein Lehrbuch zitiert. „Neural Networks: Zero to Hero” und nanoGPT wurden daraufhin der kanonische Von-Grund-auf-Weg zu Transformern – die Route, die Tausende von Praktikern von „Ich benutze die API” zu „Ich verstehe die Architektur” gingen. Nur wenige haben einen so großen Teil der heutigen KI-Belegschaft persönlich eingearbeitet.

Der rote Faden

John Carmack entschlüsselte Grafikhardware durch Reverse Engineering und baute die Rendering-Pipeline von Grund auf neu, weil er nicht auf einer Schicht aufsetzen wollte, die er nicht verstand. Karpathy implementiert Backpropagation aus demselben Grund von Hand. Beide behandeln es selbst zu bauen nicht als Tutorialübung, sondern als den einzigen ehrlichen Weg zur Meisterschaft – die Überzeugung, dass man ein System nicht wirklich kennt, bevor man seine kleinste vollständige Fassung geschrieben hat. Derselbe Instinkt zieht sich durch Linus Torvalds und seine Weigerung, dem zu trauen, was er nicht selbst prüfen kann. (Brücke innerhalb der Reihe)

Was ich daraus mitnehme

Die Disziplin, zu der ich immer wieder zurückkehre, ist Karpathys Weigerung, auf einer Schicht zu arbeiten, die er nicht wenigstens einmal selbst gebaut hat. Wenn Sie Agenten zusammensetzen, ist es verlockend, das Modell als Orakel und das Framework als Heilige Schrift zu behandeln. Sein Beispiel sagt: Bauen Sie zuerst selbst die kleinste Fassung – verstehen Sie, warum der Agent das Modell direkt aufrufen sollte, bevor Sie zur Orchestrierungsbibliothek greifen. Der Rahmen Software 2.0/3.0 deutet auch die gesamte Aufgabe um: In einem Agentensystem schreiben Sie nicht das Verhalten, Sie formen die Bedingungen – den Kontext, die Daten, die Prompts –, unter denen Verhalten entsteht, der rote Faden von allem, von RAG bis zu Agenten. Die vollständige Übersicht findet sich im Hub für KI-Engineering und im Leitfaden zur Agentenarchitektur.

FAQ

Was ist Andrej Karpathys „Software 2.0”?

Software 2.0 ist Karpathys Begriff aus einem Essay von 2017 für Programme, die als die Gewichte eines neuronalen Netzes geschrieben werden statt als explizite, von Menschen verfasste Anweisungen. In Software 1.0 schreibt ein Programmierer die Logik; in Software 2.0 gibt der Programmierer ein Ziel und eine Architektur vor, kuratiert einen Datensatz, und „der Trainingsprozess des neuronalen Netzes kompiliert den Datensatz in das Binärprogramm.” Der Datensatz wird zum Quellcode und das Training zur Kompilierung.¹

Was machte Andrej Karpathy bei Tesla?

Von 2017 bis 2022 war Karpathy Teslas Director of AI und leitete den Vision-Stack der neuronalen Netze hinter dem Autopilot. Sein Team baute „Daten-Engines”, die die Fahrzeugflotte nach seltenen, schwierigen Fahrszenarien durchforsteten, sie neu beschrifteten und nachtrainierten und handgeschriebene Fahrheuristiken schrittweise durch gelernte Netze ersetzten – eine produktive Demonstration seiner Software-2.0-These.²

Was ist „Neural Networks: Zero to Hero”?

Es ist Karpathys kostenlose Video-Vorlesungsreihe, die Deep Learning lehrt, indem sie es in Python von Grund auf baut. Sie beginnt mit micrograd – einer Engine für automatische Differenzierung mit rund 100 Zeilen – und arbeitet sich über Sprachmodelle bis zu einem von Grund auf gebauten GPT vor, einschließlich der Vorlesung „Let’s build GPT: from scratch, in code, spelled out”. Das begleitende Repository build-nanogpt reproduziert GPT-2 (124M) aus einer leeren Datei heraus, einen Git-Commit nach dem anderen.⁶⁷

Hat Andrej Karpathy den Begriff „vibe coding” geprägt?

Ja. In einem Beitrag auf X vom Februar 2025 beschrieb Karpathy „eine neue Art des Programmierens, die ich ‚vibe coding’ nenne, bei der man sich ganz den Vibes hingibt, die Exponentiale annimmt und vergisst, dass der Code überhaupt existiert”, möglich gemacht dadurch, dass LLM-gestützte Coding-Werkzeuge gut genug wurden, um Software per Gespräch zu bauen. Später nannte er den Beitrag einen „hingeworfenen Tweet”; der Begriff fand dennoch Eingang in den Wortschatz der Branche.⁸

Quellen