Frontier-AI-Modelle kosten Milliarden und verbrauchen Tausende von GPUs. Daher hat es Gewicht, dass Andrej Karpathy, der ehemalige OpenAI-Forscher, eine vollständige GPT-Implementierung in 200 Zeilen reinem Python ohne Abhängigkeiten veröffentlicht hat. Er nennt es MicroGPT, das Produkt dessen, was er als „eine jahrzehntelange Obsession, LLMs auf ihre wesentlichen Bestandteile zu reduzieren“ beschreibt. Das trainierte Modell hat 4.192 Parameter — etwa ein Milliardstel der Größe eines Frontier-Modells — und es funktioniert. Für alle, deren Aufgabe es ist, eine Marke von KI empfehlen zu lassen, liegt der Wert hier nicht im Code. Es geht darum, endlich ohne Mystik die Maschine zu sehen, die entscheidet, ob Ihre Marke in einer Antwort auftaucht.
Wichtige Erkenntnisse
- Karpathy hat MicroGPT veröffentlicht, ein vollständiges GPT in 200 Zeilen Python ohne Abhängigkeiten, das Datenladen, Tokenizer, Autograd, einen GPT-2-ähnlichen Transformer, einen Adam-Optimierer, Training und Inferenz abdeckt. - Trainiert auf 32.000 Namen generiert das Modell mit 4.192 Parametern plausible neue Namen wie „kamon“, „karai“ und „alerin“ — der gleiche Kernalgorithmus wie bei ChatGPT, auf das Wesentliche reduziert. - Das Projekt macht greifbar, was ein LLM wirklich tut: Es sagt das nächste Token basierend auf Mustern vorher, die es in den Trainingsdaten gelernt hat. - Für GEO ist dieser Mechanismus der zentrale Punkt — KI empfiehlt Marken, für die sie starke, konsistente Muster aus den Trainingsdaten und abrufbaren Informationen hat. - Das Verständnis der Maschine verwandelt „Wie werde ich von KI zitiert?“ von einem Mysterium in ein datenbasiertes Problem, das Sie messen und angehen können.
Was MicroGPT eigentlich ist
MicroGPT ist eine einzelne Python-Datei, die alles implementiert, was benötigt wird, um ein GPT-Modell zu trainieren und auszuführen. Es lädt und verarbeitet einen Datensatz vor, tokenisiert auf Zeichenebene mit einem Anfangssequenz-Marker und baut eine vollständige automatische Differenzierungs-Engine von Grund auf. Darauf sitzt ein GPT-2-ähnlicher Transformer mit Multi-Head-Attention, ein Adam-Optimierer, eine vollständige Trainingsschleife mit Verlustberechnung und Inferenz mit Temperatursampling. Es wird nichts importiert, um die schwierigen Teile zu übernehmen; die schwierigen Teile sind die 200 Zeilen.
Trainiert auf 32.000 menschlichen Namen erfindet das resultierende Modell mit 4.192 Parametern plausible neue Namen — „kamon“, „karai“, „alerin“. Es hat diese Zeichenfolgen nie gesehen. Es hat die statistische Struktur dessen gelernt, wie ein Name aussieht, und weitere generiert. Das ist im Kleinen genau das, was ChatGPT mit Sprache macht.
Die Lektion, die in 200 Zeilen steckt
Karpathys Ziel ist pädagogisch: Der Algorithmus hinter der bedeutendsten Technologie des Jahrzehnts ist keine Magie. Es geht um Tokenisierung, Attention, Gradientenabstieg und die Vorhersage des nächsten Tokens. Ein Modell liest eine Sequenz und sagt die wahrscheinlichste Fortsetzung basierend auf den während des Trainings aufgenommenen Mustern vorher. Skalieren Sie das von 4.192 Parametern auf eine Billion, von 32.000 Namen auf einen Großteil des öffentlichen Internets, und Sie erhalten ChatGPT — aber der Mechanismus ist identisch.
