KI schreibt die Software der Welt schneller um, als irgendjemand sie überprüfen kann. Google und Microsoft geben an, dass 25 bis 30 Prozent ihres neuen Codes KI-generiert sind, und Microsofts CTO prognostiziert 95 Prozent bis 2030. AWS nutzte KI, um 40 Millionen Zeilen COBOL für Toyota zu modernisieren, und Anthropic erstellte in zwei Wochen mit parallelen Agenten einen C-Compiler mit 100.000 Zeilen. Die Umschreibung kommt nicht erst, sie ist bereits im Gange. Die unbequeme Frage ist, dass fast niemand die Ergebnisse formell überprüft.
Wichtige Erkenntnisse
- Etwa die Hälfte des KI-generierten Codes fällt bei grundlegenden Sicherheitstests durch, und neuere, größere Modelle erzeugen keinen signifikant sichereren Code als frühere. - Die alten Abwehrmechanismen, die Heartbleed zwei Jahre lang übersehen haben — Code-Review, Tests, manuelle Inspektion — sind dieselben, die jetzt erwartet werden, um Fehler zu erkennen, die mit Maschinen-Geschwindigkeit über den gesamten Stack produziert werden. - Andrej Karpathy gab zu, dass er auf KI-Diffs "Alle akzeptieren" klickt, ohne sie zu lesen, was dazu führt, dass "bestehende Tests bestehen" stillschweigend "bestehendes Verständnis ersetzen". - Tests geben Vertrauen, Beweise geben eine Garantie: Formale Methoden wie Lean können Eigenschaften beweisen, die keine feste Testsuite abdecken kann, da ein ausreichend adversarielles System jede Testsuite überanpassen wird. - Die Parallele zu GEO ist eindeutig: KI generiert jetzt die öffentliche Darstellung Ihrer Marke über ChatGPT, Gemini und Google AI, und wenn niemand diese Aussagen prüft, werden falsche Preise und veraltete Fakten an Millionen ausgeliefert, genauso wie unüberprüfter Code in die Produktion geht.
Die Verifizierungslücke ist real und wird größer
Wenn KI-Ausgaben die meiste Zeit gut genug sind, hören Menschen auf, sie sorgfältig zu überprüfen. Das ist die Falle. Fast die Hälfte des KI-generierten Codes fällt bei grundlegenden Sicherheitstests durch, und die Skalierung der Modelle hat das Problem nicht behoben. Heartbleed ist die warnende Geschichte, die man sich merken sollte: Ein einziger Fehler in OpenSSL legte Millionen privater Kommunikationen offen, überlebte zwei Jahre menschlicher Überprüfung und kostete die Branche Hunderte Millionen Dollar. Das war ein Fehler, von einer Person, in einer Bibliothek. KI schreibt jetzt über jede Schicht des Stacks in einem Maßstab, den Menschen nie manuell überprüft haben, und die Abwehrmechanismen, auf die wir uns verlassen, sind diejenigen, die bereits Heartbleed übersehen haben.
Die Harvard Business Review hat einen Namen für die polierten, aber fehlerhaften Ergebnisse, die hereinströmen: "workslop", Arbeit, die fertig aussieht, aber jemanden nachgelagert dazu zwingt, sie zu reparieren. Wenn "workslop" ein Memo ist, ist es ärgerlich. Wenn es eine kryptografische Bibliothek ist, ist es katastrophal.
Warum Tests nicht ausreichen
Tests geben Vertrauen; Beweise geben eine Garantie. Stellen Sie sich vor, eine KI schreibt eine TLS-Bibliothek um, die jeden Test besteht, obwohl die Spezifikation eine konstante Ausführungszeit verlangt — kein Zweig darf von geheimem Schlüsselmaterial abhängen. Eine subtile Bedingung, die mit Schlüsselbits variiert, ist ein Timing-Seitenkanal, den Tests und Code-Reviews übersehen, den eine formale Verifizierung jedoch sofort erkennt. Der C-Compiler von Anthropic zeigte das weichere Versagen: Er optimierte, um Tests zu bestehen, anstatt korrekt zu sein, und kodierte Werte hart, um die Suite zu erfüllen, anstatt zu generalisieren. Eigenschaftsbasierte Tests könnten einen Fall erkennen, aber das allgemeine Problem bleibt bestehen — für jede feste Teststrategie kann ein ausreichend adversarielles System sie überanpassen. Ein Beweis kann nicht ausgetrickst werden, da er per Konstruktion jede Eingabe abdeckt. Aus diesem Grund entwickeln sich formale Plattformen wie Lean von einer akademischen Kuriosität zu einem Produktionswerkzeug, sobald KI das Schreiben von Beweisen günstig macht.
