AMD hat gerade etwas getan, das die Branche bisher unter „nur für Rechenzentren“ eingeordnet hat. Mithilfe eines Vier-Knoten-Clusters aus Ryzen AI Max+ 395-Systemen führte das Unternehmen eine verteilte Inferenz des Kimi K2.5-Modells von Moonshot AI durch – ein großes Sprachmodell mit einer Billion Parametern – vollständig auf handelsüblicher Hardware durch. Keine Cloud, keine NVIDIA H100-Racks, kein Hyperscaler-Vertrag. Ein Modell mit einer Billion Parametern, das auf Desktops läuft, die Sie kaufen können, ist ein direkter Angriff auf die größten Kosten und Engpässe in der KI und verändert stillschweigend, wo Marken sichtbar sein müssen.
Wichtige Erkenntnisse
- AMD hat das Kimi K2.5-Modell mit einer Billion Parametern auf vier Framework-Desktop-Knoten ausgeführt, die von Ryzen AI Max+ 395 angetrieben werden, mit insgesamt 480 GB Speicher (120 GB pro Knoten), verbunden über 5-Gbit/s-Ethernet, unter Verwendung von ROCm 7. - Das 375-GB-Modell erfordert normalerweise Rechenzentrumsinfrastruktur; hier lief es auf Hardware, die Einzelpersonen und kleine Teams besitzen können. - Dies untergräbt NVIDIAs faktisches Monopol auf Inferenz im Grenzbereich und weist auf günstigere, stärker verteilte KI hin. - Für GEO ist das eigentliche Signal die Verbreitung: Günstigere lokale Inferenz bedeutet mehr offene Modelle, mehr Agenten und mehr KI-Oberflächen, auf denen Ihre Marke erscheinen oder verschwinden kann. - Die Messung der Markenpräsenz über ein breiteres Feld von Engines – nicht nur ChatGPT – wird zur Grundlage, da die Anzahl der Orte, an denen KI Ihre Kunden beantwortet, zunimmt.
Die Errungenschaft: eine Billion Parameter, lokal
Der Durchbruch basiert auf AMDs Ryzen AI Max+ 395-Plattform, mit vier Knoten, die zusammenarbeiten. Die Konfiguration ist bewusst unspektakulär:
- Vier Framework-Desktop-Knoten, jeweils mit einem AMD Ryzen AI Max+ 395-Prozessor - 128 GB Speicher pro Knoten, insgesamt 480 GB (120 GB nutzbar als VRAM pro Knoten) - Eine einfache 5-Gbit/s-Ethernet-Verbindung zwischen den Knoten - AMDs ROCm 7 als KI-Framework - Kimi K2.5 in der UD_Q2_K_XL-Quantisierung, eine 375-GB-Modelldatei
Es geht nicht um rohe Geschwindigkeit. Es geht darum, dass eine Modellklasse, die bisher einen Cloud-Vertrag und NVIDIA-Hardware implizierte, gerade auf vier Desktops mit gewöhnlicher Netzwerktechnik lief.
Das Modell: Kimi K2.5
Kimi K2.5 ist das Flaggschiff-Open-Source-Reasoning-Modell von Moonshot AI, entwickelt für komplexe Softwareentwicklung, langfristiges Denken, agentenbasierte Workflows und native multimodale Eingaben über Text, Bild und Video. Mit einer Billion Parametern konkurriert es mit den größten kommerziellen Modellen – und es sind die offenen Gewichte, die die AMD-Demo möglich machen. Sie können kein geschlossenes Modell quantisieren und selbst hosten. Die Konvergenz von leistungsfähigen offenen Gewichten und erschwinglicher Hardware verwandelt einen Laborstunt in einen Trend.
