AMDは、これまで「データセンター専用」とされていたことを業界で初めて実現しました。Ryzen AI Max+ 395システムの4ノードクラスターを使用して、Moonshot AIのKimi K2.5という1兆パラメータの大規模言語モデルの分散推論を、完全にコンシューマー向けハードウェア上で実行しました。クラウドも、NVIDIA H100ラックも、ハイパースケーラー契約も不要です。デスクトップで動作する1兆パラメータのモデルは、AIにおける最大のコストとボトルネックに直接挑戦し、ブランドが可視性を確保すべき場所を静かに再定義します。
主なポイント
- AMDは、Ryzen AI Max+ 395を搭載した4つのFramework Desktopノードを使用し、合計480GBのメモリ（各ノード120GB）を5Gbpsのイーサネットで接続して、1兆パラメータのKimi K2.5モデルを実行しました。 - 通常はデータセンターインフラを必要とする375GBのモデルが、個人や小規模チームが所有できるハードウェア上で動作しました。 - これにより、NVIDIAが事実上独占している最先端推論市場に風穴を開け、より安価で分散型のAIの可能性が示されました。 - GEOにとって重要なシグナルは普及です。安価なローカル推論により、オープンモデル、エージェント、AIインターフェースが増加し、ブランドが可視化される場所が広がります。 - ChatGPTだけでなく、顧客が利用するAIエンジン全体でブランドの可視性を測定することが基本となります。
成果：1兆パラメータをローカルで実現
このブレークスルーは、AMDのRyzen AI Max+ 395プラットフォーム上で、4つのノードが連携して実現されました。この構成は意図的に特別なものではありません：
- AMD Ryzen AI Max+ 395プロセッサを搭載した4つのFramework Desktopノード - 各ノード128GBのメモリ、合計480GB（各ノード120GBをVRAMとして使用可能） - ノード間を接続する通常の5Gbpsイーサネットリンク - AIフレームワークとしてAMDのROCm 7を使用 - UD_Q2_K_XL量子化を施したKimi K2.5、375GBのモデルファイル
ポイントは生の速度ではありません。クラウド契約やNVIDIAのシリコンを必要とするモデルクラスが、通常のネットワークで接続された4台のデスクトップ上で動作したという事実です。
モデル：Kimi K2.5
Kimi K2.5は、Moonshot AIのフラッグシップオープンソース推論モデルで、複雑なソフトウェアエンジニアリング、長期的な推論、エージェントワークフロー、テキスト、ビジョン、ビデオを横断するネイティブなマルチモーダル入力に対応しています。1兆パラメータを持つこのモデルは、最大規模の商用モデルと競合します。そして、AMDのデモを可能にしたのはオープンウェイトです。クローズドモデルでは量子化してセルフホストすることはできません。能力のあるオープンウェイトと手頃なハードウェアの融合が、ラボの実験をトレンドに変えるのです。
なぜNVIDIAの独占がマーケターにとって重要なのか
ハードウェアの話がGEOブログに関係する理由を問うのは当然です。その答えは、計算経済がAIシステムの数と普及度を決定するからです。NVIDIAの支配により、最先端の推論は高価で、少数のクラウドに集中していました。これがAMDのシリコン、ROCmの成熟、量子化されたオープンモデルによって緩和されると、能力のあるモデルを実行するコストがワークステーションのコストに近づきます。安価な推論はラボに留まりません。それはより多くのチャットボット、垂直型アシスタント、製品に埋め込まれたエージェントとして現れ、それぞれが質問に答え、ブランドを推奨するのです。
これがGEOにとって何を意味するのか
「ChatGPT向けに最適化する」というメンタルモデルを構築したすべてのマーケターは、そのモデルが狭すぎることに気づくでしょう。1兆パラメータのモデルがデスクトップで動作するようになると、新しいAI回答インターフェースを立ち上げる障壁が大幅に下がります。アプリ、リテーラー、デバイス内のアシスタントが増加し、その多くがKimi K2.5のようなオープンモデルに基づき、多くがローカルで動作し、それらすべてがトレーニングされたデータと取得可能なデータからあなたのカテゴリについて意見を形成します。
その断片化こそが、今後数年間のGEOの課題です。あるエンジンでブランドが上位にランクインしても、別のエンジンでは見えなくなる可能性があり、それを把握するにはすべてのエンジンを通じて測定する必要があります。ここで[GEOly](/blog/what-is-geoly-ai)が役立ちます。単一のチャットボットをチェックするのではなく、ChatGPT、Gemini、Perplexity、Copilot、Grok、Google AI Mode全体で、ブランドランキング、商品カード、引用元、認識をエンジンごとにマッピングするクエリ可能なデータベースとして機能します。モデルの分野が広がるにつれ、単一エンジンのスポットチェックでは不十分になり、顧客が実際に使用するインターフェース全体でカテゴリレベルの把握が必要です。基本的なことは[what GEO is](/blog/what-is-generative-engine-optimization-geo)から始め、クロスモデルのトラッキングについては[how to track brand mentions in Gemini](/blog/how-to-track-brand-mentions-in-gemini)をご覧ください。
FAQ
これでNVIDIAは終わりですか？いいえ。NVIDIAは依然として大規模トレーニングと高スループット推論を支配しています。変化しているのは、能力のある推論がもはやNVIDIA専用の領域ではなくなり、価格に圧力がかかり、モデルを展開できる人々が増えることです。
ローカルでオープンモデルのAIがブランドの可視性にとって重要な理由は？それは、顧客の質問に答えるAIシステムの数が増えるからです。エンジンが増え、その多くがオープンでセルフホスト型であるため、ブランドが推奨されるか見落とされるかが独立した場所で決まります。
ブランドは実際に何をすべきですか？「AIの可視性」をChatGPTだけの問題として扱うのをやめましょう。主要なエンジン全体でどのように表示されているかを追跡し、それらの間のギャップを監視し、見落とされている部分を修正してください。
