AMD 刚做成了一件业界一直归类为"仅限数据中心"的事。它用四节点的 Ryzen AI Max+ 395 系统集群,完全在消费级硬件上跑通了 Moonshot AI 的 Kimi K2.5——一个万亿参数的大语言模型——的分布式推理。没有云、没有 NVIDIA H100 机架、没有超大规模厂商合同。一个万亿参数模型,跑在你能买到的台式机上,这是对 AI 领域最大的一笔成本与瓶颈的正面出手,也悄悄改变了品牌未来需要在哪里保持可见。
核心要点
- AMD 用四台 Framework Desktop 节点(搭载 Ryzen AI Max+ 395)跑通了万亿参数的 Kimi K2.5,总内存 480GB(每节点 120GB),节点间以 5Gbps 以太网相连,框架为 ROCm 7。 - 这个 375GB 的模型通常需要数据中心基础设施,如今却跑在个人和小团队买得起的硬件上。 - 这撬动了 NVIDIA 在前沿规模推理上的实际垄断,指向更便宜、更分布式的 AI。 - 对 GEO 来说,真正的信号是"扩散":更便宜的本地推理意味着更多开源模型、更多 Agent、以及更多你品牌可能出现或消失的 AI 界面。 - 在一个不断变宽的引擎版图上衡量品牌可见度——而不只盯 ChatGPT——将成为基线,因为 AI 替你客户回答问题的地方正在成倍增加。
成就:万亿参数,本地运行
这项突破建立在 AMD 的 Ryzen AI Max+ 395 平台上,由四节点协同完成。它的配置刻意地毫不玄乎:
- 四台 Framework Desktop 节点,每台搭载一颗 AMD Ryzen AI Max+ 395 处理器 - 每节点 128GB 内存,合计 480GB(每节点约 120GB 可作显存使用) - 节点之间一条普通的 5Gbps 以太网连接 - AMD 的 ROCm 7 作为 AI 框架 - Kimi K2.5 的 UD_Q2_K_XL 量化版本,模型文件 375GB
重点不在原始速度,而在于:一个过去意味着"云合同 + NVIDIA 芯片"的模型级别,如今用四台以普通网络连起来的台式机就跑通了。
模型:Kimi K2.5
Kimi K2.5 是 Moonshot AI 最先进的开源推理模型,面向复杂软件工程、长时程推理、Agent 式工作流,以及跨文本、视觉、视频的原生多模态输入。万亿参数让它可与最大的商用模型一较高下——而正是开源权重,让 AMD 这场演示成为可能。你无法量化并自托管一个闭源模型。"强开源权重"与"平价硬件"的合流,才把一次实验室特技变成一股趋势。
NVIDIA 的垄断为何与营销人有关
有人会问,一条硬件新闻为何登上 GEO 博客。答案是:算力经济决定了存在多少 AI 系统、以及它们被部署得多广。NVIDIA 的主导地位让前沿推理保持昂贵、并集中在少数几家云上。一旦松动——通过 AMD 芯片、ROCm 的成熟、以及量化的开源模型——跑一个强模型的成本就向"一台工作站"靠拢。更便宜的推理不会留在实验室,它会以更多聊天机器人、更多垂直助手、更多嵌入产品的 Agent 的形式出现,每一个都在回答问题、推荐品牌。
对 GEO 意味着什么
每一个把心智模型建立在"为 ChatGPT 优化"上的营销人,都将发现这个模型太窄了。当万亿参数模型能在台式机上运行,推出一个新的 AI 答案界面的门槛就急剧下降。可以预期:更多助手嵌入 App、零售商和设备之中——很多基于 Kimi K2.5 这样的开源模型,很多在本地运行,而它们都会从各自训练与可检索到的数据里,形成对你品类的看法。
这种碎片化,就是未来几年的 GEO 挑战。你的品牌可能在一个引擎里排名很好、在另一个里却完全隐形,而你不去跨引擎衡量就不会知道。这正是 [GEOly](/zh/blog/what-is-geoly-ai) 的位置:它不是查单个聊天机器人,而是把你整条赛道在 ChatGPT、Gemini、Perplexity、Copilot、Grok、Google AI Mode 里的格局做成可查询的数据库——品牌榜单、商品卡、引用信源、品牌印象,逐个引擎地看。随着模型版图变宽,单引擎抽查已不够用;你需要在客户真正使用的界面上,做一份品类级的读数。基础可从[什么是 GEO](/zh/blog/what-is-generative-engine-optimization-geo) 读起;跨模型追踪的角度,可看[如何在 Gemini 中追踪品牌提及](/zh/blog/how-to-track-brand-mentions-in-gemini)。
常见问题
这是否意味着 NVIDIA 完了?不。NVIDIA 仍主导大规模训练和高吞吐推理。变化的是,强推理不再是 NVIDIA 的专属地盘,这会压价,并扩大谁能部署模型。
本地、开源模型的 AI 为何关乎品牌可见度?因为它让回答客户问题的 AI 系统成倍增加。更多引擎、其中许多是开源自托管的,意味着更多独立的地方,你的品牌要么被推荐、要么被忽略。
品牌到底该做什么?别再把"AI 可见度"当成只关乎 ChatGPT 的事。追踪你在各主要引擎里的表现,留意引擎之间的差距,补上你缺席的那些。
标题是硬件,后果是分发。当强 AI 便宜到能在桌上运行,它终将无处不在——而"无处不在"正是你的品牌如今必须可被读懂的地方。想看看你的品牌在每个主要 AI 引擎里的样子?[GEOly](/zh/about-us) 提供 3 天免费试用。更多内容见 [GEOly AI](/zh/blog/author/geoly-ai)。



