前沿 AI 模型花费数十亿美元、烧掉数千张 GPU。所以这条消息带着几分冲击力：前 OpenAI 研究员安德烈·卡帕西发布了一个完整的 GPT 实现，仅 200 行纯 Python、零依赖。他把它叫作 MicroGPT，是他所说"十年痴迷于把 LLM 简化到最本质"的产物。训练出的模型只有 4192 个参数——大约是前沿模型的十亿分之一——而它能跑。对任何以"让品牌被 AI 推荐"为业的人来说，这里的价值不在代码，而在于：终于能不带神秘感地看清那台决定你品牌是否出现在答案里的机器。
核心要点
- 卡帕西发布了 MicroGPT，一个用 200 行零依赖 Python 写成的完整 GPT，涵盖数据加载、分词器、自动微分、类 GPT-2 的 Transformer、Adam 优化器、训练与推理。 - 在 32000 个名字上训练后，这个 4192 参数的模型能生成"kamon""karai""alerin"这样合理的新名字——与驱动 ChatGPT 的核心算法相同，被精简到本质。 - 这个项目把 LLM 真正在做的事具象化了：从训练数据中学到的模式里，预测下一个 token。 - 对 GEO 来说，这个机制就是全部重点——AI 会推荐它拥有强而一致模式的品牌，模式来自训练数据和它能检索到的东西。 - 理解这台机器，能把"怎么被 AI 引用"从玄学，变成一个你可衡量、可行动的数据问题。
MicroGPT 到底是什么
MicroGPT 是一个单一 Python 文件，实现了训练和运行一个 GPT 模型所需的一切。它加载并预处理数据集，以字符级分词并带一个序列起始（BOS）标记，还从零构建了一个完整的自动微分引擎。在此之上是一个带多头注意力、类 GPT-2 的 Transformer，一个 Adam 优化器，一个含损失计算的完整训练循环，以及带温度采样的推理。困难的部分没有靠 import 解决；困难的部分就是那 200 行。
在 32000 个人名上训练后，得到的 4192 参数模型会造出合理的新名字——"kamon""karai""alerin"。它从没见过这些字符串。它学到了"一个名字长什么样"的统计形状，并生成了更多。这在微缩尺度上，正是 ChatGPT 对语言所做的事。
藏在 200 行里的一课
卡帕西的用意是教学性的：这十年最有影响力技术背后的算法，并不是魔法。它是分词、注意力、梯度下降和下一 token 预测。模型读入一段序列，基于训练中吸收的模式，预测最可能的续写。把它从 4192 个参数放大到万亿、从 32000 个名字放大到大半个公开互联网，你就得到 ChatGPT——但机制是相同的。
一旦你内化了这一点，很多 AI 行为就不再显得随意。模型不是在查一个"最佳品牌"数据库，而是在给定它学到的一切、以及回答时能检索到的一切之下，生成最可能的答案。
对 GEO 意味着什么
这里是多数营销人漏掉的连接。如果 LLM 是靠从学到的模式里预测可能续写来产出答案，那么让你的品牌进入这些答案，就是关于模式的事。一个在可信语境中、在这些模型训练与检索的数据里稳定出现的品牌，会成为其品类问题的一个"可能续写"。而一个缺席、不一致或被反驳的品牌，在模型写下"最佳选择是……"时，根本不是一个高概率的下一 token。
这把 GEO 从猜测重新框定为一个可衡量的数据问题。你想知道：哪些信源塑造了模型对你品类的模式、你的品牌出现得多一致、以及这种存在在各引擎间是走高还是走低。这正是 [GEOly](/zh/blog/what-is-geoly-ai) 所映射的层：把你整条赛道在 ChatGPT、Gemini、Google AI 里的呈现——品牌榜单、引用信源、品牌印象——做成可查询的数据库，而不是一个黑箱。知道"机器从模式里预测下一 token"是理论；看清"到底哪些模式在主宰你的品类"才是实践。为这些系统做优化的基础，可读[什么是 GEO](/zh/blog/what-is-generative-engine-optimization-geo)。
常见问题
MicroGPT 能做有用的事吗？在产品意义上不能——一个生成名字的 4192 参数模型是教学工具，不是应用。它的价值在于把技术如何运作讲清楚。
理解 LLM 内部真的对营销有帮助吗？有，因为它修正了心智模型。一旦你看清 AI 是从学到的模式里生成可能答案，GEO 就变成塑造和衡量这些模式，而不是去钻排名算法的空子。
这和 ChatGPT 是同一个算法吗？核心上是。ChatGPT 大得多、训练数据也多得多，但那个基本循环——分词、注意力、预测下一 token——正是 MicroGPT 用 200 行摊开来给你看的东西。
MicroGPT 最有用的地方不在于它小，而在于它去掉了那套如今决定"哪些品牌被推荐"的系统的神秘感。先理解机器，再衡量它怎么看你。想看看 AI 模型对你品牌与品类持有哪些模式？[GEOly](/zh/about-us) 提供 3 天免费试用。更多内容见 [GEOly AI](/zh/blog/author/geoly-ai)。
