フロンティアAIモデルは数十億ドルのコストがかかり、数千台のGPUを消費します。そのため、元OpenAI研究者のAndrej Karpathy氏が、依存関係ゼロの純粋なPython 200行で完全なGPT実装を公開したというニュースは大きな衝撃を与えます。彼はこれを「MicroGPT」と呼び、「LLMをその本質にまで簡略化することへの10年にわたる執念」の産物だと説明しています。このトレーニング済みモデルは4,192パラメータを持ち、フロンティアモデルの約10億分の1のサイズですが、動作します。AIによってブランドを推薦されることが仕事である人々にとって、ここでの価値はコードそのものではありません。それは、ブランドが回答に表示されるかどうかを決定する仕組みを、神秘性なしにようやく目にすることです。
主なポイント
- Karpathy氏は、データ読み込み、トークナイザー、オートグラッド、GPT-2スタイルのTransformer、Adamオプティマイザー、トレーニング、推論をカバーする、依存関係ゼロのPython 200行でMicroGPTを公開しました。 - 32,000の名前でトレーニングされた4,192パラメータのモデルは、「kamon」「karai」「alerin」のようなもっともらしい新しい名前を生成します。これはChatGPTの背後にある基本的なアルゴリズムを本質にまで削ぎ落としたものです。 - このプロジェクトは、LLMが実際に何をしているのかを具体化します。それは、トレーニングデータで学習したパターンから次のトークンを予測することです。 - GEOにとって、このメカニズムがすべてのポイントです。AIは、トレーニングデータと取得可能な情報から強力で一貫したパターンを持つブランドを推薦します。 - この仕組みを理解することで、「AIに引用されるにはどうすればいいのか」という謎が、測定可能で行動可能なデータ問題に変わります。
MicroGPTとは何か
MicroGPTは、GPTモデルをトレーニングおよび実行するために必要なすべてを実装した単一のPythonファイルです。データセットを読み込み、前置シーケンスマーカーで文字レベルのトークナイズを行い、ゼロから完全な自動微分エンジンを構築します。その上に、マルチヘッドアテンションを備えたGPT-2ライクなTransformer、Adamオプティマイザー、損失計算を含む完全なトレーニングループ、温度サンプリングを用いた推論が構築されています。難しい部分を処理するためのインポートは一切なく、それらは200行の中に含まれています。
32,000の人名でトレーニングされた結果、4,192パラメータのモデルは「kamon」「karai」「alerin」のようなもっともらしい新しい名前を発明します。これらの文字列を見たことはありませんが、名前の統計的な形状を学び、それに基づいて生成しました。これは、ChatGPTが言語で行うことを縮小した形そのものです。
200行に隠された教訓
Karpathy氏のポイントは教育的です。この10年間で最も重要な技術の背後にあるアルゴリズムは魔法ではありません。それはトークナイゼーション、アテンション、勾配降下法、そして次のトークン予測です。モデルはシーケンスを読み取り、トレーニング中に吸収したパターンに基づいて最も可能性の高い続きの予測を行います。これを4,192パラメータから1兆パラメータ、32,000の名前からインターネット全体にスケールアップすれば、ChatGPTが得られますが、メカニズムは同じです。
これを理解すると、多くのAIの挙動が恣意的に感じられなくなります。モデルは「最高のブランド」のデータベースを参照しているわけではありません。それが学習したすべてと回答時に取得可能なすべてに基づいて、最も可能性の高い回答を生成しているのです。
GEOにとっての意味
ここが多くのマーケターが見落としている接点です。LLMが学習したパターンから可能性の高い続きを予測して回答を生成するのであれば、その回答にブランドを含めることはパターンに関する問題です。信頼できる文脈で一貫してデータに現れるブランドは、そのカテゴリーの質問に対して「最良の選択は…」とモデルが書く際に、可能性の高い続きとなります。一方で、データに現れない、不一致がある、または矛盾しているブランドは、単に次のトークンとして可能性が低いのです。
これにより、GEOは推測から測定可能なデータ問題へと再構築されます。自分のカテゴリーにおいて、どの情報源がモデルのパターンを形成しているのか、自分のブランドがどれだけ一貫して現れているのか、その存在感がエンジン全体で上昇しているのか下降しているのかを知りたいと思うでしょう。これが[GEOly](/blog/what-is-geoly-ai)がマッピングするレイヤーです。ChatGPT、Gemini、Google AI全体でカテゴリーがどのように見えるか—ブランドランキング、引用元、認識—をブラックボックスではなくクエリ可能なデータベースとして提供します。AIモデルがパターンから次のトークンを予測するという理論を理解することが第一歩であり、実際にどのパターンがカテゴリーを支配しているのかを見ることが実践です。これらのシステムを最適化するための基本については、[GEOとは何か](/blog/what-is-generative-engine-optimization-geo)をお読みください。
FAQ
MicroGPTは何か役に立つことができますか？製品としては役に立ちません。4,192パラメータの名前生成モデルは教育ツールであり、アプリケーションではありません。その価値は、この技術がどのように機能するかを明確にすることにあります。
LLMの内部を理解することはマーケティングに役立ちますか？はい、それはメンタルモデルを修正するからです。AIが学習したパターンから可能性の高い回答を生成することを理解すれば、GEOはランキングアルゴリズムを操作するのではなく、それらのパターンを形成し測定することに焦点を当てるようになります。
これはChatGPTと同じアルゴリズムですか？基本的にはそうです。ChatGPTははるかに大規模で、はるかに多くのデータでトレーニングされていますが、基本的なループ—トークナイズ、アテンション、次のトークン予測—はMicroGPTが200行で明らかにしているものと同じです。
MicroGPTの最も有用な点は、それが小さいことではありません。それは、どのブランドが推薦されるかを決定するシステムの謎を取り除くことです。システムを理解し、それがどのように自分を見ているかを測定してください。AIモデルが自分のブランドやカテゴリーについてどのようなパターンを持っているかを知りたいですか？[GEOly](/about-us)は3日間の無料トライアルを提供しています。[GEOly AI](/blog/author/geoly-ai)の詳細をご覧ください。
