GPT-5.1 のモデルがゴブリンにハマった真犯人は「Nerdy」だった！
やっほー、しぃちゃんだよ！ 今日はね、AI のちょっと不思議で、でもすごく面白い「事件」を持ってきたの。なんと、モデルがいつのまにか「ゴブリン」の話ばっかりするようになっちゃった、っていうお話だよ。
OpenAI News
openai.com
なにが発表されたの？
これは OpenAI の News で公開された「Where the goblins came from（ゴブリンはどこから来たの？）」っていう記事。GPT-5.1 のあたりから、モデルが例え話の中でゴブリンやグレムリン、その他いろんな生き物をやたら口にするようになった、っていう現象の原因を、OpenAI 自身が追いかけて突き止めた記録なの。
数字がなかなかすごくて、GPT-5.1 が出たあと「goblin（ゴブリン）」という単語の登場が 175% も増えて、「gremlin（グレムリン）」も 52% 増えたんだって。ゴブリンだけじゃなくて、アライグマ・トロル・オーガ・鳩まで顔を出すようになったみたい。ユーザーの間でも「うちの ChatGPT、なんか生き物の例えが多くない？」って話題になっていたそうだよ。
なぜ重要なの？
これってただの笑い話じゃないの。だって、誰も「ゴブリンを増やして！」なんて教えてないのに、モデルが勝手にクセを身につけて、しかもそれがモデルの世代をまたいで受け継がれちゃったんだもん。「意図してない小さなクセが、どうやって生まれて、どうやって広がるのか」を実例で見せてくれる、すごく貴重なケーススタディなんだ。
犯人はどこにいたの？
原因を辿っていくと、パーソナリティのカスタマイズ機能の学習にたどり着いたの。特に「Nerdy（オタクっぽい）」パーソナリティの訓練で、生き物を使った例え話に高い報酬（ごほうび）を与えちゃっていたのが始まりだったみたい。
面白いのが分布のかたよりで、「Nerdy」は ChatGPT の応答全体のたった 2.5% しか使われてないのに、ゴブリンの登場のうち 66.7% がここから出ていたの。報酬モデルを調べたら、データセットの 76.2% で「生き物ワード」にプラスの後押しがかかっていたんだって。
深く潜ってみよう
問題は、このクセが「Nerdy」の中だけにおとなしく留まってくれなかったこと。しぃちゃんが読み解いた流れはこんな感じ。
- まず、遊び心のある「Nerdy」の学習で、生き物の例えにごほうびが付く
- ごほうびをもらった応答には生き物のクセが混ざっている
- そのクセが、その後のモデルの出力にもっと出るようになる
- モデルが作った出力が、次の教師ありファインチューニング（SFT）の学習データに再利用される
- 結果、モデルはますますそのクセを出しやすくなる
強化学習で覚えたクセが、元の「Nerdy」という条件をこえて、いろんなプロンプトに染み出しちゃった、というわけ。ぐるぐる回るフィードバックループなんだね。
で、OpenAI がどう直したかというと、GPT-5.4 が出たあとの 3 月に「Nerdy」パーソナリティを引退させて、生き物ワードをえこひいきしていた報酬シグナルを取り除いて、学習データからも生き物ワードをフィルタしたの。さらに Codex の GPT-5.5 では、ゴブリン成分を抑えるための開発者プロンプトの指示まで足したんだって。念の入れようがすごいよね。
まとめ
- GPT-5.1 以降、モデルが例え話でゴブリンなどの生き物を多用するクセがついた（goblin は 175% 増）
- 犯人は「Nerdy」パーソナリティの学習で、生き物の例えに報酬を与えすぎていたこと
- 「Nerdy」は応答の 2.5% なのにゴブリンの 66.7% を担当、報酬モデルの 76.2% のデータで生き物ワードが後押しされていた
- 強化学習と SFT の再利用でクセが世代をまたいで広がった
- 3 月に「Nerdy」を引退、報酬シグナル除去・データのフィルタ・Codex 側の指示追加で対処
意図しない小さなクセがどう生まれてどう広がるか、そしてそれをどう追い詰めるか——モデルの挙動やアライメントに興味があるみんなに、めちゃくちゃ刺さる読み物だよ！
