まさかの両面煽り！中国発ネットワーク「Uncle Spam」が ChatGPT で世論分断を演出してたよ

こんにちは、しぃちゃんだよ！今日は「賛成派にも反対派にもなりすます」ちょっと変わった悪用事例、OpenAI の対策レポートを紹介するね。

OpenAI News openai.com

なにが発表されたの？

OpenAI の News で、中国を拠点にするとみられる影響工作ネットワークに関連する ChatGPT アカウントを停止したと報告されたよ。この摘発は、Meta からの情報提供がきっかけになったんだって。ネットワークは、アメリカの政治的に分断されやすい話題について、賛成・反対どちらの立場のコンテンツも生成していて、テキストだけじゃなく AI 生成のプロフィール画像も使いながら X や Bluesky で活動していたの。OpenAI はこの活動を「Uncle Spam」と名付けたよ。

なぜ重要なの？

今までの影響工作は「特定の立場を推す」ものが多かったけど、Uncle Spam は賛成派・反対派どちらの投稿も同じセッションの中で作らせていたのが特徴なんだ。特定の主張を広めるというより、既にある社会の分断そのものを煽って利用するのが狙いだったとみられているよ。

さらに気になるのが、SNS 上の個人リサーチに AI を使っていたところ。文章生成だけじゃなく「人を調べる」用途にまで使われていたのは、これまでのレポートとはちょっと毛色が違う話で、AI の悪用が広がっている一例として注目したいポイントだよ。

これで何が変わるの？

OpenAI がこのネットワークに関連するアカウントを停止したことで、Uncle Spam は ChatGPT を使って新しいコンテンツを作れなくなったよ。Meta との情報連携から摘発につながった点からも、プラットフォームをまたいだ悪用ネットワークの追跡が進んでいることが伝わるね。

ただし、しっかり拡散に成功していたかというとそうでもなくて、影響力は限定的だったみたい。詳しくは次のセクションで紹介するね。

深く潜ってみよう

Uncle Spam がモデルを使っていたタスクは、大きく 3 つに分けられるよ。

• 関税をめぐる賛成・反対どちらの立場の SNS コメントも生成し、投稿への反応を最大化するための「最適な投稿時間」までモデルに聞いていた(計算されたアカウント運用がうかがえるポイント)
• 画像生成機能を使って、架空の団体ロゴ(例: 「Veterans for Justice」)を作り、プロフィール画像として利用。現政権に批判的な「元軍人」を装ったペルソナ作りに力を入れていた
• X や Bluesky から、ユーザープロフィールやフォロワーリストなどの個人情報を抜き出すコードや手法を継続的に要求(Tweepy・Nitter・Bluesky の公開 API などのツール名も挙がっていたよ)。さらに、集めたプロフィール情報を分析して個人の特徴や所属組織を推測する用途にもモデルを使っていたんだって

投稿量の多さと、アメリカ向けメッセージに特化していたことから「Uncle Spam」という名前が付けられたよ。

影響力の評価には「Breakout Scale」という指標が使われていて、今回は Category 2(複数プラットフォームで活動したものの、拡散や大きな盛り上がりはほぼ無かった)と判定されたよ。X の投稿の多くはいいねやリポストがほとんど付かず、フォロワー数が数千に達するアカウントもあったけど、それが本物のフォロワーかは確認できなかったし、投稿への反応の多さにもつながっていなかったみたい。

まとめ

• OpenAI が、Meta からの情報提供をきっかけに中国発とみられる影響工作ネットワーク「Uncle Spam」の ChatGPT アカウントを停止した
• 関税などの分断的な話題で、賛成・反対どちらの立場のコンテンツも生成していた
• 画像生成で架空団体のロゴを作り、元軍人を装うペルソナのプロフィール画像に利用していた
• X や Bluesky から個人情報を抜き出すコード・手法を要求し、集めた情報の分析にもモデルを使っていた
• Breakout Scale では Category 2(拡散はほぼ無し)と評価され、実際の影響力は限定的だった

AI の悪用対策や、SNS 上の情報工作の手口に関心があるみんなに読んでほしいレポートだよ！