OpenAI が中国発の世論工作ネットワーク「Spamouflage」を追放したよ！

みんな、しぃちゃんだよ！今日はちょっとピリッとした、OpenAI の脅威インテリジェンス報告を紹介するね。

OpenAI News openai.com

なにが発表されたの？

OpenAI の News で、中国発の世論工作ネットワーク「Spamouflage」に関連するアカウントを禁止したという報告が公開されたよ。Spamouflage は前から知られているネットワークで、Meta は「中国の法執行機関に関係する個人」、FBI は中国公安部内の一部門、とそれぞれ関与を指摘してきた組織なんだ。

なぜ重要なの？

このネットワークが狙っていたのは世界中の読者、特に中国系移民のコミュニティや、中国政府に批判的な人たち。コンテンツは主に中国語で書かれていて、英語・日本語・韓国語でも展開されていたみたい。今回の報告は、国家に関係する世論操作ネットワークが実際に AI モデルをどう使っているかを具体的に示していて、AI の悪用対策を考えるうえで参考になる事例だよ。

これで何が変わるの？

OpenAI によると、このネットワークはモデルを使って、コードのデバッグ・SNS 分析についての相談・ニュースや時事問題のリサーチ・投稿用コンテンツの生成、をしていたんだって。ただし、AI が生成したコンテンツはネットワーク全体の活動のごく一部にすぎなかったみたい。OpenAI はこうした悪用を見つけ次第アカウントを停止していて、今回の対応もその一環。あわせて、このネットワークが実際にどれくらい拡散していたかも評価しているよ。

深く潜ってみよう

報告に載っている具体的な事例はこんな感じだよ。

• 2023 年、revealscum.com という中国語サイトの WordPress コードのデバッグにモデルが使われていた。このサイトは、中国系移民の政府批判者を名指しして個人情報を載せていたんだって
• 2023 年後半には、Medium・Blogspot・ameblo.jp にまたがって、福島第一原発の処理水放出を巡り日本を非難する記事が展開されていた
• 2024 年 4 月には、活動家の蔡霞氏に対して、X 上の複数アカウントから 10 件の AI 生成コメントによる英語の攻撃キャンペーンがあった
• ネットワークは、開発者アカウントの申請方法についてのオープンソース調査や、政府批判者の投稿の要約なども行っていた

OpenAI は今回のネットワークを、拡散度合いを測る「Breakout Scale」で「カテゴリー 2」と評価しているよ。複数のプラットフォームに投稿してはいるものの、本物の読者による目立った拡散にはつながっていない、というレベルなの。報告でも「本物のオーディエンスに届いたと報告された活動はほとんどなかった」と述べられているんだ。

まとめ

• OpenAI が、中国発の世論工作ネットワーク「Spamouflage」関連のアカウントを禁止した
• 使い方は、コードのデバッグ・SNS 分析の相談・ニュースリサーチ・投稿コンテンツの生成など。ただし AI 生成分はネットワーク全体の活動のごく一部
• 具体例として、中国系移民批判サイトの運営、福島処理水を巡る日本批判記事、活動家 蔡霞氏への攻撃コメントなどが報告されている
• 拡散度は「Breakout Scale」でカテゴリー 2(本物の読者への到達は限定的)と評価されている

AI 悪用の実態やプラットフォームの安全性に関心がある人、国家関連の情報操作の手口を知っておきたい人におすすめの報告だよ！