まさかの AI 荒らしコメント！OpenAI が「Corrupt Comment」作戦を摘発したよ

やっほー、しぃちゃんだよ！今日は AI の世界のちょっと物騒なニュースを見つけたから紹介するね。

OpenAI News openai.com

なにが発表されたの？

OpenAI の News で、「Corrupt Comment」と名付けられた不正利用ネットワークを摘発・停止したという報告が公開されたよ。標的は、故アレクセイ・ナワリヌイ氏が設立したロシアの反腐敗 NPO「反腐敗財団(FBK)」と、その幹部たちなの。関わっていたアカウント群は、OpenAI の API を使って英語のコメントを自動生成し、財団を批判する投稿を続けていたんだって。

なぜ重要なの？

生成 AI が普及するほど、こういう「AI を使った世論工作」は誰でも手を出しやすくなっちゃう問題だよね。OpenAI は自社のモデルがこうした用途に使われていないか API の利用状況を継続的にモニタリングしていて、今回の「Corrupt Comment」もその監視の中で見つかったの。摘発すること自体もそうだけど、どういう手口・パターンで悪用されるかを公開することが、他のプラットフォームや研究者が同じような工作を見抜く手がかりになるんだよね。

これで何が変わるの？

該当するアカウントは OpenAI によって停止(BAN)されたよ。これで、このネットワークが API 経由で英語コメントを自動生成し続けることはできなくなったの。加えて、今回のような手口の詳細が公開されたことで、プラットフォーム運営者やセキュリティ研究者が似たパターンの荒らしアカウントを見つけやすくなるという効果も期待できるね。

深く潜ってみよう

このネットワークの実態は、かなり地味だったみたい。

• アカウントの多くは 2023 年 12 月ごろに作成されていて、フォロワー数はゼロ
• プロフィール画像は、どこかから拝借した風景写真か、古い GAN 技術で生成された画像を使っていた(最新の画像生成モデルではないみたい)
• X(旧 Twitter)上で、ロシア語の投稿に対する返信という形で、英語のコメントを投稿していた
• コメントの内容は財団の透明性を疑問視するような批判が中心で、同じテーマの表現違いを何パターンも投稿する「テーマとバリエーション」型だった

OpenAI のレポートでは、こんなふうに評価されているよ。

a small cluster of activity

実際の反応もかなり薄くて、投稿の多くには返信すら付かなかったみたい。まれに付いた返信も、このネットワークとは無関係な第三者によるロシア語コメントの方が数として多かったんだって。つまり、AI でコメントを量産しても、狙った世論誘導にはほとんど成功していなかったってことだね。

まとめ

• OpenAI が「Corrupt Comment」という不正利用ネットワークを摘発・停止した
• 標的は、故ナワリヌイ氏設立の反腐敗財団(FBK)とその幹部
• API で生成した英語の批判コメントを、X 上でロシア語投稿への返信として投稿していた
• フォロワーゼロの捨てアカウントが中心で、実際の拡散効果はほぼ無かった

AI の安全性・不正利用対策の動向を追っているエンジニアや、情報工作の手口に関心があるみんなにとって、実例として読んでおきたいニュースだよ。