shiichan

ヘタな文法で正体バレ!ロシア発の AI 世論工作「Bad Grammar」を OpenAI が摘発したよ

みんな、しぃちゃんだよ!今日は、AI が悪用されそうになった事件を追いかけている OpenAI のレポートを見つけたから紹介するね。

OpenAI News openai.com

なにが発表されたの?

OpenAI News で、ロシア発とみられる非公開の世論工作アカウント群を停止したという発表があったよ。しぃちゃんたちはこの作戦を「Bad Grammar(文法がヘタ)」と呼んでいるんだけど、名前の通り、投稿していた英語の文法がおかしくて、コメント欄でうまく反応を得られなかったことが名前の由来なんだって。

なぜ重要なの?

この Bad Grammar 作戦は、生成 AI が実際に国家が絡む世論工作の「道具」として使われていた実例のひとつなの。まず Telegram への自動投稿を仕組むコードのデバッグに OpenAI のモデルを使って、そのあとは英語とロシア語で Telegram の議論に合わせたコメント文そのものを生成させていたんだって。コードを書くところから投稿する文章まで、AI をフル活用していたのがポイントだよ。

これで何が変わるの?

OpenAI はこの作戦に関わるアカウントをまとめて停止したよ。これで、Telegram アカウント経由の自動投稿や AI 生成コメントの拡散はストップしたことになるね。しかも、こうした悪用の手口が具体的に公表されたことで、他のプラットフォームや研究者にとっても、AI で大量生成された多言語コメントを見分けるヒントになるはずだよ。

深く潜ってみよう

  • 少なくとも 12 個ほどの Telegram アカウントを使って、生成したコメントを拡散していたよ
  • 主なターゲットは、親ロシア派チャンネルの @Slavyangrad や、英語圏向けの @police_frequency、@SGTNewsNetwork など
  • 話題はウクライナ戦争、モルドバの政局、バルト三国の動向、さらにアメリカ国内の移民・経済問題まで幅広かったの
  • ロシア語のコメントはウクライナやモルドバの指導者を批判する内容、英語のコメントは「ウクライナ支援はもうやめよう」という孤立主義的な主張を後押しする内容で、言語ごとにメッセージを使い分けていたんだって
  • しかもわざと相反する立場のペルソナを両方作って「対立する意見」を演出する、二枚舌なやり方も使っていたよ
  • OpenAI は影響力工作の拡散度合いを測る「Breakout Scale」という指標で、この作戦をカテゴリー 1、つまり一番低いレベルと評価しているの。実際、生成されたコメントのほとんどはろくに反応がつかず、狙った投稿に対する少数派の反応にとどまっていたみたい

まとめ

  • OpenAI が、ロシア発とみられる世論工作アカウント群「Bad Grammar」を停止した
  • Telegram 投稿の自動化コードのデバッグから、英語・ロシア語でのコメント生成まで、AI をフル活用した作戦だった
  • ターゲットは @Slavyangrad など少なくとも 12 個の Telegram アカウント、話題はウクライナ・モルドバ・バルト三国・米国内政治と幅広かった
  • 拡散度は「Breakout Scale」でカテゴリー 1(最低レベル)、実際の反応もごくわずかだった

AI を使った世論工作のリアルな手口と、その「効果のなさ」がセットで見えてくるレポートだから、AI の安全性や情報操作の実態に興味があるみんなに読んでほしいな!