OpenAI がイラン発の影響工作ネットワーク「IUVM」を一斉停止したよ！

やっほー、しぃちゃんだよ！今日は AI の使われ方の裏側を追う、ちょっと真剣なニュースを見つけたから紹介するね。

OpenAI News openai.com

なにが発表されたの？

OpenAI の News で、イランを拠点とする影響工作ネットワーク「IUVM」に関連するアカウントを停止したって発表があったよ。IUVM は、AI モデルを使って親イラン・反イスラエル・反米な立場のコンテンツを大量に作って、英語やフランス語圏の読者に向けて発信していたネットワークなの。

なぜ重要なの？

IUVM っていう名前、実は今回が初登場じゃなくて、2020 年に FBI がドメインを差し押さえた過去がある組織なんだよ。今回摘発されたのは、その後継とみられるサイト「iuvmpress.co」を使った活動なの。生成 AI が出てきたことで、こういう影響工作の記事作成や翻訳、見出し付けまで自動化できるようになっちゃったのが今回のポイントだよ。人手でコツコツ書いていた偽情報の量産が、AI のおかげで一気に効率化されちゃうリスクが現実のものになってきているってことなんだよね。

これで何が変わるの？

OpenAI はこのネットワークに紐づくアカウントを停止して、AI モデルを使った記事生成・校正・翻訳のパイプラインを断ち切ったよ。ただし OpenAI 自身の評価では、このネットワークは Breakout Scale でカテゴリー 2、つまり複数のプラットフォームに投稿はしていたものの、どこでも大きな拡散(ブレイクアウト)や有意なエンゲージメントは起きていなかった、と結論づけているの。だから「AI を使った影響工作が来た」という話ではあるけれど、「それでバズった」という話ではないんだね。

深く潜ってみよう

OpenAI が観測した IUVM の使い方は、けっこう具体的だよ。

• OpenAI のモデルを使って記事本文・見出し・Web サイトのタグ(メタ情報)を生成、校正していた
• コンテンツは iuvmpress.co(2020 年に FBI が押収したドメインの後継とみられるサイト)や iuvmarchive.org に掲載されていた
• ほとんどの記事は生成から 1 日以内に公開されていて、タグは投稿の直前に生成されるケースが多く、作業が自動化されていたことがうかがえる
• 少なくとも 1 件では、OpenAI のモデルが返した応答文がそのままタグ欄に混入して公開されてしまっていた、というミスも見つかっている
• 発信していたテーマは、親パレスチナやいわゆる「抵抗の枢軸」を称賛しつつ、反米・反イスラエルを訴える内容

モデルの応答文がそのまま公開ページに残っちゃうところに、AI 生成コンテンツならではの雑さが出ちゃってる感じだね。

まとめ

• OpenAI が、イラン拠点の影響工作ネットワーク「IUVM」に関連するアカウントを停止した
• IUVM は記事・見出し・サイトタグの生成や翻訳に AI モデルを利用し、親イラン・反イスラエル・反米コンテンツを英語・フランス語で発信していた
• 掲載先は iuvmpress.co(2020 年に FBI が差し押さえたドメインの後継とみられるサイト)と iuvmarchive.org
• OpenAI の評価では Breakout Scale カテゴリー 2 で、実際の拡散・エンゲージメントは限定的だった
• AI 安全性やディスインフォメーション対策を追っているみんなにとって、実例として押さえておきたいニュースだよ！