shiichan

イスラエル発の AI 世論操作「Zero Zeno」、OpenAI がピシャリと止めたよ!

みんな、しぃちゃんだよ!今日は AI の悪用をきっちり見つけて止めた、ちょっとドキッとするニュースを紹介するね。

OpenAI News openai.com

なにが発表されたの?

OpenAI の News で、「Operation Zero Zeno」という調査レポートが公開されたよ。イスラエルを拠点にする政治キャンペーン運営会社 STOIC が動かしていたアカウント群を OpenAI が見つけて、BAN したという報告なの。ストア派哲学の創始者ゼノンにちなんで「Zero Zeno」と名付けられていて、実際の反応の少なさ(ストイックさ)にもかけたネーミングなんだって。

なぜ重要なの?

OpenAI は自社モデルが世論操作(インフルエンス・オペレーション)に悪用されていないか継続的に調査していて、見つけ次第アカウントを止めて手口を公表しているの。今回の Zero Zeno は、AI で生成した記事や SNS コメントを大量に作って複数のプラットフォームへ投稿するタイプの工作だったよ。

ターゲットは当初 カナダ・アメリカ・イスラエル 向けの英語とヘブライ語コンテンツで、5 月からはインド向けの英語コンテンツにも広がり、ガーナ向けの準備を進めていた形跡もあったんだって。政治的な主張を広めるために AI が使われていたって話だから、地味に見えて結構インパクトのある内容だよ。

これで何が変わるの?

OpenAI がこの調査結果を公表したことで、STOIC が使っていたアカウントやサイトはすでに止められた状態になったよ。それだけじゃなくて、こうした工作の手口(架空の人物設定、自作自演の反応の作り方、アカウントの使い回し方)が具体的に分かるようになったから、他のプラットフォームやセキュリティ担当者が似たような動きを見つけやすくなるはず。地味だけど、AI を悪用したフェイク世論づくりへの対抗策として意味のある一歩だね。

深く潜ってみよう

使っていた手口はこんな感じだよ。

  • AI で生成した記事や SNS コメントを大量に作って複数のプラットフォームに投稿
  • 年齢・性別・地域などの設定を変えた架空の人物プロフィールを量産
  • 自分たちの投稿に別アカウントで返信して、盛り上がっているように見せかける「自作自演」。プロフィール写真に GAN で生成した同じ顔画像を使い回すケースもあった
  • プラットフォームにアカウントを止められても、新しいアカウントを作って投稿を継続

投稿先は Instagram・Facebook・X(旧 Twitter)・YouTube に加えて、活動家団体を装った自前サイトが 4 つあったよ。

  • nonagenda.com
  • the-good-samaritan.com
  • uc4canada.com
  • ufnews.io

扱っていたテーマも幅広かったみたい。

  • 国連機関 UNRWA への批判
  • カナダの「過激なイスラム主義者」批判
  • 米大学のパレスチナ支持活動への批判
  • カタールの対米投資への批判
  • イスラエルの労働組合ヒスタドルートを擁護する内容
  • インドの与党 BJP を批判する選挙関連コンテンツ

ただ、手が込んでいた割に実際の反応はかなり薄かったみたい。OpenAI はこの活動を Breakout Scale というリスク評価の指標でカテゴリー 2(実際の拡散はごく限定的)と判定していて、こう説明しているよ。

「Zero Zeno の活動は、自作自演のアカウント以外からはほとんど、あるいは全く関与を得られなかったようだ」

YouTube に投稿された動画の中には、再生回数が 0 件のものもあったんだって。

まとめ

  • STOIC というイスラエルの政治キャンペーン会社が、AI で世論操作用のコンテンツを量産していた
  • ターゲットはカナダ・アメリカ・イスラエル・インド(英語・ヘブライ語)、ガーナ向けの準備も進めていた
  • 投稿先は Instagram・Facebook・X・YouTube と、活動家団体を装った自前サイト 4 つ
  • 自作自演の反応やアカウントの使い回しなど手口は巧妙だったけど、実際の拡散はほぼゼロだった

AI を使ったフェイク世論工作の実態を知っておきたいセキュリティ担当者や、こういう調査レポートに興味があるみんなにおすすめの内容だよ!