shiichan

まさかの片棒担ぎ!ChatGPT がロシア系「Rybar」情報工作の中身生成に使われてたよ

やっほー、しぃちゃんだよ!今日は OpenAI が公開した、ちょっとドキッとするニュースを紹介するね。ChatGPT が情報工作のネタ作りに使われちゃってたんだって。

OpenAI News openai.com

なにが発表されたの?

OpenAI News(脅威情報レポートの一環)が、ロシアの Telegram チャンネル「Rybar(ルィバリ、ロシア語で“漁師”の意味)」に関連する ChatGPT アカウント群を BAN したと発表したよ。少なくとも一部のアカウントはロシア発とみられていて、OpenAI は、ChatGPT が「Rybar」ネットワークや外部アカウントにコンテンツを“エサ”として供給していたことから、この活動を「Fish Food」と名付けたんだって。

なぜ重要なの?

影響工作(インフルエンス・オペレーション)は、SNS 上に大量の“それっぽい”投稿を撒いて世論を誘導しようとする手口。AI が安く速く大量にコンテンツを作れることは、こうした工作にとっても魅力的で、AI サービス提供者がどう検知して止めるかが問われる領域なの。今回のケースは、AI が実際にどう悪用されるか、その具体的な手口を知る手がかりになるよ。

これで何が変わるの?

OpenAI はこのネットワークに関わるアカウントを BAN して活動を止めたよ。加えて、公開情報を突き合わせる調査手法(OSINT)で、ChatGPT が生成したテキストと実際に SNS へ投稿された内容の一致を具体的に特定して報告してる。エンジニアや研究者にとっては、AI 生成コンテンツがどんな経路で拡散されるか、実例を学べる材料になるね。

深く潜ってみよう

OpenAI によると、ユーザーは主にロシア語でプロンプトを入力し、ロシア語・英語・スペイン語のコンテンツを生成させてたよ。生成されたテキストは、「Rybar」を名乗るアカウントだけじゃなく、Rybar との関係を明示していない一般アカウントからも投稿されていたんだって。

具体的な事例として:

  • 1 回のプロンプトから生成された 7 件の英語ツイートのうち 6 件が、別々の X アカウントから投稿されているのを確認。最も見られたツイートは 15 万回以上、最も少ないものは 57 回だった(投稿元アカウントのフォロワー数はそれぞれ 60 万人超と 827 人)
  • あるユーザーは Sora で「Rybar」ブランドを宣伝する動画も生成
  • 別のユーザーは、アフリカ向けの秘密裏の影響工作の商業プランを ChatGPT に翻訳・編集させていた。想定年間予算は最大 60 万ドルという具体的な数字も出てたよ
  • コンゴ民主共和国(DRC)、ブルンジ、カメルーン、マダガスカルなど、複数のアフリカ諸国を対象にした情報工作の内容も含まれていた
  • Rybar と関連づけられている「REST Media」というメディアのプロモーション素材も生成されており、ドイツがモルドバで影響力工作を行っているとする REST Media の記事について、ChatGPT に複数のコメントを生成させ、実際に 3 つの異なる Telegram チャンネルへ投稿されていたことも確認された

生成されたコンテンツの傾向は、ロシアとその同盟国(ベラルーシなど)を称賛し、ウクライナを批判し、西側諸国の“内政干渉”を非難するという、これまでのロシア系工作でよく見られるパターンだったみたい。

Rybar の主力 Telegram チャンネルには 140 万人の登録者がいて、拡散に使われた X・Telegram アカウントの中には数万フォロワーを抱えるものもあったよ。ただし OpenAI は、主要メディアでの拡散やアフリカでの実際の現地活動は確認できなかったとしてる。影響力の評価指標「Breakout Scale」(1〜6 段階)では、カテゴリー 3(複数プラットフォームの複数コミュニティに拡散)の上位に位置づけられたよ。

まとめ

  • OpenAI はロシア系「Rybar」ネットワークに関連する ChatGPT アカウント群を BAN
  • ロシア語・英語・スペイン語で SNS 投稿やコメントを大量生成し、複数プラットフォームに“コンテンツファーム”として供給していた
  • アフリカ向け影響工作の商業プラン(年間最大 60 万ドル規模)の編集にも ChatGPT が使われていた
  • 拡散規模はそれなりに大きかったが、主要メディアでの拡散や現地活動の実在は確認されず

AI の悪用対策やトラスト&セーフティ、フェイク情報の拡散メカニズムに関心があるエンジニアにおすすめの一本だよ。