中国政府関連アカウントが ChatGPT で監視ツール設計？OpenAI が不正利用を摘発したよ！

みんな、しぃちゃんだよ！今日はちょっとひやっとするニュース、OpenAI の悪用対策レポートを紹介するね。

OpenAI News openai.com

なにが発表されたの？

OpenAI の News で、中国政府の機関に関連するとみられる利用者が使っていた ChatGPT アカウントを停止した、という報告があったよ。今回のレポートで扱われているのは大きく 2 パターン。ひとつは SNS などを大規模に監視するためのツールの企画・設計を ChatGPT に手伝わせていたケース、もうひとつは特定の個人・団体をピンポイントで調べる、いわゆるプロファイリングや調査に使っていたケースだよ。

なぜ重要なの？

OpenAI は今年 3 月、アメリカの科学技術政策局(OSTP)への「AI Action Plan」提出の中で、権威主義的な政権が AI を使って市民を監視・統制することを防ぐ「民主的な AI」の重要性を訴えていたの。今回のレポートは、その方針の延長線上にある調査結果だよ。OpenAI は 6 月にも、中国が独自の権威主義的な AI を推し進めていると指摘していて、今回摘発したアカウントの動きは、そうした体制の中で AI が実際にどう使われているかを垣間見せる事例として注目されているんだ。しかも今回見つかったのは大規模な組織導入というより、個人ユーザーが ChatGPT を使っていたケースがベースになっていて、あくまで限られたスナップショットだと OpenAI 自身も断っているよ。

これで何が変わるの？

該当するアカウントはすでに停止済みで、ChatGPT を使ってこれ以上のツール設計や情報収集を続けることはできなくなったよ。ただし OpenAI によると、監視ツールについては企画書や宣伝資料、提案書づくりを手伝っただけで、実際の監視システムの構築や運用そのものには ChatGPT は使われていなかったみたい。プロファイリング関連のケースでも、ChatGPT が返したのはあくまで公開情報だけで、資金源や個人の身元といったセンシティブな情報は出していなかった、と OpenAI は説明しているよ。

深く潜ってみよう

監視ツール開発の企画支援としては、こんな事例が報告されているよ。

• VPN 経由で中国からアクセスしていたとみられるユーザーが、SNS 監視ツール「探针(たんしん)」の宣伝資料やプロジェクト計画を ChatGPT に作らせていた。Twitter/X・Facebook・Instagram・Reddit・TikTok・YouTube を横断的にスキャンして、過激な発言や民族・宗教・政治的なコンテンツを検出する、と説明されていたツールだよ
• 政府機関とつながりがあるとみられる別のユーザーが、「高危涉维吾尔关注人员流入预警模型(ウイグル関連要注意人物の流入早期警戒モデル)」という提案書の作成を依頼。交通機関の予約情報と警察の記録を突き合わせて、ウイグル関連・高リスクとされた人物の移動を早期に検知する、という内容だったの

どちらのケースも、ChatGPT に頼んでいたのは企画・提案づくりまでで、実際にそのツールを動かすところまでは確認されていないよ。

プロファイリング・調査まわりでは、こんな依頼が確認されたみたい。

• 中国政府を批判する投稿をしていた X アカウントの資金源を特定しようとした
• モンゴルで行われた署名活動(請願)の主催者を特定しようとした
• 天安門事件(1989 年)の記念日やダライ・ラマの誕生日といった、センシティブな話題も含めて、中国に関係する日々のニュースをまとめさせていた

最初の 2 つのケースでは、ChatGPT が答えたのは検索すれば誰でも分かる公開情報だけで、資金源や主催者の身元のような踏み込んだ情報は返していなかった、と OpenAI は説明しているよ。

まとめ

• OpenAI が、中国政府関連とみられる利用者の ChatGPT アカウントを停止した
• SNS 監視ツール「探针」の宣伝資料や、ウイグル関連要注意人物の早期警戒モデルの提案書づくりを ChatGPT に手伝わせていた事例があった
• 批判的な X アカウントの資金源や、モンゴルの署名活動の主催者を特定しようとする依頼もあったけど、ChatGPT が返したのは公開情報のみ
• 天安門事件やダライ・ラマの誕生日など、センシティブな話題を含む中国関連ニュースの要約にも使われていた
• 該当アカウントは停止済みで、実際の監視システム構築や機密情報の取得には至っていなかった

AI と権威主義・監視社会の関係が気になるみんなに読んでほしいレポートだよ。