6 段階で「ハマらせる」手口が丸わかり！OpenAI が AI 悪用のロマンス詐欺を摘発したよ

みんな、しぃちゃんだよ！今日はちょっとゾッとする話、OpenAI が公開した悪用対策レポートを紹介するね。AI が「恋するフリ」をして詐欺の片棒を担がされてたなんて、しぃちゃんもびっくりだよ。

OpenAI News openai.com

なにが発表されたの？

OpenAI News で、日本語・中国語・英語の短いコメントを翻訳・生成していた ChatGPT アカウント群を停止したと報告されたよ。活動はカンボジアを拠点にしていたとみられていて、いわゆる「ロマンス詐欺」「投資詐欺」(通称 Pig Butchering)と呼ばれる手口と一致していたんだって。同じ時期に Meta も、カンボジアで新しく立ち上がった詐欺拠点に由来する関連活動を自社プラットフォームで確認していたみたい。

なぜ重要なの？

この詐欺グループが頼っていたのは、AI モデルの翻訳力と文章生成力だったの。実行役の主な言語は中国語だったみたいだけど、モデルを使うことで日本語や英語でも自然な会話が成立していたんだよね。しかも 40 代以上・医療系の職業に就いていそうな男性を狙い、ゴルフの話題への返信を多用するという、かなり計画的なターゲティングをしていたの。言語の壁を AI が肩代わりすることで、詐欺の「営業」が多言語かつ大規模に回せてしまう——そこがこの報告が注目される理由だよ。

これで何が変わるの？

OpenAI がこのアカウント群を停止したことで、このネットワークは ChatGPT を使った新しいコメントや会話文の生成ができなくなったよ。OpenAI は今回のケースについて、業界他社や関係当局とも情報を共有しているみたい。実際に Meta 側もカンボジア発の関連する詐欺拠点の活動を独自に確認していて、プラットフォームをまたいだ実態把握が進んでいることが伝わるね。

深く潜ってみよう

詐欺グループがモデルを使っていた場面は、大きく 2 つあったよ。

• Facebook・X・Instagram の投稿に返信するコメントの生成(プロフィール写真は実在するモデルやインフルエンサーの写真を無断使用していて、AI 生成ではなかったみたい)
• チャットで交わす短い会話文の翻訳・生成(中国語と日本語・英語の間の翻訳が中心で、「色っぽい若い女性」口調などのトーン指定や、名前・学歴・職業・居住地・趣味といった細かい経歴設定を与えて返信させていた)

ターゲットは公開プロフィールから 40 代以上・医療系の職業とみられる男性が中心。ゴルフの話題への返信が多く、狙いを絞った戦略がうかがえるほか、政治的な話題に触れることもあったんだって。連絡手段は LINE・WhatsApp・X・Facebook・Instagram に加えて、Apple の「メールを非公開」機能や、暗号資産・外国為替の取引プラットフォームまで幅広く使われていたよ。

OpenAI が確認した典型的な流れは、次の 6 段階だったみたい。

1. 公開エンゲージメント: SNS 投稿に質問付きのコメントを送って反応を引き出す
2. ダイレクトメッセージへの移行: 短い会話コメントを生成し、DM でのやり取りを始める(とみられる)
3. セキュアなアプリへの誘導: 数日以内に、SNS への不信感や都合を理由に別のメッセージアプリへ移動を促す
4. 恋愛的なやり取り: 徐々に親密なメッセージを重ね、写真を求められたら理由をつけて断る
5. 投資話への誘導: 親族の助言で外国為替・暗号資産・金への投資が儲かったと自慢し、同じ投資を勧める
6. 金銭の詐取: 投資アプリへの送金を促し、出金しようとすると手数料などの口実で引き止める

結果はすべて成功していたわけじゃなくて、詐欺だと見破られて縁を切られたり、投稿に反応が全く付かなかったりする「失敗」も多かったみたい。一方で、会話の中には数千ドル規模の取引額が出てくるものもあって、少なくとも一部では実際に被害が出ていた可能性が高いと OpenAI は見ているよ(送金が実際に行われたかまでは確認できていないとのこと)。OpenAI はこうした詐欺目的の利用を規約で明確に禁止していて、今回も業界他社や当局と情報を共有しながら対応したそうだよ。

まとめ

• OpenAI が、カンボジア拠点とみられるロマンス・投資詐欺(Pig Butchering)ネットワークの ChatGPT アカウントを停止した
• 実在インフルエンサーの写真を使った偽プロフィールで、40 代以上・医療系職業とみられる男性をゴルフ関連の投稿経由で狙っていた
• 公開エンゲージメント→ DM →アプリ移行→恋愛的やり取り→投資話→送金要求という 6 段階の手口を AI で翻訳・生成していた
• 連絡手段は LINE・WhatsApp・SNS 各種に加え、暗号資産・外国為替の取引プラットフォームまで多岐にわたった
• 反応ゼロの投稿や見破られたケースも多い一方、数千ドル規模の被害をうかがわせる会話も確認された

AI がこんな形で悪用されてるんだ…って知っておきたい、セキュリティや AI の安全性に関心があるみんなに読んでほしいレポートだよ！