# ChatGPT を悪用した詐欺ネットワーク、OpenAI がまとめて摘発したよ！

みんな、しぃちゃんだよ！今日は AI の安全対策のニュースを見つけたから紹介するね。ちょっと物騒な話だけど、OpenAI がどう戦っているかが分かる面白い内容だよ。

## なにが発表されたの？

OpenAI の News で、モデルの悪用対策レポートが公開されたよ。直近 3 ヶ月の間に、カンボジア・ミャンマー・ナイジェリアを発信元とみられる詐欺ネットワークを検出して、関連アカウントを停止したという内容なの。単独犯による小規模な詐欺から、組織犯罪グループに連なるとみられる大規模で継続的な詐欺センターまで、幅広い規模のアカウントが対象になったみたい。

## なぜ重要なの？

AI モデルは正しく使えばすごく便利だけど、悪用されると詐欺の効率化にも使われちゃう。OpenAI はこうした悪用パターンを継続的に監視して、見つけ次第 BAN する取り組みを続けているんだって。今回のレポートは、その具体的な手口と、逆に AI が詐欺を見抜く側にも役立っているという両方の視点をまとめているのがポイントだよ。

## これで何が変わるの？

レポートによると、悪用の多くは「AI に合わせた新しい詐欺の手口」を作ったわけじゃなくて、既存の詐欺の型に AI を組み込んでスケールさせるものだったんだって。OpenAI はこの詐欺のパターンを「ping(コールドな接触)→ zing(期待や焦りを煽る)→ sting(お金や情報を引き出す)」の 3 段階で整理しているよ。

実際に摘発されたケースはこんな感じ。

- カンボジア・ナイジェリア発とみられる「投資会社」を装う詐欺網。偽サイトや偽の SNS 広告で「トレーディングの専門家」を演じるアカウントを作り、非公開のメッセージグループに勧誘。モデルは主に文章の生成・翻訳、Web サイトや SNS コンテンツの作成、簡単なリサーチに使われていたよ
  - ミャンマー拠点の可能性が高い詐欺センター。詐欺コンテンツの生成だけじゃなく、スケジュール管理や社内通知の作成、寮の部屋割り、資金管理など日常業務にもモデルを利用。一部の運営者は「オンライン詐欺で捕まった場合の刑罰」についてモデルに質問していたことも分かったよ
  - カンボジア発とみられる、より手の込んだケース。架空のトレーディング専門家や社員の詳細なプロフィールを AI に生成させて、そのキャラクターになりきった SNS メッセージを書かせていたよ。ターゲットから届いたメッセージをそのまま入力して、偽の人格として会話を続けさせるという使い方もされていたの
  - 別のカンボジア発ケースでは、米国の電話番号に一斉送信するコールド SMS の文面を生成。招待された WhatsApp グループでは、6 つほどのアカウントが「投資家」「投資の専門家」を演じる会話がまるごと AI 生成で、中国語から一括翻訳されたものだったんだって
  - ナイジェリア発とみられる投資詐欺では、ラテンアメリカの富裕層に SNS 広告でリーチする方法や、居場所を隠す方法、プラットフォームの規制を回避する方法をモデルに相談していたよ

さらに気になるのが、検出を逃れようとする動きも見られたこと。OpenAI が過去にレポートを出したり、Meta と情報共有したりしたことを受けてか、一部の詐欺グループは AI っぽさを消すためにモデルへ「出力から em dash(ダッシュ記号)を削除して」と指示していたそう。WhatsApp に詐欺グループを BAN された際には、「競合に虚偽通報された」という言い訳の文面まで AI に作らせていたケースもあったみたい。

一方で、明るい話もあるよ。OpenAI の調査では、ChatGPT は詐欺に悪用される回数の約 3 倍、詐欺を見抜くために使われているという推計が出ているの。実際に、この記事内で紹介されている詐欺のすべてのケースで、ユーザーが ChatGPT に相談して詐欺だと正しく見抜き、対処法のアドバイスを受けられた事例が確認されているんだって。TikTok のリクルーターを装った詐欺 SMS を投資者に見せて ChatGPT に判定してもらった、という具体例も紹介されていたよ。

## まとめ

- OpenAI が直近 3 ヶ月で、カンボジア・ミャンマー・ナイジェリア発とみられる詐欺ネットワークのアカウントを停止
- 多くのケースは新しい詐欺手口の発明ではなく、翻訳・文章生成・SNS コンテンツ作成など既存の詐欺の「効率化」に AI を利用
- 偽の投資会社を装う詐欺、日常業務まで AI に任せる詐欺センター、なりすましキャラクターに会話させる詐欺など手口は多様
- 一部の詐欺グループは AI 使用の痕跡(em dash など)を消す・BAN の言い訳を AI に作らせるなど検出回避も試みていた
- ChatGPT は詐欺目的の約 3 倍の頻度で、詐欺を見抜く目的にも使われているという推計あり

AI の安全対策やモデルの悪用がどう防がれているかに興味があるエンジニアのみんなに読んでほしいレポートだよ！