JA EN
shiichan

フィッシング文面から C2 開発まで、OpenAI が PRC 関連ハッカー集団の ChatGPT 悪用を摘発したよ！

OpenAI News ★★★ Markdown で見る
#openai#ai-safety#security

こんにちは、しぃちゃんだよ！今日は、AI が悪用されないように見張っている OpenAI の取り組みを紹介するね。フィッシングメールの下ごしらえから、こっそりマルウェアづくりの手伝いまで……ちょっとドキッとする内容だよ！

OpenAI News openai.com

なにが発表されたの？

OpenAI の News で、フィッシングメールの文面づくりやマルウェア開発の下支えに ChatGPT を使っていたアカウント群を停止した、という報告があったよ。停止されたアカウント群の活動は、セキュリティ業界がそれぞれ UNK_DROPPITCH(Proofpoint 社の呼び方)、UTA0388(Volexity 社の呼び方)として追跡している脅威グループの報告と重なっていたんだって。しかも少なくとも 1 件では、ChatGPT アカウントの登録に使われたメールアドレスが、実際のフィッシングメール送信にも使われていたことが確認されているよ。

この攻撃者たちの活動には、中国語の使用や、台湾の半導体産業・アメリカの大学やシンクタンク・中国共産党に批判的な民族/政治団体(いわゆる「五毒」)に関連する組織を狙うといった、PRC(中華人民共和国)の情報活動の要求に沿う特徴が見られたとのことだよ。

なぜ重要なの？

OpenAI 自身が強調しているのは、「ChatGPT が新しい攻撃能力を生み出したわけではない」という点なの。今回の攻撃者たちは、もともと持っていたワークフローを少し効率化するために ChatGPT を使っていただけなんだよね。具体的には、フィッシング文面を作ったり、自分たちのツールのデバッグ・改修をしたりする場面での利用が中心だったよ。

AI が悪用されると聞くと「新しい攻撃手法が生まれるのでは」と身構えがちだけど、今回のケースは「既存の攻撃を少し速く・少し流暢にする」という、地味だけど現実的な悪用パターンを示していて、AI サービス側の検知・対策のあり方を考える上でも参考になる話だよ。

これで何が変わるの？

OpenAI はこの活動に関連する全アカウントを停止して、判明した痕跡情報を業界のパートナーと共有したよ。これで、少なくともこのアカウント群が ChatGPT を使って新しいフィッシング文面やツールを量産することはできなくなったね。

ただ、OpenAI 自身も認めている通り、モデルの出力が既に公開されている一般的な攻撃手法を超える能力を与えたという証拠は見つかっていないよ。つまり今回の対応は「新しい脅威を止めた」というより、「使われていた通り道の 1 つを塞いだ」という位置づけになるね。

深く潜ってみよう

攻撃者たちが ChatGPT にやらせていたことは、大きく 2 つに分かれるよ。

  • フィッシング文面の生成(中国語の簡体字・繁体字、英語、日本語など複数言語に対応)
  • ツールやマルウェアの開発支援

面白いのは、技術力に少しちぐはぐなところがあった点。C2(指令サーバー)通信を守るために AES を使う細かい工夫については何度も相談していたのに、実際には単純な固定鍵をそのまま使っていたんだって。フィッシング文面も同様で、学術・業界・カンファレンス関係者を装った丁寧な短文メールを作らせ、トーンの調整や地域向けの言い回し、組織名の差し込みまで細かく指示していたのに、署名欄の連絡先情報が明らかに不自然なまま残っているなど、詰めの甘さも見えたみたい。

コード面では、こんな依頼をしていたよ。

  • HTTPS / TLS などの暗号化通信でビーコン的な定期通信をテストするコード
  • プロセス一覧の取得・特定プロセスの強制終了・環境情報の収集をする Go / PowerShell スクリプト
  • nuclei や fscan といった市販のスキャンツールを bash / PowerShell でラップする作業
  • 関数名の変更やヘッダーの改変、文字列の隠蔽といった簡単な難読化・OPSEC(運用上のセキュリティ)対策

こうしたやり取りを重ねる中で、キープアライブのループや HTTP(S) 経由の簡易なタスク割り当て、JSON 形式でのタスク・結果のやり取りなど、低〜中程度の完成度の C2 プロトタイプに近いものへと組み上げていったよ。この Go ベースの開発内容の一部は、GOVERSHELL(Volexity)や HealthKick(Proofpoint)として業界で報告されているマルウェアと重なる部分もあったんだって。

さらに、DeepSeek を使ったさらなる自動化についても調べていた形跡があったよ。Web コンテンツを解析してフィッシングの標的リストを自動生成し、それぞれの標的が興味を持ちそうな文面まで生成する——という、フィッシングの大量自動化に近い探索的な取り組みだったみたい。ただし、実際にこの自動化を実行に移したかどうか、最終的にどのモデルを使ったかまでは、OpenAI 側でも確認できていないとのことだよ。

OpenAI がまとめた「モデルの生成物(Completions)」を見ると、攻撃者たちが狙っていた領域は次の通りだよ。

  • 暗号化 C2 / リモート実行: AES-GCM によるメッセージ暗号化やセッション鍵の再生成、システム情報のビーコン送信、PowerShell コマンドを Web プロトコルや WebSocket 経由で発行するサーバーコンソールなど、Go 製のクライアント/サーバーコード
  • 通信の秘匿・OPSEC: 平文 WebSocket から wss://(TLS 化)への切り替え、HTTP から HTTPS への切り替え、テスト用の証明書検証の無効化、CDN / TLS フロントエンドを使った通信の紛れ込ませ
  • 偵察・プロセス制御: PowerShell によるアンチウイルス検出、プロセス列挙、Edge / WebView2 プロセスの終了指示
  • 市販スキャンツールの導入: nuclei や fscan を商用 Linux 環境に導入して結果を保存する手順の相談
  • フィッシング・アウトリーチ文面: 学術・業界関係者向けに、件名や文体まで現地の慣習に合わせた説得力ある複数言語メールの作成

これらは OpenAI が定義する LLM ATT&CK のカテゴリーでいうと、ペイロード作成支援・検知回避支援・侵害後の活動支援・偵察支援・ソーシャルエンジニアリング支援など、複数の項目にまたがっていたよ。

まとめ

  • OpenAI が、UNK_DROPPITCH / UTA0388 として業界で追跡されている脅威グループと重なる ChatGPT アカウント群を停止した
  • 攻撃者は中国語を使い、台湾の半導体産業やアメリカの大学・シンクタンクなどを狙っていて、PRC の情報活動の特徴と一致していた
  • 用途はフィッシング文面の生成(多言語対応)と、C2 開発・偵察・スキャンツール導入などのコーディング支援が中心だった
  • AES の細かい議論をしつつ固定鍵を使うなど、技術力にちぐはぐな面も見えた
  • OpenAI は該当アカウントを全て停止し、痕跡情報を業界パートナーと共有。モデルが新しい攻撃能力を生んだ証拠は見つからなかった

セキュリティの現場で AI 悪用の実態を追いかけているみんなに読んでほしいレポートだよ！

関連記事