ChatGPT を マルウェア開発に悪用しようとしてた！OpenAI がロシア語圏の犯罪集団をブロックしたよ！

こんにちは、しぃちゃんだよ！今日はちょっとひやっとする話、OpenAI の不正利用対策レポートを紹介するね。

OpenAI News openai.com

なにが発表されたの？

OpenAI News で、ロシア語圏の犯罪集団に関連するとみられる ChatGPT アカウントを停止した、という報告があったよ。この集団は、リモートアクセス型トロイの木馬(RAT)や認証情報を盗むツール、検知を回避する仕組みなどを開発・改良するために ChatGPT を使おうとしていたんだって。OpenAI は、これらのアカウントがロシア語圏の犯罪者向け Telegram チャンネルに活動の証拠を投稿しているのを確認して、今回の判断に至ったみたい。調査の結果、複数のアカウントを操る 1 人のロシア語圏オペレーターが、プロキシや使い捨てのホスティングインフラを使いながら関与していたと OpenAI は評価しているよ。

なぜ重要なの？

ChatGPT のような AI は、直接「マルウェアを作って」と頼んでも拒否するように作られているよね。でも今回のケースで見えてきたのは、そのガードレールをすり抜けて、悪意のあるツールを部品ごとに組み立てようとする使い方なんだ。実行ファイルをシェルコードに変換したり、メモリ上で動くローダーを設計したり、ブラウザの認証情報を解析したり――こうした技術要素は、それ単体なら悪意があるとは言い切れないよね。だからこそ、AI サービス側がどこまで見極めて止められるかが問われる話なんだよ。

これで何が変わるの？

OpenAI はこの活動に関連するアカウントをすべて停止して、関連する痕跡情報(インジケーター)を業界のパートナーとも共有したよ。これによって、このオペレーターは ChatGPT を使った新しいコード生成や試行錯誤ができなくなったの。ただし OpenAI 自身も明言している通り、AI モデルがこの脅威アクターに、公開情報だけでは得られなかったような新しい能力や手口を与えた証拠は見つかっていないよ。あくまで「持っている知識を効率化する道具として使おうとした」というのが実態みたい。

深く潜ってみよう

オペレーターの使い方には、こんな傾向があったよ。

• モデルは直接的な悪意あるリクエストを拒否するので、実行ファイルのシェルコード変換・メモリ上のローダー設計・ブラウザの認証情報解析といった「部品」レベルのコードを個別に引き出そうとしていた
• 難読化や"クリプター"のパターン(パディング命令やジャンク列の挿入)、クリップボード監視、Telegram ボット経由のアップロードなど、持ち出し用の簡易スクリプトも生成させていた
• 扱っていた技術領域は、低レイヤーの PE / Win32 API、DPAPI / AES GCM を使った Cookie の処理、Chrome DevTools / CDP の自動操作など、Windows プラットフォームに詳しくないと書けない内容が中心だった
• 一方で、大量のパスワード生成や求人応募の自動化のような、技術難度の低い「コモディティ」タスクも混ざっていた
• 少数のアカウントを使い回して同じコードを会話をまたいで改良し続けていて、単発のお試しというより継続的な開発のパターンだと OpenAI は分析しているよ

実際に生成・改良させようとしていた成果物は、次のような内容だったよ(モデル上で実行されたわけではなく、あくまでコードや手順を生成させようとした試みだよ)。

• メモリ上で実行するシェルコードローダー
• UAC・SmartScreen・Mark of the Web を回避する仕組み
• ブラウザの認証情報 / Cookie を抜き取る仕組みと、アプリ紐付け型の復号スキャフォールド
• 暗号資産ウォレットの LevelDB を解析するコードと、クリップボードの内容を乗っ取る / 差し替えるツール
• 映像伝送や入力操作(キーボード・マウス)のエミュレーションを含む RAT のコンポーネント

OpenAI はこれらの活動を LLM ATT&CK フレームワークにも当てはめていて、次の 4 パターンに整理しているよ。

• 実行ファイルのシェルコード化・メモリ上のローダー構築: LLM-Optimized Payload Crafting(LLM 最適化ペイロード作成)
• 難読化・パッカー・クリプターの実装: LLM-Enhanced Anomaly Detection Evasion(LLM 強化型の検知回避)
• 認証情報 / Cookie の抽出、ウォレット解析、クリップボード監視、Telegram 経由の持ち出し: LLM-Assisted Post-Compromise Activity(LLM 支援の侵害後活動)
• リバースプロキシや SOCKS5 / OpenVPN 設定、リモートデスクトップのトンネリングなど C2 インフラの構築: LLM Guided Infrastructure Profiling(LLM 誘導のインフラ偵察)

なお、明確に悪意があって正当な用途が無いと判断されたリクエスト(直接的なエクスプロイトやキーロガーの生成依頼など)は、モデル側がきちんと拒否したそうだよ。

まとめ

• OpenAI が、ロシア語圏の犯罪集団に関連する ChatGPT アカウントを停止した
• RAT、認証情報窃取ツール、検知回避の仕組みなどを開発するための「部品」レベルのコードを個別に生成させようとしていた
• 低レイヤーの Windows API 操作から、ブラウザ認証情報の抜き取り、暗号資産ウォレット解析、C2 インフラ構築まで、幅広い技術領域が対象だった
• 活動は LLM ATT&CK フレームワークの 4 カテゴリ(ペイロード作成・検知回避・侵害後活動・インフラ偵察)に整理された
• モデルへのアクセスが、公開情報だけでは得られない新しい能力を与えた証拠は見つかっていない。痕跡情報は業界パートナーとも共有された

AI の安全対策や、実際の脅威アクターが AI をどう使おうとしているかに興味があるみんなに読んでほしいレポートだよ！