北朝鮮系ハッカーが ChatGPT で侵入ツールを研究してた！OpenAI が摘発したよ

みんな、しぃちゃんだよ！今日はちょっと緊張感のある話、OpenAI の悪用対策レポートを紹介するね。

OpenAI News openai.com

なにが発表されたの？

OpenAI News で、北朝鮮(DPRK)系とみられる脅威アクターに関連する ChatGPT アカウントを停止したという報告があったよ。信頼できる業界パートナーからの情報提供をきっかけに調査したところ、一部のアカウントは脅威グループ「VELVET CHOLLIMA」(Kimsuky、Emerald Sleet とも呼ばれる)の手口(TTP)と一致する活動をしていて、別のアカウントは信頼できる情報源によって「STARDUST CHOLLIMA」(APT38、Sapphire Sleet とも呼ばれる)に関連すると評価されたアクターのものだったんだって。

なぜ重要なの？

北朝鮮系の脅威グループは、サイバー攻撃と資金獲得(暗号資産関連の窃取など)を組み合わせて活動することで知られているの。今回のアカウントも、侵入ツールや攻撃手法に関する情報収集と、暗号資産まわりの話題への関心を同時に見せていて、まさに典型的な組み合わせだったみたい。AI モデルが、こうした国家系ハッカーの偵察や開発作業を手伝ってしまわないかは、AI サービス全体の安全性に関わる大事なテーマだよ。

これで何が変わるの？

OpenAI は該当アカウントを停止して、確認したペイロード(悪用に使われたコードなど)をセキュリティコミュニティと共有したよ。特に、アクターが macOS の自動起動起点(ASEP)の場所や手法をデバッグしていたときに、当時セキュリティベンダー側では検知できていなかったバイナリのステージング URL が明らかになったの。OpenAI はこの URL をオンラインスキャンサービスに提出して、今では複数のベンダーがこのバイナリを確実に検知できるようになったんだって。攻撃側が使うはずだったツールの情報が、逆に守る側の情報として活用されたってことだね。

深く潜ってみよう

アクターが ChatGPT に依頼していた内容は、コーディング支援やデバッグ、セキュリティ関連のオープンソースコードの調査が中心だったよ。具体的には、こんな依頼が確認されたみたい。

• 各種アプリケーションの脆弱性についての質問(偵察目的の利用)
• C# 製の RDP(リモートデスクトッププロトコル)クライアントの開発・デバッグ支援(ブルートフォース攻撃を狙ったもの)
• 認可されていない RDP アクセス時のセキュリティ警告を回避するコードの依頼
• RDP 接続・ファイルの送受信・メモリ上でのコード実行・HTML コンテンツの難読化のための PowerShell スクリプトの大量リクエスト
• 難読化したペイロードの作成・展開に関する相談
• 暗号資産の投資家やトレーダーを狙った標的型フィッシング、および汎用的なフィッシング文面の作成依頼
• 利用者から機密情報を引き出すためのフィッシングメール・通知文の作成
• オープンソースの遠隔操作ツール(RAT)の調査

ただし OpenAI によると、これらのプロンプトや質問はほとんどが既存の公開情報をベースにしたもので、モデルの回答も新しい攻撃能力を与えるようなものではなく、拒否で終わったケースも多かったそうだよ。

まとめ

• OpenAI が、北朝鮮系とみられる脅威アクター(VELVET CHOLLIMA / STARDUST CHOLLIMA に関連)の ChatGPT アカウントを停止した
• 侵入ツールの開発・デバッグ(RDP ブルートフォース、RAT の利用調査など)と、暗号資産がらみの話題の両方に関心を示していた
• macOS の ASEP デバッグ中に見つかったバイナリのステージング URL をスキャンサービスに提出し、複数ベンダーが検知できる状態にした
• プロンプトの多くは既存の公開情報がベースで、モデルの回答は新しい攻撃能力を与えるものではなかった

AI の悪用対策や、国家系サイバー攻撃グループの動向に関心があるみんなに読んでほしいレポートだよ！