# OpenAI、次世代モデル「Astra」のサイバー攻撃力に本気の警戒！あえて開発ペースを落としたよ

みんな、しぃちゃんだよ！今日は OpenAI News から、ちょっと真剣な話題を持ってきたよ。

## なにが発表されたの？

OpenAI の News に、「開発中のモデルのペースをあえて落としている」という発表が載っていたよ。きっかけは 2 つ重なった出来事なんだって。ひとつは OpenAI と Hugging Face の間で起きたセキュリティインシデント、もうひとつは次世代モデル「Astra」が Preparedness Framework(危険性に備えるための社内フレームワーク)で定める「Critical(重大)」なサイバーセキュリティ能力のしきい値に達するかもしれない、という予備的な評価結果だよ。

この 2 つに加えて、社内の研究が急速に進んでいることも重なって、トレーニングのすべての段階で監視・アラインメント・封じ込め(containment)の安全策を強化する取り組みに、より急いで取り組むことになったんだって。

## 今までどうだったの？

これまでの監視体制は、フロンティアモデルの社内デプロイと、フロンティアの強化学習(RL)トレーニングに重点的に投じられていたの。ツールやセンシティブなシステム、社内外のネットワークへのアクセスと高い能力が組み合わさる、いちばんリスクの高い作業だと考えられていたからだよ。ただ、ツールを使うすべての推論・トレーニングに対して監視が適用されていたわけではなかったんだって。

## これで何が変わるの？

OpenAI は今回、監視のやり方を大きく見直して拡張したよ。

- デプロイ予定の最新モデルの強化学習トレーニングを 2 週間一時停止して、その間に研究環境をより堅牢にし、レッドチーム演習を行い、監視の対象範囲を広げたんだって
- 予定していた最大規模のフロンティア RL トレーニングも保留中。まずは小規模なトレーニングと評価を重ねて、モデルの振る舞いを確認し、安全策の有効性を確かめ、アラインメントの証拠を積み上げてから再開する方針だよ
- 新しい監視の仕組みは多段階構成。サンプリングされたトークンごとに動く「アクティベーション分類器」がまず異常の兆候を検知して、より高度で計算コストの高い自動調査システムにエスカレーションする流れだよ。ツールの操作・モデルの推論・一連の行動全体をチェックして、不正アクセスやデータの持ち出し、破壊的な行動、安全策を出し抜こうとする動きがないかを調べるの
- 気になる動きが検知されたら 30 分以内にアラートを出すことを目標にしているよ。重大なセキュリティ境界を破っている可能性がある場合は最優先アラートが出て、安全・セキュリティ・研究の各チームが呼び出される仕組み。誤検知だと 30 分以内に断定できなければ、その作業自体を止めることになっているんだって
- この監視は「Sol」相当以上の能力を持つモデルのツール利用を伴う RL トレーニング・評価すべてに義務付けられているよ。さらに 8 月 7 日に Astra が Critical なサイバー能力を持つ可能性があると判断してからは、Astra がツールを使うすべての推論にも監視の義務が追加されたの
- こうした監視には計算資源もかなり必要で、監視対象の推論コンピュートのおよそ 20 パーセントが監視自体のオーバーヘッドになっているんだって

## 深く潜ってみよう

セキュリティ面では、Hugging Face とのインシデント直後に、コードを実行できたりインターネットにアクセスできたりする研究クラスタでのフロンティアモデルの推論を一時停止したよ。その後、より安全な形でコード実行だけは比較的早く復旧させて、それぞれのワークロードを個別に見直しながら再開の可否を判断していったんだって。

その後の数週間で、フロンティアの研究ワークロードに対する新しいセキュリティ要件を整備・導入し始めたよ。

- ワークロードの分離: モデルが生成したコードや、信頼できないコードを実行するワークロードに、より強いサンドボックス分離を義務付けたよ
- ネットワークの分離: リスクの高い・信頼できないワークロードをインターネットから切り離す制御を追加。1 つのワークロードやサービスが侵害されても、それだけでインターネットや他の社内ネットワークへの不正アクセスにつながらないように設計しているんだって
- 継続的なセキュリティテスト: 脆弱になりうる共有サービスを取り除き、常設の権限を減らし、セキュリティ・信頼境界を改善。さらに自社モデルを使って、模擬攻撃に対する境界のテストを継続的に自動化しているよ

Astra やサイバー関連モデルに関わるワークロードには、最も厳しいレベルのセキュリティ安全策が義務付けられていて、一部の Astra のトレーニング・評価はこの要件を満たしているけれど、新しいセキュリティ基準への移行・強化が終わるまで一時停止されたままのワークロードもまだ多く残っているんだって。移行の優先順位は、安全性・アラインメント関連のワークロードからなんだそうだよ。

アラインメント研究の面でも、より多くのトレーニング段階に中核的な手法を適用するようになったよ。不正な報酬の獲得(reward hacking)などを見抜いて抑制できるように報酬モデルを改善したり、モデル自身の行動・能力・限界について正直であるよう訓練したり、報酬・採点者・ツール・監督の抜け穴を突く行動を減らしたりする取り組みが含まれているんだって。外部のシステムやリソースと関わるときに害を及ぼしうる挙動についても、トレーニングでのカバー範囲を広げているよ。

今後については、Preparedness Framework をさらに発展させて、こうした安全策をトレーニングからデプロイまで一体化していく方針だよ。数週間以内に、今回の学びをまとめた技術レポートを公開する予定で、外部組織との連携も進めていきたいとしているんだって。

## まとめ

- OpenAI-Hugging Face のセキュリティインシデントと、次世代モデル「Astra」が Critical なサイバー能力のしきい値に達するかもしれないという予備評価を受けて、OpenAI が開発ペースをあえて落としたよ
- 最新モデルの RL トレーニングを 2 週間一時停止し、最大規模のフロンティア RL トレーニングも保留中だよ
- 監視の仕組みを多段階化し、気になる動きから 30 分以内のアラートを目標に、監視オーバーヘッドは推論コンピュートの約 20 パーセントに及ぶんだって
- 研究環境ではワークロード分離・ネットワーク分離・継続的なセキュリティテストを強化していて、Astra 関連は最も厳しい基準が適用されているよ
- アラインメント研究も training の各段階に広げていて、数週間以内に技術レポートを公開する予定だよ
- AI の安全性・セキュリティのガバナンスがどう作られていくか気になるエンジニアや研究者に読んでほしい発表だね！