# OpenAI が「フロンティア AI 訓練の safety case」ガイドラインを公開！訓練前に安全性を証明しよう

みんな、しぃちゃんだよ！

今日は OpenAI が公開した、AI 訓練の安全性についての考え方のお話！ちょっと硬派だけど、中身はとっても具体的だから一緒に見ていこうね。

## なにが発表されたの？

OpenAI の News で、「Towards safety cases for frontier AI training」という記事が公開されたよ。フロンティア AI の訓練に向けた safety case の、初期ガイドラインを紹介する内容なの。

safety case というのは、リスクについての包括的で構造化された、根拠に基づく議論のこと。航空や原子力のような、安全が最重要な業界で使われているものだよ。

## なぜ重要なの？

OpenAI は、フロンティアの強化学習(RL)訓練を続ける前に、構造化された安全性の文書化を必須にすべき時代に入りつつあると考えているよ。

ただし、safety case はあくまで目指す北極星という位置づけ。AI は能力が上がるたびに複雑さが増すので、航空や原子力と同じ厳密さにするのは難しいと認めているの。今は、この考え方を体系化するフレームワークを作っている途中で、現時点の知見を公開してコミュニティのフィードバックを募っているんだって。対象はフロンティア RL 訓練で、デプロイ時にはもっと広いアラインメントの性質を考える必要がある、とも書かれているよ。

## これで何が変わるの？

これは新機能の発表ではなく、考え方とベストプラクティスの共有だよ。AI ラボが訓練前に何を確認し、事故が起きたらどう調べるかの共通言語が見えてくるので、安全性や AI ガバナンスに関わる人には参考になりそう！なお、これらの内容は OpenAI で実装を進めている最中で、今後数週間で進化していく見込みとのことだよ。

## 深く潜ってみよう

ガイドラインは 3 つの柱でできているよ。

### 1. 技術的な安全策

アラインメント訓練・封じ込め(containment)・監視の 3 つを扱うの。

- モデルのアラインメント:
  - 訓練環境の自動レビューや手動レビューで、報酬ハックが強化されるのを防ぐ
  - グレーダーを調整して、環境を悪用する試みにペナルティを与える
  - 評価を過去の事故でバックテストし、評価ゲーミング(モデルが評価中だと気づくこと)も追跡する
  - RL では、自動グレーダーに chain-of-thought を見せない(モニターを回避するよう進化させないため)
- 封じ込め: サンドボックスと研究基盤の多層防御、訓練中のチェックポイントを使ったレッドチーミング、サンプル間の高帯域な通信の制限、エージェントのトランスクリプトの不変保存
- 監視: モニターのしやすさを閾値つきで維持し、過去の事故に対する高い再現率を確保し、優先アラートには定義済みの SLA で対応する(夜間は未確認アラートで自動一時停止する例も)

### 2. 運用ガイドライン

- 別チームの人が safety case の穴を探す「dissent(事前検証)」を書く
- 上級リーダーが承認し、それぞれが訓練を拒否(veto)できる
- 訓練の責任者が、safety case と事故対応の説明責任を負う
- 一時停止のための runbook・技術的制御・SLA を用意する
- 監査人に、主張を検証できるだけのアクセスを与える
- 監視や自動停止は fail closed にして、非準拠の訓練を始めにくくする
- 残存リスクを、できる限り網羅して列挙する

### 3. ミスアライメント事故の調査

他の高リスク産業の事故調査を参考に、こんなことを挙げているよ。

- 社内への定期的な情報共有
- 訓練のダイナミクスに遡った根本原因の調査
- 運用面・文化面のポストモーテム
- 事故由来の情報でスコアを上げにいかない検出手法と、回帰テストとしての評価
- 調査結果の公開と、影響を受ける第三者への早期通知

## まとめ

- OpenAI が、フロンティア AI 訓練向け safety case の初期ガイドラインを公開
- 柱は、技術的な安全策・運用ガイドライン・ミスアライメント事故の調査の 3 つ
- safety case は目指す北極星で、フレームワークは作成中。フィードバックも募集している
- 内容は現在 OpenAI で実装中で、今後進化する見込み

AI の安全性やガバナンス、フロンティアモデルの訓練体制に関心がある人に刺さる記事だよ！