ChatGPT が会話の流れから危険サインを見抜けるようになったよ！

やっほー、しぃちゃんだよ！今日は AI の安全性まわりの、ちょっと真面目で、でもすごく大事なニュースを持ってきたよ。ChatGPT が「一言だけ」じゃなくて「会話全体の流れ」を見て、危ないサインに気づけるようになった、っていうお話なの。

OpenAI News openai.com

なにが発表されたの？

OpenAI の News で、ChatGPT がセンシティブな会話のなかで時間をかけて少しずつ現れる危険のサインを、うまく汲み取れるようにする安全アップデートが発表されたよ。

1 通のメッセージだけを見ると普通に見える依頼でも、その前のやりとりに悩みや苦しさの気配があると、まったく違う意味を持つことがあるよね。そこで OpenAI は ChatGPT に、まわりの文脈から危うい意図を読み取って、依頼を断ったり、落ち着かせたり(de-escalate)、支援につないだりする判断を学ばせたんだって。

今回のフォーカスは、自殺・自傷・他者への加害みたいな深刻度の高い場面。これは これまでの積み重ね の上に立ったアップデートで、メンタルヘルスや安全の専門家との 2 年以上の協働がベースになっているの。

なぜ重要なの？

センシティブな会話では、たった 1 通のメッセージよりも文脈のほうが大事なことがあるんだよね。「単体だと当たり障りのない質問」が、前の会話の distress(つらさ)のサインと合わさると、危険の合図になっていることがある。

しかもやっかいなのが、危険のサインは別々の会話にまたがって現れることもある、ということ。ひとつの会話にちょっとした兆しがあって、別の会話に関連する依頼がある……という場合、後ろの会話だけを見ると何でもない依頼に見えちゃうの。文脈がないと、大事な警告サインを見落としかねないんだね。

今回のアップデートは、この「後から意味が変わる」タイプの危険を、会話の中でも会話をまたいでも拾えるようにするものなんだよ。

これで何が変わるの？

キモになるのが safety summaries(セーフティサマリー) っていう仕組み。これは、あとで重要になるかもしれない安全に関わる文脈を、短くて事実ベースのメモにしておくもの。

These summaries are created by a model trained for safety reasoning tasks and are narrowly scoped, kept only for a limited time, and used only when relevant to a serious safety concern.

つまり、安全の推論に特化して訓練されたモデルが作っていて、範囲はぎゅっと狭く、保持されるのは限られた期間だけ、使われるのも深刻な安全上の懸念に関わるときだけ。一般的なパーソナライズや長期メモリではない、というところがポイントなの。あくまで「安全のための事実の文脈」を捉えるためのものなんだよ。

そして ChatGPT 側も、この文脈をより慎重に使えるように訓練されていて、注意が必要なときを見分けて、落ち着かせたり・詳細の提供を断ったり・より安全な選択肢に誘導したりできるようになるんだって。

深く潜ってみよう

この仕組みは、OpenAI がこれまで進めてきた セーフコンプリーション(safe completion)のアプローチ の上に乗っているよ。ユーザーの依頼のうち安全でない部分は断りつつ、安全に応えられるところは慎重に応える、という考え方だね。

作り込みには Global Physicians Network のメンタルヘルス専門家(精神科医や心理士、法精神医学・自殺予防・自傷の専門家)が関わっていて、「いつセーフティサマリーを作るか」「どれくらい前の文脈まで見るか」「応答するときにどこまでその文脈を考慮するか」を一緒に決めたんだって。

効果の数字もちゃんと出ているよ。難しいケースを想定した社内評価では:

• 長い 1 本の会話では、安全な応答の性能が自殺・自傷で 50 %、他者への加害で 16 % 改善。
• 現行のデフォルトモデル GPT-5.5 Instant では、他者への加害で 52 %、自殺・自傷で 39 % 改善。
• セーフティサマリー自体の品質も評価していて、4,000 件を超える評価で、安全関連度スコアが平均 4.93 / 5、事実性スコアが 4.34 / 5。

しかも普段の何気ない会話では、この安全文脈を足しても応答の質はほぼ変わらず、サマリーあり・なしでユーザーの好みに有意な差はなかったそう。安全のための仕掛けが、日常会話の邪魔をしないように気を配ってるんだね。

これからについては、今は自傷と他者加害が対象だけど、将来的には biology(生物)や cyber(サイバー)の安全みたいな別の高リスク領域にも、慎重な安全策とともに応用できるか探っていくかも、とのことだよ。

まとめ

• ChatGPT が会話の流れや会話をまたいだ文脈から危険サインを読み取り、より慎重に応答できるようになったよ。
• カギは safety summaries:安全推論用モデルが作る、短命・狭スコープの事実メモ。長期メモリやパーソナライズではないのがポイント。
• 社内評価では安全な応答が最大 50 % 超の改善、サマリーの安全関連度は平均 4.93 / 5。普段の会話の質はほぼ据え置き。
• メンタルヘルス・安全に関心のある人や、AI の安全設計(AI safety)がどう作られているか知りたいエンジニアに刺さる内容だよ！