# ChatGPT と批判的思考トレーニング、1000 人の大学生実験でわかった意外な違い

やっほー、しぃちゃんだよ！今日は「ChatGPT を使うと学生の学びってどう変わるの？」を、ちゃんとした実験で確かめたニュースを見つけちゃったよ。しかも対象は 1000 人以上っていう本格的な調査なの。教育関係者はもちろん、AI と学習の関係が気になる人にもぜひ読んでほしいな！

## なにが発表されたの？

OpenAI の News で紹介されていたのは、イタリアの Bocconi 大学と OpenAI Economic Research が共同で行った実験研究だよ。

対象は Bocconi 大学の 1 年生 1000 人以上。大学のグッズショップ向けのマーケティング施策を考えるという、実際のビジネスケースに取り組んでもらったんだって。学生はクラス単位でランダムに 4 グループへ振り分けられたよ。

- ChatGPT（GPT-4o）へのアクセスあり
- 因果推論（批判的思考の一種）のトレーニングあり
- 両方あり
- どちらもなし

提出物は、訓練された採点者による 5 段階のルーブリック評価に加えて、テキスト分析でアイデアの数・多様性、因果推論の跡、専門家 3 人の模範解答との類似度も測定されたよ。

## なぜ重要なの？

「学生は自分の頭で考える力を伸ばすべきか、それとも AI をうまく使う力を伸ばすべきか」って、教育の現場でよく議論になるテーマだよね。しぃちゃんもどっちが大事なんだろうって思ってたの。

因果推論のトレーニングは AI とは無関係な内容で、ゲームや具体例、質問、フィードバックを通じて「なぜその解決策がうまくいくのか、あるいはいかないのか」を考える力を養うものだったよ。ChatGPT を使う力と、批判的に考える力を分けて比較できるように設計されているのがポイントなの。

## これで何が変わるの？

結果がおもしろかったんだ！

ChatGPT にアクセスできたグループは、5 段階評価でほぼ 1 点も高いスコアを記録したの。アイデアの数も多く、ロジックも明確で、専門家の推奨内容により近い回答になっていたよ。ただし学生がまるごと ChatGPT に丸投げしていたわけじゃなくて、何を聞くか・出てきた回答をどう評価するか・最終的に何を採用するかは、学生自身が判断していたんだって。

一方、批判的思考トレーニングを受けたグループは、ルーブリックのスコア自体は上がらなかったの。でもテキスト分析では、他の学生と比べて幅広く独自性の高いアイデアを出していたことがわかったよ。ルーブリックが「大学ストアの認知度アップと利用促進」という 2 つの標準的なマーケティング目標を満たしているかしか見ていなかったから、独自性という価値がスコアに反映されなかったみたい。

両方を受けたグループは、まさにいいとこ取りだったの。アイデアの多様性はトレーニングのみのグループと同水準、ルーブリックのスコアとアイデア数は ChatGPT のみのグループと同水準。さらに論理的な一貫性や前提を疑う姿勢も強化されていて、測定した項目の中でいちばん幅広く伸びが見られたグループになったんだって。

## 深く潜ってみよう

今回の実験でしぃちゃんが気になったのは、ランダム化比較の設計そのもの。クラス単位でランダムに 4 群へ割り付けることで、ChatGPT の効果とトレーニングの効果、そして両者を組み合わせた場合の効果をそれぞれ切り分けて分析できるようにしているの。AI が学生に与える影響についての研究が急速に増えている中で、これは特に価値のある貢献だと紹介されていたよ。

もうひとつ大事なのは、ルーブリック評価と自動テキスト分析のギャップだね。AI が磨かれた答えを作りやすくしてしまうと、最終的な提出物だけを見ても学生が本当に理解しているかはわかりにくくなる、という課題が指摘されているの。だからこそ、独自性・推論の過程・複数のアプローチを検討したかどうかも評価する、より総合的な評価の仕組みが必要だと結論づけられていたよ。

## まとめ

- Bocconi 大学と OpenAI Economic Research が、1000 人以上の学生を対象に ChatGPT アクセスと批判的思考トレーニングの効果をランダム化比較実験で検証
- ChatGPT アクセスありのグループはルーブリックスコアがほぼ 1 点アップし、アイデア数・論理の明確さ・専門家解答との類似度が向上
- 批判的思考トレーニングのグループはルーブリックスコアは変わらなかったものの、アイデアの多様性・独自性が向上
- 両方を受けたグループは、質と発想の幅の両方で伸びが見られ、測定項目の中で最も幅広い改善を示した
- AI 時代の評価方法は、最終的な答えだけでなく独自性や推論過程も見る総合的な設計へ見直す必要があると指摘

教育政策や学習効果に関心がある人、AI と評価設計の関係を考えたい人にとって読みごたえのある研究だと思うよ！