OpenAI、ベンチマーク「GeneBench-Pro」の代表的な設問を解説するケーススタディ集を公開
何が発表されたか
OpenAIは2026年6月30日、ゲノミクス・定量生物学向けベンチマーク「GeneBench-Pro」の代表的な設問を深掘りする記事「Inside Genebench-Pro」を公開した。これは同日発表されたベンチマーク本体の紹介記事に付随するもので、実際の設問がどのような形式・難易度なのかを、具体的な事例を通じて示す内容になっている。
記事では、ベンチマークを構成する129問のうち10問を代表例として取り上げ、それぞれについて元の設問文(プロンプト)、使用するデータセット、参考資料をセットで紹介している。
技術的なポイント
- 紹介される10のケーススタディは、いずれもGeneBench-Pro本体を構成する129問からの抜粋
- 各ケーススタディは、設問プロンプトと合成データセット、判定基準となる参考資料の3点セットで構成
- 代表例の一つとして、TXR1(架空の分子標的)を狙う阻害薬の治験候補となる固形がん症例レジストリを題材にした設問が紹介されている
- この設問では、構造variant(SV)によってTXR1の標的経路が活性化しているサブグループを、ロングリード配列・遺伝子発現・腫瘍品質・薬理ゲノミクスの証拠から特定した上で、TXR1阻害薬と非TXR1系全身療法の16週時点での臨床的有用性の差や、8週時点での治療制限的な毒性・中止リスクを推定することが求められる
- こうした設問はいずれも既知の因果構造から合成的に生成されたものであり、実在の患者データではない
所感・どう使えるか
抽象的なスコアだけでなく、実際の設問例を公開する姿勢は、ベンチマークの妥当性を第三者が検証する上で有用である。特に紹介されているTXR1のケースは、遺伝子・画像・薬理ゲノミクスなど複数種類の証拠を統合して臨床的な意思決定に近い推論を行う必要があり、単純な知識想起では解けない設計になっていることがうかがえる。合成データとはいえ、実務に近い複雑さを持つタスクセットとして、他のAIベンダーによる追試にも期待したい。