臨床研究の AI コーディングのデモは、どれも同じに見えます。誰かが依頼を入力し、コードが現れ、そのコードが動き、会場がうなずく。
「動いた」は、考えうる最も低いハードルです。
実務で使えるかを決める問い
- SAP どおりに実装したのか、それとも似て非なるものを実装したのか
- SDTM から ADaM、TLF まで、導出を追跡できるか
- 誰もデモで見せないエッジケースも含めて、出力が仕様と完全に一致するか
- 独立したレビューアが再現できるか
どれも、デモでは見えません。ベンチマークでしか見えないのです。
BIODSA-1K
BIODSA-1K は、生物医学データサイエンスのエージェントを、インタプリタがエラーを出すかどうかではなく、求められる解析成果物を生み出せるかどうかで評価するためのベンチマークです。コパイロットの研究は Nature Biomedical Engineering で発表されています。
結論は「AI はもう使える」ではありませんでした。失敗のパターンは具体的で再現可能であり、だからこそ修正できる――これは成功率よりもはるかに役に立つ結果です。
まとめ
AI プログラミングツールを評価するなら、依頼はシンプルです。「私たちの SAP で動かして、監査証跡を見せてください。」