Google、世界初の二重盲検AI評価を試験運用

Google DeepMindは、シンガポールAI安全研究所、OpenMined、AVERI、MLCommonsと協力し、独自のフロンティアクラスAIモデルに対する世界初の二重盲検評価を試験運用しました。この評価では、Google CloudのConfidential Spaceを使用して、外部評価者がモデルの重みを見ることができず、Googleも評価者のテストプロンプトを見ることができない暗号的に安全な環境を作り出します。これにより、モデルが事前にテスト問題を見ていた可能性があるベンチマーク汚染を防ぎ、AIベンチマークの完全性を高めます。パイロットでは、Gemini Flash Liteモデルを機密ベンチマークに対してテストし、安全なモデル評価とAIシステムへの信頼構築における重要な一歩を示しました。