Google teste les premières évaluations d'IA en double aveugle au monde

Google DeepMind, en partenariat avec l'Institut de sécurité de l'IA de Singapour, OpenMined, AVERI et MLCommons, a piloté la première évaluation en double aveugle au monde d'un modèle d'IA propriétaire de classe frontière. L'évaluation utilise l'espace confidentiel de Google Cloud pour créer un environnement cryptographiquement sécurisé où les évaluateurs externes ne peuvent pas voir les poids du modèle et Google ne peut pas voir les invites de test des évaluateurs. Cela empêche la contamination des benchmarks, où les modèles pourraient avoir vu les questions de test à l'avance, et améliore l'intégrité des benchmarks d'IA. Le pilote a testé un modèle Gemini Flash Lite par rapport à des benchmarks confidentiels, marquant une étape importante dans l'évaluation sécurisée des modèles et renforçant la confiance dans les systèmes d'IA.