Google test eerste dubbelblinde AI-evaluaties ter wereld

Google DeepMind heeft, in samenwerking met het Singapore AI Safety Institute, OpenMined, AVERI en MLCommons, de eerste dubbelblinde evaluatie ter wereld uitgevoerd van een propriëtair frontier AI-model. De evaluatie maakt gebruik van Google Cloud's Confidential Space om een cryptografisch beveiligde omgeving te creëren waarin externe evaluatoren de gewichten van het model niet kunnen zien en Google de testprompts van de evaluatoren niet kan zien. Dit voorkomt benchmarkvervuiling, waarbij modellen testvragen van tevoren zouden kunnen hebben gezien, en verbetert de integriteit van AI-benchmarks. De pilot testte een Gemini Flash Lite-model tegen vertrouwelijke benchmarks, wat een belangrijke stap markeert in veilige modelevaluatie en het opbouwen van vertrouwen in AI-systemen.