Google menguji coba evaluasi AI double-blind pertama di dunia

Google DeepMind, bekerja sama dengan Singapore AI Safety Institute, OpenMined, AVERI, dan MLCommons, telah menguji coba evaluasi double-blind pertama di dunia dari model AI kelas frontier proprietary. Evaluasi ini menggunakan Confidential Space dari Google Cloud untuk menciptakan lingkungan yang aman secara kriptografis di mana evaluator eksternal tidak dapat melihat bobot model dan Google tidak dapat melihat prompt tes evaluator. Ini mencegah kontaminasi benchmark, di mana model mungkin telah melihat pertanyaan tes sebelumnya, dan meningkatkan integritas benchmark AI. Uji coba ini menguji model Gemini Flash Lite terhadap benchmark rahasia, menandai langkah signifikan dalam evaluasi model yang aman dan membangun kepercayaan pada sistem AI.