Google запускает первые в мире двойные слепые оценки ИИ

Google DeepMind в партнерстве с Сингапурским институтом безопасности ИИ, OpenMined, AVERI и MLCommons провел пилотную первую в мире двойную слепую оценку проприетарной передовой модели ИИ. Оценка использует Confidential Space от Google Cloud для создания криптографически защищенной среды, где внешние оценщики не могут видеть веса модели, а Google не может видеть тестовые запросы оценщиков. Это предотвращает загрязнение бенчмарков, когда модели могли заранее видеть тестовые вопросы, и повышает целостность бенчмарков ИИ. Пилот протестировал модель Gemini Flash Lite на конфиденциальных бенчмарках, что стало значительным шагом в безопасной оценке моделей и укреплении доверия к системам ИИ.