Google, 세계 최초 이중 맹검 AI 평가 시범 운영

Google DeepMind는 싱가포르 AI 안전 연구소, OpenMined, AVERI 및 MLCommons와 협력하여 독점 프론티어급 AI 모델에 대한 세계 최초의 이중 맹검 평가를 시범 운영했습니다. 평가는 Google Cloud의 Confidential Space를 사용하여 외부 평가자가 모델 가중치를 볼 수 없고 Google이 평가자의 테스트 프롬프트를 볼 수 없는 암호화된 안전 환경을 만듭니다. 이는 모델이 사전에 테스트 질문을 보았을 수 있는 벤치마크 오염을 방지하고 AI 벤치마크의 무결성을 향상시킵니다. 파일럿은 기밀 벤치마크에 대해 Gemini Flash Lite 모델을 테스트하여 안전한 모델 평가와 AI 시스템에 대한 신뢰 구축에 중요한 진전을 의미합니다.