Google pilotiert weltweit erste Doppelblind-KI-Bewertungen

Google DeepMind hat in Zusammenarbeit mit dem Singapore AI Safety Institute, OpenMined, AVERI und MLCommons die weltweit erste Doppelblind-Bewertung eines proprietären Frontier-KI-Modells pilotiert. Die Bewertung nutzt Google Cloud's Confidential Space, um eine kryptografisch sichere Umgebung zu schaffen, in der externe Bewerter die Modellgewichte nicht sehen können und Google die Test-Prompts der Bewerter nicht sehen kann. Dies verhindert Benchmark-Kontamination, bei der Modelle Testfragen im Voraus gesehen haben könnten, und erhöht die Integrität von KI-Benchmarks. Der Pilot testete ein Gemini Flash Lite Modell gegen vertrauliche Benchmarks und markiert einen bedeutenden Schritt in der sicheren Modellbewertung und dem Aufbau von Vertrauen in KI-Systeme.