El National Institute of Standards and Technology presentó AI Technology Evaluation, o AITE, el 27 de julio: un banco de pruebas gestionado por su Information Technology Laboratory en el que los modelos se puntúan sobre datos que sus desarrolladores nunca han visto y no pueden obtener.

El problema que aborda

Los benchmarks públicos se filtran. Una vez que un conjunto de prueba existe en internet, tarde o temprano aparece en los datos de entrenamiento, momento en el que una puntuación alta mide memorización y no capacidad, y desde fuera no hay forma de distinguir ambas cosas. La evaluación sequesterizada es la única solución estructural: los proveedores de datos deben aportar conjuntos de datos originales, no accesibles públicamente, y el modelo se enfrenta a ellos una sola vez, a ciegas.

El alcance inicial

Tres tareas para empezar, todas de análisis de imágenes con grandes modelos visión-lenguaje: ciencia cuántica, genómica y seguridad pública. NIST indica el inicio en julio de 2026 y la publicación del plan de evaluación, con el periodo de evaluación comenzando en agosto de 2026. El acceso de los participantes figura como “próximamente”.

Lo que no es

Las formulaciones que sugieren que NIST ahora certificará modelos de IA, o que esto constituye una norma federal de seguridad de IA, son erróneas en todos los aspectos. AITE es voluntario, no concede ninguna certificación y no tiene ningún efecto regulatorio. Cubre tres tareas estrechas de análisis de imágenes y no evalúa en absoluto la seguridad de los modelos frontera: ni capacidad cibernética, ni riesgo biológico, ni alineamiento. Su alcance se parece más a un ejercicio de calibración de instrumentos científicos que a un régimen de seguridad.

Por qué importa, aun así

Porque, en ausencia de una ley federal de IA, la infraestructura de evaluación es donde realmente se está construyendo la política estadounidense. Cada propuesta regulatoria en circulación —incluida la prueba obligatoria previa al lanzamiento que el director ejecutivo de Anthropic pidió ese mismo día— presupone la existencia de pruebas que los proveedores no puedan manipular. Ahora mismo esas pruebas en gran medida no existen, y los benchmarks autoinformados por los proveedores son la moneda por defecto. Un organismo público que custodie datos ciegos es la condición previa para hacer discutibles cualquiera de esas afirmaciones.

Matiz sobre la fecha

La propia página de NIST solo ofrece una granularidad a nivel de mes; la fecha de lanzamiento del 27 de julio se basa en el informe de una sola publicación especializada.