NIST a créé un banc d’essai où les développeurs de modèles ne voient jamais les données de test

Le National Institute of Standards and Technology a dévoilé AI Technology Evaluation, ou AITE, le 27 juillet — un banc d’essai géré par son Information Technology Laboratory dans lequel les modèles sont évalués sur des données que leurs développeurs n’ont jamais vues et ne peuvent pas obtenir.

Le problème visé

Les benchmarks publics fuient. Dès qu’un jeu de test existe sur internet, il finit par apparaître dans les données d’entraînement ; à ce moment-là, un score élevé mesure la mémorisation plutôt que la capacité — et il n’existe aucun moyen de distinguer les deux de l’extérieur. L’évaluation en vase clos est la seule correction structurelle : les fournisseurs de données doivent fournir des jeux de données originaux, inaccessibles au public, et le modèle les rencontre une seule fois, en aveugle.

Le périmètre initial

Trois tâches pour commencer, toutes en analyse d’images avec de grands modèles vision-langage : science quantique, génomique et sécurité publique. NIST indique un lancement et une publication du plan d’évaluation en juillet 2026, avec début de la période d’évaluation en août 2026. La connexion des participants est indiquée comme bientôt disponible.

Ce que ce n’est pas

Les présentations laissant entendre que NIST va désormais certifier les modèles d’IA, ou qu’il s’agit d’une norme fédérale de sécurité de l’IA, sont erronées sur toute la ligne. AITE est facultatif, n’accorde aucune certification et n’a aucun effet réglementaire. Il couvre trois tâches étroites d’analyse d’images et n’évalue pas du tout la sécurité des modèles de pointe — ni capacité cyber, ni risque biologique, ni alignement. Son périmètre se rapproche davantage d’un exercice d’étalonnage d’instrument scientifique que d’un régime de sécurité.

Pourquoi cela compte quand même

Parce qu’en l’absence de loi fédérale sur l’IA, c’est dans les infrastructures d’évaluation que la politique américaine se construit réellement. Chaque proposition réglementaire en circulation — y compris les tests obligatoires avant mise sur le marché demandés le même jour par le directeur général d’Anthropic — présume l’existence de tests que les fournisseurs ne peuvent pas manipuler. À l’heure actuelle, ces tests n’existent largement pas, et les benchmarks auto-déclarés par les fournisseurs sont la monnaie d’échange par défaut. Qu’un organisme public détienne des données en aveugle est le préalable pour rendre contestables l’une quelconque de ces affirmations.

Précision sur la datation

La page de NIST ne donne qu’une granularité au mois près ; la date de lancement du 27 juillet repose sur le rapport d’une seule publication spécialisée.