Национальный институт стандартов и технологий представил AI Technology Evaluation, или AITE, 27 июля — тестовую среду, которую ведёт его Лаборатория информационных технологий, где модели оцениваются на данных, которых их разработчики никогда не видели и не могут получить.

Какую проблему это решает

Публичные бенчмарки протекают. Как только тестовый набор появляется в интернете, он со временем оказывается в обучающих данных, и тогда высокий результат измеряет заучивание, а не возможности — и со стороны невозможно отличить одно от другого. Изолированная оценка — единственное структурное решение: поставщики данных должны предоставлять оригинальные, недоступные публично наборы данных, а модель сталкивается с ними один раз, вслепую.

Первоначальный охват

Три задачи на старте, все — анализ изображений с крупными vision-language-моделями: квантовая наука, геномика и общественная безопасность. NIST указывает запуск в июле 2026 года и публикацию плана оценки, а период оценки начнётся в августе 2026 года. Вход для участников пока обозначен как скоро появится.

Чем это не является

Формулировки, из которых следует, что NIST теперь будет сертифицировать AI-модели или что это станет федеральным стандартом безопасности AI, неверны во всех отношениях. AITE — добровольная инициатива, не даёт никакой сертификации и не имеет нормативного эффекта. Она охватывает три узкие задачи анализа изображений и вообще не оценивает безопасность frontier-моделей — ни кибервозможности, ни биологические риски, ни выравнивание. По масштабу это ближе к калибровке научного инструмента, чем к режиму безопасности.

Почему это всё равно важно

Потому что при отсутствии федерального закона об AI именно инфраструктура оценки фактически и становится местом, где формируется американская политика. Каждый из циркулирующих регуляторных проектов — включая обязательное тестирование до релиза, о котором в тот же день попросил главный исполнительный директор Anthropic, — исходит из наличия тестов, которые поставщики не могут обойти. Сейчас таких тестов в основном нет, а бенчмарки, о которых компании сообщают сами, остаются основной валютой. Государственный орган, располагающий слепыми данными, — это предварительное условие, чтобы любые такие утверждения можно было оспорить.

Оговорка по датировке

На собственной странице NIST указана только детализация до месяца; дата запуска 27 июля основана на сообщении одного отраслевого издания.