NIST, 개발자가 테스트 데이터를 전혀 보지 못하는 시험장을 구축

미국 국립표준기술연구소(NIST)는 AI Technology Evaluation(AITE)을 7월 27일 공개했다. 이는 정보기술연구소가 운영하는 시험장으로, 모델을 개발자가 한 번도 본 적도 없고 확보할 수도 없는 데이터로 채점한다.

이를 해결하려는 문제

공개 벤치마크는 유출된다. 한 번 테스트 세트가 인터넷에 올라오면 결국 학습 데이터에도 포함되기 마련이며, 그 시점부터 높은 점수는 역량이 아니라 암기를 측정하게 된다. 외부에서는 둘을 구분할 방법이 없다. 분리된 평가는 유일한 구조적 해결책이다. 데이터 제공자는 원본의 공개 접근 불가능한 데이터셋을 제공해야 하며, 모델은 이를 단 한 번, 블라인드 상태로 접하게 된다.

초기 범위

첫 단계의 과제는 3개로, 모두 대규모 비전-언어 모델을 활용한 이미지 분석이다. 양자과학, 유전체학, 공공안전이 포함된다. NIST는 2026년 7월 시작 행사와 평가 계획 공개를 예고했으며, 평가 기간은 2026년 8월 시작으로 잡혀 있다. 참가자 로그인은 곧 제공될 예정으로 표시돼 있다.

그것이 아닌 것

NIST가 이제 AI 모델을 인증할 것이라는 해석, 또는 이것이 연방 AI 안전 기준에 해당한다는 주장은 어느 부분도 맞지 않다. AITE는 자발적이며, 인증을 부여하지 않고, 규제 효력도 없다. 범위도 세 가지의 제한적인 이미지 분석 과제에 그치며, 최첨단 모델의 안전성은 전혀 평가하지 않는다. 사이버 역량도, 생물학적 위험도, 정렬성도 다루지 않는다. 안전 체계라기보다 과학적 기기 교정 작업에 더 가깝다.

그럼에도 중요한 이유

연방 AI 법률이 없는 상황에서, 실제로 미국의 정책이 만들어지고 있는 곳은 평가 인프라다. Anthropic의 최고경영자가 같은 날 의무적 사전 출시 테스트를 요구한 것을 포함해, 유통 중인 모든 규제 제안은 공급업체가 편법을 쓰지 못하는 테스트의 존재를 전제한다. 그러나 지금은 그런 테스트가 대부분 존재하지 않으며, 업체가 자가 보고한 벤치마크가 기본 통화처럼 쓰이고 있다. 정부 기관이 블라인드 데이터를 보유하는 일은, 이런 주장들을 검증 가능하게 만드는 선결 조건이다.

날짜 관련 주의사항

NIST 자체 페이지는 월 단위 정보만 제공한다. 7월 27일 공개 날짜는 단일 업계 매체 보도에 근거한다.