9월 3일 게시된 한 논문은 블랙박스 LLM 심사 모델에 대한 사전등록 연구 두 건이 연구 질문에 도달하기도 전에 멈췄다고 보고합니다. 저자들이 미리 고정해 둔 신뢰성 검사가 실패했고, 이 논문은 52,988건의 감사된 요청 시도 전반에서 그 실패를 기록한 보고서입니다.
실패한 두 관문
같은 시간창 안에서 이뤄진 반복 순위는 필수 기준 0.90 대비 Spearman 0.400으로만 일치했습니다. 다음 날 실행한 바이트 동일 재생은 필수 기준 0.99 대비 0.78의 일치도를 보였습니다. 이는 요점을 만들기 위해 사후적으로 정한 기준이 아니라, 데이터 수집 전에 사전등록된 기준이었습니다. 바로 그 점이 이 부정적 결과에 힘을 실어줍니다.
한 제공사만의 문제가 아닙니다
제공사 전환에서는 "4개 제공사가 바닥을 공유하고 있으며, 중앙값은 0.74에서 0.88 사이"였습니다. 단순히 기다린다고 해결되지는 않았습니다. 0.805 대 0.800이었고, 이후 5일에 걸쳐 재현됐습니다. 추론 비결정성에 대한 알려진 완화책인 배치 불변 커널 기반 자체 호스팅은 "서버가 한산할 때에만 도움이 됐다"고 합니다. 이는 원인을 가리킵니다. 즉, 서비스 스택의 부하 시 배칭 동작입니다.
저자들이 권고하는 저비용 점검
논문은 연구 호출량의 대략 2% 수준의 파일럿만 있었어도 사전에 도달 불가능한 두 관문을 모두 드러낼 수 있었을 것이라고 지적합니다. 실무적 산출물로는 3단계 스냅샷 동일성 사다리, 8가지 설계 규칙, 그리고 보고 체크리스트를 제시합니다.
통상적 해석이 놓치는 점
"LLM 심사 모델은 신뢰할 수 없다"는 해석은 지나치게 넓습니다. 이번 결과는 공유 서비스 인프라 위에서의 외부 측정된 동작에 관한 것입니다. 공유 엔드포인트 뒤의 모델 이름은 고정된 장비가 아니며, 이는 모델의 판단력이 아니라 서비스 스택의 속성입니다. 논문은 또 선정적인 해석에 불리하고, 스스로에게 유리한 두 가지 단서를 제시합니다. 0.90과 0.99 관문은 이례적으로 엄격했으며, 더 느슨한 기준을 택한 연구는 통과했을 것입니다. 중요한 것은 0.400이 일정한 상수가 아니라 기준을 사전에 고정했다는 점입니다. 또한 실패의 일부는 비교 대상인 후보 격차가 장비 자체의 노이즈 바닥보다 7자릿수나 낮았다는 데 있습니다. 다시 말해, 그 차이는 아예 측정할 수 없을 만큼 작았습니다.