Un articolo pubblicato il 3 settembre riferisce di due studi preregistrati su giudici LLM black-box che non sono mai arrivati fino alle loro domande di ricerca. I controlli di affidabilità fissati in anticipo dagli autori sono falliti, e l'articolo è il resoconto di quel fallimento su 52.988 tentativi di richiesta verificati.
I due filtri che hanno fallito
Le classifiche ripetute nello stesso intervallo hanno concordato a Spearman 0,400 rispetto a un requisito di 0,90. Le riproduzioni byte-identiche eseguite il giorno successivo hanno concordato a 0,78 rispetto a un requisito di 0,99. Non si tratta di soglie post-hoc scelte per dimostrare un punto: erano preregistrate prima della raccolta dei dati, ed è questo che dà forza al risultato negativo.
Non è un problema di un solo provider
Nel passaggio tra provider, "quattro provider condividono il pavimento, mediane 0,74-0,88." Aspettare semplicemente non ha aiutato — 0,805 contro 0,800, replicato su altri cinque giorni. L'hosting autonomo su kernel invarianti ai batch, la mitigazione nota per la non determinismo dell'inferenza, "ha aiutato solo mentre il server era tranquillo", il che indica il meccanismo: il comportamento del batching sotto carico nello stack di serving.
Il controllo a basso costo che gli autori raccomandano
L'articolo osserva che un pilot a circa il 2% del volume di chiamate dello studio avrebbe rivelato in anticipo entrambi i filtri irraggiungibili. L'output pratico include una scala a tre livelli per l'identità degli snapshot, otto regole di progettazione e una checklist di reporting.
Cosa sbaglia la lettura più diffusa
"I giudici LLM sono inaffidabili" è una lettura troppo ampia. Il risultato riguarda un comportamento misurato esternamente su infrastruttura di serving condivisa: il nome di un modello dietro un endpoint condiviso non è uno strumento congelato, e questa è una proprietà dello stack di serving più che del giudizio del modello. Nel paper ci sono inoltre due cautele che vanno a suo favore e contro la versione sensazionalistica. I filtri 0,90 e 0,99 sono insolitamente severi, e uno studio che ne avesse scelti di più blandi sarebbe passato — il valore sta nel fatto che fossero fissati in anticipo, non nel fatto che 0,400 sia una costante. E parte del fallimento dipende dal fatto che i gap candidati messi a confronto erano sette ordini di grandezza al di sotto del noise floor dello strumento, vale a dire che le differenze erano troppo piccole per essere misurate affatto.