Google ha annunciato Gemini 3.5 Transcribe il 26 agosto alle 17:00 UTC, un modello speech-to-text pensato per le interfacce vocali. Il post contiene quattro valori di word error rate. Due verranno citati; gli altri due descrivono le prestazioni multilingue.
Le due coppie
La prima coppia è attribuita ad Artificial Analysis, un valutatore esterno: il modello "raggiunge un Word Error Rate (WER) medio del 4,0% per l'uso in streaming e del 2,6% per gli usi non in streaming." La seconda coppia è di Google, sul benchmark multilingue FLEURS su lingue e località principali: "WER del 5,50% in modalità streaming e WER del 5,04% negli usi non in streaming." Tra il valore migliore del post e il peggiore, il divario è di 2,1 volte.
Che cosa sbaglia il framing più diffuso
Il numero che circola è 2,6%, e viene collegato all'affermazione che il modello gestisce 85+ lingue. Si tratta di due misurazioni diverse. Il 2,6% è una media sui casi d'uso principali, come li definisce il post; il dato multilingue, su un benchmark multilingue standard, è 5,04% — quasi il doppio. Il tasso di errore di un modello di trascrizione ha senso solo insieme al set di lingue e alle condizioni audio su cui è stato misurato, e questo post è insolitamente trasparente nel pubblicare entrambe le cifre. La distorsione avviene a valle, dove il numero del valutatore terzo viene agganciato alla rivendicazione multilingue per produrre una specifica che non compare da nessuna parte nella fonte.
Preview, non lancio
Lo stato è public preview. Questa dicitura conta. Il modello è accessibile tramite la Gemini API in Google AI Studio e la piattaforma agent Gemini Enterprise, e compare in Rambler su Android in alcuni Paesi e lingue selezionati, nell'app Gemini su macOS, e in Gboard e Google Antigravity. Chrome è indicato come in arrivo. Una public preview non comporta alcun impegno sul livello di servizio, nessuna garanzia di stabilità dei prezzi e nessuna assicurazione che l'endpoint sopravviva nella sua forma attuale.
Perché il divario in streaming conta più del titolo
In entrambe le coppie, lo streaming è peggiore del non streaming — 4,0% contro 2,6%, e 5,50% contro 5,04%. È atteso: un modello in streaming si impegna sulle parole prima di aver ascoltato il resto della frase. Ma è il dato in streaming a governare gli agenti vocali live, l'applicazione per cui questo modello è pensato. Chiunque dimensioni un prodotto vocale sul 2,6% sta facendo il calcolo sul caso batch in un sottoinsieme di condizioni, quando il numero che determinerà se il prodotto sarà davvero usabile è quello multilingue in streaming, al 5,50%.