Google a annoncé Gemini 3.5 Transcribe le 26 août à 17:00 UTC, un modèle de reconnaissance vocale destiné aux interfaces vocales. Le billet contient quatre chiffres de taux d’erreur par mot. Deux seront cités ; les deux autres décrivent les performances multilingues.

Les deux paires

La première paire est attribuée à Artificial Analysis, un évaluateur externe : le modèle « atteint un taux moyen d’erreur par mot (WER) de 4,0 % en streaming et de 2,6 % pour les cas d’usage hors streaming ». La deuxième est celle de Google, sur le benchmark multilingue FLEURS couvrant les principales langues et variantes locales : « 5,50 % de WER en mode streaming et 5,04 % de WER pour les cas d’usage hors streaming ». Entre le meilleur chiffre du billet et le pire, l’écart est de 2,1 fois.

Ce que le cadrage habituel passe à côté

Le chiffre qui circule est de 2,6 %, et il est associé à l’idée que le modèle prend en charge 85 langues et plus. Ce sont deux mesures différentes. Les 2,6 % correspondent à une moyenne sur ce que le billet appelle les principaux cas d’usage ; le chiffre multilingue, sur un benchmark multilingue standard, est de 5,04 % — soit presque le double. Le taux d’erreur d’un modèle de transcription n’a de sens qu’avec l’ensemble de langues et les conditions audio dans lesquels il a été mesuré, et ce billet fait preuve d’une transparence inhabituelle en publiant les deux. La distorsion apparaît en aval, lorsque le chiffre du tiers est accolée à l’affirmation sur le multilingue pour produire une spécification qui n’apparaît nulle part dans la source.

Préversion, pas lancement

Le statut est celui de public preview. Ce terme a son importance. Le modèle est accessible via l’API Gemini dans Google AI Studio et la plateforme d’agents Gemini Enterprise, et apparaît dans Rambler sur Android dans certains pays et certaines langues, dans l’application Gemini sur macOS, ainsi que dans Gboard et Google Antigravity. Chrome est annoncé comme disponible prochainement. Une public preview n’emporte aucun engagement de niveau de service, aucune garantie de stabilité tarifaire et aucune assurance que le point de terminaison survivra dans sa forme actuelle.

Pourquoi l’écart en streaming compte davantage que le titre

Dans les deux paires, le streaming est moins bon que le hors streaming — 4,0 % contre 2,6 %, et 5,50 % contre 5,04 %. C’est attendu : un modèle en streaming s’engage sur des mots avant d’avoir entendu la fin de la phrase. Mais c’est le chiffre en streaming qui gouverne les agents vocaux en direct, l’usage auquel ce modèle se destine. Quiconque dimensionne un produit vocal sur la base de 2,6 % se calibre sur le cas hors streaming dans un sous-ensemble de conditions, alors que le chiffre qui déterminera si le produit paraît utilisable est le streaming multilingue, à 5,50 %.