Google DeepMind a publié SL2T le 12 août — un modèle de traduction en langue des signes qui a quitté le laboratoire pour être intégré à un téléphone. Il fonctionne dans Gboard et Live Transcribe sur le Pixel 11, permettant à un utilisateur sourd de signer face à la caméra plutôt que de taper.

Le problème des données d'entraînement

L'IA pour la langue des signes s'est historiquement heurtée à la taille des corpus. SL2T a été entraîné sur plus de 100 000 heures de vidéos de signes couvrant 50+ langues des signes, dont environ 25 % en langue des signes américaine. DeepMind indique un score zero-shot de 70 BLEURT sur FLEURS-ASL, qu'il présente comme nettement supérieur à tout résultat publié auparavant.

Comment fonctionne la conception axée sur la confidentialité

L'extraction de la posture s'effectue sur l'appareil à l'aide de MediaPipe Holistic. La vidéo brute est supprimée ; seuls les repères géométriques — positions des articulations, forme des mains, points du visage — sont transmis. Pour un système orienté vers une caméra dans le domicile de quelqu'un, ce choix d'architecture compte davantage que n'importe quelle déclaration de politique à ce sujet.

Ce qui a réellement été lancé

Le lancement concerne ASL vers l'anglais sur le Pixel 11. D'autres appareils et paires de langues sont annoncés comme à venir, sans calendrier. Les langues des signes ne sont pas des dialectes des langues parlées — elles ont leur propre grammaire, et l'ASL n'est pas mutuellement intelligible avec la British Sign Language — si bien que chaque paire se rapproche davantage d'un problème distinct que d'un simple paramètre de traduction.

Les limites du benchmark

Le chiffre de 70 BLEURT est communiqué par l'entreprise, sans évaluation indépendante. FLEURS-ASL est également étroit par rapport aux signes réels, qui comportent des variations régionales et des marqueurs non manuels — des informations grammaticales transmises par les sourcils, la bouche et la position de la tête, qu'un pipeline fondé sur des repères peut capter de manière inégale.

Pourquoi cela compte

L'IA dédiée à l'accessibilité a produit une longue série de démonstrations impressionnantes qui ne sont jamais arrivées sur le marché. Intégrer le modèle dans un clavier par défaut sur un téléphone vendu en magasin est l'étape la plus difficile, et cela déplace la question de savoir si la recherche fonctionne vers celle de savoir si les utilisateurs sourds la trouvent utilisable à la vitesse d'une conversation ordinaire.