Google DeepMind ha pubblicato SL2T il 12 agosto, un modello di traduzione della lingua dei segni che è uscito dal laboratorio ed è arrivato su un telefono. Funziona in Gboard e Live Transcribe su Pixel 11, consentendo a un utente Sordo di segnare verso la fotocamera invece di digitare.

Il problema dei dati di training

L'IA per la lingua dei segni si è storicamente scontrata con le dimensioni del corpus. SL2T è stato addestrato su oltre 100.000 ore di video di segnato che coprono oltre 50 lingue dei segni, di cui circa il 25% in American Sign Language. DeepMind riporta un punteggio zero-shot di 70 BLEURT su FLEURS-ASL, che definisce significativamente superiore a qualsiasi risultato pubblicato in precedenza.

Come funziona la progettazione per la privacy

L'estrazione della posa avviene sul dispositivo tramite MediaPipe Holistic. Il video grezzo viene scartato; proseguono solo i riferimenti geometrici — posizioni delle articolazioni, forma della mano, punti del viso. Per un sistema puntato verso una fotocamera in casa di qualcuno, questa scelta architetturale conta più di qualsiasi dichiarazione di principio sulla privacy.

Cosa è stato effettivamente rilasciato

Il lancio riguarda ASL verso l'inglese su Pixel 11. Altri dispositivi e altre coppie di lingue sono indicati come in arrivo, senza date. Le lingue dei segni non sono dialetti di quelle parlate — hanno una grammatica propria, e ASL non è mutuamente intelligibile con la British Sign Language — quindi ogni coppia è più simile a un problema separato che a un'impostazione di traduzione.

Dove si ferma il benchmark

Il dato di 70 BLEURT è riportato dall'azienda senza una valutazione indipendente. FLEURS-ASL è inoltre ristretto rispetto al segno reale, che presenta variazioni regionali e marcatori non manuali — informazioni grammaticali trasmesse da sopracciglia, bocca e posizione della testa che una pipeline basata su landmark può catturare in modo disomogeneo.

Perché questo caso conta

L'IA per l'accessibilità ha prodotto una lunga serie di dimostrazioni impressionanti che non sono mai arrivate sul mercato. Portare il modello in una tastiera predefinita su un telefono in vendita è il passaggio più difficile, e sposta la domanda da se la ricerca funzioni a se gli utenti Sordi lo trovino utilizzabile alla velocità della conversazione ordinaria.