Google DeepMind publicó SL2T el 12 de agosto, un modelo de traducción de lengua de signos que ha salido del laboratorio y se ha integrado en un teléfono. Funciona en Gboard y Live Transcribe en Pixel 11, permitiendo que una persona sorda señe a la cámara en lugar de escribir.
El problema de los datos de entrenamiento
La IA para lengua de signos ha tropezado históricamente con el tamaño del corpus. SL2T se entrenó con más de 100.000 horas de vídeo de señas en más de 50 lenguas de signos, de las cuales aproximadamente el 25% es lengua de signos americana. DeepMind informa de una puntuación zero-shot de 70 BLEURT en FLEURS-ASL, que afirma que supera ampliamente cualquier resultado publicado anteriormente.
Cómo funciona el diseño de privacidad
La extracción de pose se realiza en el dispositivo mediante MediaPipe Holistic. El vídeo en bruto se descarta; solo se conservan los puntos geométricos de referencia —posición de las articulaciones, forma de las manos, puntos faciales—. Para un sistema apuntado a una cámara en casa de alguien, esa elección arquitectónica importa más que cualquier declaración de política al respecto.
Qué se lanzó realmente
El lanzamiento es de ASL a inglés en Pixel 11. Se describen más dispositivos y pares de idiomas como próximos, sin fechas. Las lenguas de signos no son dialectos de las lenguas habladas: tienen su propia gramática, y ASL no es mutuamente inteligible con la lengua de signos británica, así que cada par se parece más a un problema distinto que a un ajuste de traducción.
Hasta dónde llega el benchmark
La cifra de 70 BLEURT procede de la empresa y no cuenta con evaluación independiente. FLEURS-ASL también es limitado en comparación con la signación real, que incorpora variación regional y marcadores no manuales —información gramatical transmitida por las cejas, la boca y la posición de la cabeza— que un pipeline de landmarks puede captar de forma desigual.
Por qué esto importa
La IA de accesibilidad ha generado una larga lista de demostraciones impresionantes que nunca llegaron a lanzarse. Colocar el modelo en un teclado predeterminado de un teléfono de consumo es el paso más difícil, y desplaza la cuestión de si la investigación funciona a si las personas sordas la encuentran útil a la velocidad de una conversación normal.