Google DeepMind опубликовала SL2T 12 августа — модель перевода жестового языка, которая вышла из лаборатории и появилась на телефоне. Она работает в Gboard и Live Transcribe на Pixel 11, позволяя глухому пользователю общаться жестами с камерой вместо набора текста.

Проблема с обучающими данными

ИИ для жестовых языков исторически упирался в размер корпуса. SL2T обучали на более чем 100 000 часов видео с жестами, охватывающего 50+ жестовых языков, из которых примерно 25% приходится на American Sign Language. DeepMind сообщает о zero-shot показателе 70 BLEURT на FLEURS-ASL и утверждает, что это значительно выше любого ранее опубликованного результата.

Как устроена защита приватности

Извлечение позы происходит на устройстве с помощью MediaPipe Holistic. Исходное видео удаляется; дальше передаются только геометрические ориентиры — положение суставов, форма рук, точки лица. Для системы, обращённой к камере в чьём-то доме, это архитектурное решение важнее любого заявления о политике конфиденциальности.

Что именно вышло

Запуск — это перевод с ASL на английский на Pixel 11. О других устройствах и языковых парах говорится как о будущих, но без сроков. Жестовые языки — не диалекты разговорных языков: у них своя грамматика, а ASL не взаимопонятен с British Sign Language, поэтому каждая пара — это скорее отдельная задача, чем настройка перевода.

Где заканчивается бенчмарк

Показатель 70 BLEURT — это данные компании, без независимой оценки. Кроме того, FLEURS-ASL слишком узок по сравнению с реальным жестовым общением, в котором есть региональные различия и немануальные маркеры — грамматическая информация, передаваемая бровями, ртом и положением головы, которую конвейер с ориентиров может улавливать неравномерно.

Почему это важно

ИИ для доступности породил длинную череду впечатляющих демонстраций, которые так и не дошли до продукта. Размещение модели в стандартной клавиатуре на массовом телефоне — более сложный шаг, и он переносит вопрос с того, работает ли исследование, на то, окажется ли оно удобным для глухих пользователей в темпе обычного разговора.