Учёные из Университета Вашингтона представили систему Spatial Speech Translation — первую в мире технологию, способную в реальном времени распознавать и синхронно переводить речь сразу нескольких человек.
Система анализирует, кто говорит, из какого направления доносится голос, клонирует тембр и интонации, и озвучивает перевод на английский — будто собеседник сам перешёл на ваш язык. Сейчас поддерживаются французский, испанский и немецкий, при этом немецкий требует чуть большего времени из-за сложной грамматики. Разработка основана на мощных чипах и нейросетях, способных точно распознавать речь и интонации. Авторы стремятся сократить задержку перевода до одной секунды — сейчас она чуть больше.
Проект вдохновлён личной историей профессора Шьяма Голлакатты, чья мать столкнулась с языковыми трудностями после переезда. И теперь он хочет, чтобы каждый человек мог быть услышан — независимо от языка. На фоне растущего интереса к устройствам мгновенного перевода, Spatial Speech Translation открывает новый этап в коммуникации.
