+7 3842-75-17-09
Логотип

19 декабря 2022

Ученые создали синхронный перевод на язык жестов

Над продуктом работали в Новосибирском государственном техническом университете совместно с индустриальным партнером – инновационной компанией “Адаптис” (грантополучатель Фонда содействия инновациям, резидент Фонда “Сколково”). Проект выполняется по программе “Приоритет-2030”.

“В его основе лежит программный код для семантического анализа текста и преобразования звучащего языка в жестовый, – пояснил гендиректор “Адаптиса” Максим Нечай. – Технология является облачной и функционирует на основе машинного обучения и нейросетей. Благодаря этому пользователи могут ее интегрировать в любой сайт или приложение, установленное на смартфоне”.

В вузе с помощью аватара перевели на жесты учебный онлайн-курс по материаловедению, также был создан специальный чат-бот для слабослышащих студентов. В нем они могут получить всю необходимую информацию в удобном виде. По словам ректора НГТУ НЭТИ Анатолия Батаева, в следующем году работа по переводу учебных курсов продолжится.

Как сообщил Максим Нечай, сегодня словарь аватара составляет более пяти тысяч жестов и постоянно пополняется. Вторую версию цифрового переводчика планируется выпустить в первой половине 2023 года. Тогда же разработчики приступят к адаптации решения для Китая, позднее – для стран Европы и Ближнего Востока. В планах – охватить аватаром все жестовые языки мира, а их насчитывается более ста пятидесяти.

Президент Всероссийского общества глухих Станислав Иванов подтвердил готовность организации в статусе квалифицированного заказчика поддержать проект и “довести технологии” до каждого человека с ограничениями здоровья по слуху. С помощью аватара услуги для лиц с нарушениями слуха могут оказывать в банковском секторе, госучреждениях и т.д.

“Разработка ученых действительно уникальная, число слабослышащих в мире растет, а значит, обществу необходимы технологии, которые позволят решить вопросы повышения качества жизни людей. Правительство Новосибирской области уделяет большое внимание созданию условий для слабослышащих”, – добавила вице-губернатор Новосибирской области Ирина Мануйлова. Она также обратила внимание, что с помощью разработанных технологий преобразование жестового языка будет производиться в текстовую и речевую форму.

В управлении информационной политики НГТУ сообщили, что в первом квартале 2023 года аватар начнут использовать в учебном процессе, а после он будет бесплатно доступен для всех желающих.

“Внедрение новой технологии не означает, что обычные сурдопереводчики будут не востребованы. Они нужны и для обучения аватара”, – отметил Анатолий Батаев.

Словарь аватара превышает пять тысяч жестов и постоянно пополняется. Вторую версию цифрового переводчика планируется выпустить в 2023 году

Ранее ученые НГТУ НЭТИ обучили нейросеть распознавать РЖЯ и создали двусторонний онлайн-переводчик для общения глухих и слышащих в режиме онлайн. Полного его аналога в мире не существует.

В 2019 году выпускник НГТУ НЭТИ Алексей Приходько – единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на письменный язык – завершил работу над прототипом системы, с помощью которой можно переводить язык людей с нарушениями слуха и управлять компьютером при помощи жестов. О своем проекте он рассказал президенту России на наблюдательном совете организации “Россия – страна возможностей”. “Пока система может распознавать слова длиной до пяти букв, но в дальнейшем будет переводить целые предложения. В России более 200 тысяч глухих людей. И мы будем первой страной, у которой есть такой переводчик”, – поделился Алексей Приходько.

Источник

Хотите быть в курсе последних новостей и событий? Подписывайтесь на телеграм- канал «Бизнес в Кузбассе»