В России создается первый электронный переводчик языка жестов

Ученый Новосибирского государственного технического университета Алексей Приходько разработал первую безмаркерную программу электронного перевода русского языка глухонемых людей (язык жестов), распознающую слова. Такой проект – первый в мире и имеет серьезные перспективы.

Как поясняет создатель программного продукта, он пошел по наиболее сложному пути – разработке так называемой безмаркерной системы, когда распознавание ведется с использованием камер. Существуют разработки маркерных систем, когда на человека, использующего язык жестов, навешивают датчики, при помощи которых происходит распознавание, но такие системы в эксплуатации значительно сложнее и неудобнее безмаркерных.

Автор разработки с рождения лишен слуха и на своем личном опыте понимает, что и как должно получиться в итоге его труда. Несмотря на то, что крупные зарубежные корпорации уже предлагают несколько продуктов для аналогичной целевой аудитории, Алексей Приходько отмечает их сырость и неудобство в использовании. Проблема в разработке хорошего переводчика связана с главной особенностью жестового языка — его грамматикой. Именно поэтому сегодня ни одна программа пока не способна заменить живых переводчиков. Дело в том, что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого лингвистами немануального компонента жестов (выражение лица, движение губ и другие знаки артикуляции).

Безмаркерная система, которую использует в системе Алексей, при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление. «Если модель определяет, например, что пальцы раскрыты — буква В, если пальцы собраны -О. Согнулся локоть или нет. В зависимости от этого формируется некая математическая модель, которая создается из скелетной модели. И соответственно каждым числам из этой модели присваивается система координат, и на экране мы видим, какой это жест», — поясняет автор.

Сейчас созданная молодым аспирантом из Новосибирска первая версия программы уже успешно справляется с распознаванием слов до 5 букв (на уровне азбуки глухих) и разработка продолжается. Автор говорит о том, что полнофункциональный образец сможет работать с обычными предложениями.
Проект уже поддержал российский Фонд президентских грантов.