Группа ученых японского Университета электротехники и коммуникаций работает над интерфейсом, имеющим в своей основе определение позиции языка при помощи игрового жестового контроллера Microsoft Kinect. Система предназначена для тренировки лицевых мышц.
«Языковой» интерфейс тренирует группу мышц около рта, регулярные игровые упражнения окажут людям с нарушениями моторных функций в этой области. Часто такие нарушения не позволяют людям самостоятельно глотать или говорить. Группа предложила так называемый «гигиенический метод детекции», который при работе с языком не требует подключать к нему никаких датчиков или устройств, пишет Diginfo.tv.
Алгоритм работает в несколько этапов. На первом этапе Kinect обнаруживает положение глаз и на основе этих данных высчитывает положение кончика носа как самой медленной точки. Аналогичным образом сначала вычисляется приблизительная область, а потом уточняется позиция рта. В конечном итоге Kinect находит и «захватывает» кончик языка.
Один из видов тренировки — движения влево и вправо. Эти движения используются в специально разработанной для этого интерфейса игре, где поворотная башня обстреливает окружившие ее объекты. Траектория снаряда зависит от того, куда указывает язык, игрок учится прицеливаться и в процессе упражняет моторику.
Авторы признают, что на текущем этапе система работает не так точно, как хотелось бы, однако всеми средствами они обладают, система будет развиваться. В перспективе ученые собираются использовать сочетание движений кончика языка и губ, благодаря чему пользователю будет доступен более широкий арсенал знаков. Помимо тренировок, система поможет общаться тем, кто неспособен говорить. Артикуляция губ и языка способна заменить широкий набор слов.
