Apple патентует бесконтактное управление компьютером – одними жестами // 03 Декабря 2012

Компания Apple подала заявку на патент, описывающий взаимодействие пользователя с графическим интерфейсом путем анализа движений самого пользователя или любых других объектов, различимых с помощью встроенной видеокамеры ПК. Ввод информации будет реализован с помощью технологий «захвата движений» (motion capture), причем объектом захвата могут выступать не только части тела пользователя, но и любые другие объекты, например, взятый в руку карандаш.

Предложение компании Apple выглядит логичным, однако какие проблемы появятся при его реализации, еще неизвестно. В частности, предполагается, что на ПК будет установлена камера (как камера iSight в компьютерах Mac), которая будет постоянно отслеживать все движения пользователя. Непрерывный видеопоток будет транслироваться в команды для выбора окон или других элементов интерфейса, для манипуляций с трехмерными объектами и переноса фокуса ввода с одного объекта на другой.

Перед использованием системы управления компьютером с помощью движений сначала потребуется калибрация или настройка специальных «целевых зон» (target zone). Целевой зоной в общем случае будет голова человека или часть лица вокруг глаз. Также можно указать другие целевые зоны, например яркую кнопку на авторучке в руках пользователя. Кроме такого подхода, в заявке описано автоматическое распознавание целевых зон, чтобы пользователь мог приступить к работе немедленно.

В заявке приведен пример управления указателем мыши с помощью движений головы. В этом примере пользователь немного отклоняет голову, а вслед за его движением указатель постепенно перемещается с одного окна на другое. Как только указатель попадает на новое окно, это окно выводится поверх остальных окон и становится доступным для работы – получает фокус ввода. Наклоняя голову вверх и вниз, пользователь может прокручивать многостраничные документы, а также переходить в начало и конец документа – для этого придется поднять или опустить голову чуть сильнее.

Еще один пример демонстрирует управление трехмерным объектом на экране. Движениями головы пользователь может управлять положением объекта с шестью степенями свободы, в том числе передвигать объект вверх и вниз, влево и вправо, назад и вперед (относительно себя), вращать объект и.т.д. В некоторых реализациях, как пишут разработчики, такой механизм можно использовать для управления персонажем пользователя в сетевых средах или других приложениях. Как только человек наклонит голову, все движения повторит персонаж на экране.

В дополнение к прямым способам взаимодействия человека с графическим интерфейсом с помощью движений разработчики предлагают и схемы с использованием нескольких мониторов. Например, в соответствии с движениями пользователя можно отображать один и тот же трехмерный мир на нескольких экранах с разной степенью удаленности и под разными углами.

Подробно новая патентная заявка Apple описана в заметке на сайте Apple Insider. Там же можно найти и иллюстрации, сопровождающие текст заявки.