Технология Sikuli скрестит исходный текст и снимки экрана приложения // 25 Ноября 2012

Технология Sikuli скрестит исходный текст и снимки экрана приложения

Группа исследователей из Массачусетского технического института представила новаторскую технологию Sikuli, призванную значительно облегчить программирование графических интерфейсов.

Вообще говоря, многие люди хотят автоматизировать свою работу, но не знают, как сделать простое нажатие нужной кнопки на экране из своих программ. Действительно, когда вы видите кнопку на экране, ее легко нажать с помощью мыши или клавиатуры, но описать это нажатие в программе порой очень непросто. Авторы технологии Sikuli, название которой переводится как «Глаз бога» с языка мексиканских индейцев уичоли, предложили замечательную альтернативу – когда вам нужно сослаться на какой-то элемент экрана, который можно увидеть, вы просто вставляете в свой код изображение этого элемента.

Идея, заложенная в технологию Sikuli, кажется настолько очевидной, что неясно, почему до сих пор не существовало ничего подобного. Например, вы хотите написать приложение, которое использует данные о текущем местоположении автобусов, чтобы узнать, когда на вашу остановку придет нужный вам автобус. Вы можете взять снимок с сайта городского транспорта, где будет изображена карта с положением автобусов и вашей остановки. Положим, что программа будет уведомлять пользователя, когда маркер нужного автобуса достигнет определенной точки. Вместо того, чтобы указывать географические координаты этой точки, можно просто дать программе изображение этой точки на карте.

Распознавание нужных элементов в технологии Sikuli выполняется почти так же, как в мозгу человека – специальный механизм обеспечивает оптическое распознавание текста, а компоненты компьютерного зрения помогают найти на экране объект, наиболее похожий на приведенный вами в исходном коде сценария.

Еще одно интересное применение технологии Sikuli заключается в визуальном поиске информации о непонятных вам элементах. Специальные компоненты Sikuli создают собственный каталог элементов интерфейса, собирая информацию из файлов справки, из учебников и документации. Анализируя текст рядом со значками в документации, система Sikuli позволяет найти информацию по нужному элементу, просто указав изображение этого элемента на снимке экрана.

Технология написания сценариев с использованием визуальных ссылок на элементы интерфейса Sikuli основана на языке Jython (реализация языка Python на базе Java) и позволяет писать довольно сложные сценарии. Кроме всего прочего, эта технология совершенно не зависит от внутренних API операционных систем и приложений – взаимодействие осуществляется только через общий графический интерфейс, поэтому управлять можно не только приложениями, но и веб-страницами.

Подробнее узнать о технологии Sikuli и загрузить себе копию этой платформы для написания сценариев с использованием визуальных элементов можно на официальном сайте проекта.

По материалам сайта Digital Beat.

Читайте еще:

В Windows нашли уязвимость 17-летней давности

В Windows нашли уязвимость 17-летней давности

Специалист по компьютерной безопасности из компании Google обнародовал результаты своих исследований, в ходе которых была обнаружена уязвимость, существующая в системах Windows уже 17 лет, с момента выпуска Windows NT 3.1. Оказывается, виртуальная DOS-машина позволяет обычным 16-битным приложениям выполнять команды с максимальными привилегиями и вносить...

15 Янв 2013

Мобильный «Тетрис» - продано более 100 миллионов копий

Мобильный «Тетрис» - продано более 100 миллионов копий

Компьютерная аркада Tetris, увидевшая свет более четверти века назад, все это время без труда сохраняет за собой титул главной игры всех времен и народов и удерживает звание бестселлера практически на всех игровых платформах. Недавно компания Electronic Arts сообщила о преодолении важной вехи мобильной версией...

23 Ноя 2012

Власти Китая ликвидировали еще один завод по производству фальшивых «айфонов»

Власти Китая ликвидировали еще один завод по производству фальшивых «айфонов»

Не секрет, что на китайском черном рынке можно без труда приобрести контрафактную копию практически любого электронного устройства. Печальной участи не избежал и популярный смартфон iPhone, производимый компанией Apple. Владельцы подпольных фабрик регулярно выбрасывают на рынок очередные партии пиратских мобильников, власти пытаются по мере сил...

20 Ноя 2012

16.04.2013
Total Commander - лучший среди файловых менеджеров
Если еще недавно все радовались появлению Windows и его «удобнейшему» интерфейсу с окнами, где перемещать...
16.04.2013
Avast - один из лучших бюджетных антивирусов
Не мало количество пользователей, не скрывающих необходимость в защите компьютера при помощи антивирусов пользуются именно...
16.04.2013
NOD32 Smart Security 6, получил обновление!
Компания ESET является одним из самых мощных разработчиков, выпускающих качественное программное обеспечение, направленное на защиту...
30.05.2012
Осторожно спам Сбербанка
В последнее время участилась массовая рассылка фишинговых электронных писем от мошенников, якобы работников Сбербанка России....
29.05.2012
Новый вирус в сети интернет
"Лаборатория Касперского" обнаружила новую вредоносную программу, которая активно используется в качестве кибероружия , распространяемого по...