Ученые из университета Карнеги-Меллон создали и испытали
революционную технологию сравнения изображений, которая заметно опережает
другие разработки схожего назначения вроде поиска Google по изображениям и Microsoft Photosynth. Прорыв в сопоставлении
изображений обусловлен гениальным решением авторов работы – вместо
сопоставления по схожим деталям они оценивают различия между изображениями.
Если набор отличий у пары некоторых изображений от случайно подобранного
множества заведомо других картинок совпадает, то система считает такие
изображения схожими - именно такой подход оказался крайне эффективным по
сравнению с прежними решениями.
Новый принцип сравнения картинок для поиска разных изображений
одного объекта разработала команда исследователей: Абинав Шривастава (Abhinav Shrivastava),
Томаш Малисевич (Tomasz Malisiewicz), Абхинав Гупта (Abhinav Gupta) и Алексей Эфрос (Alexei A. Efros) — руководитель проекта. Свою работу под названием «Data-driven visual similarity for cross-domain image
matching» (Цифровой анализ визуальной схожести для сравнения
разнородных изображений) они представили на конференции SIGGRAPH Asia.
Новизна работы ученых из университета Карнеги-Меллон (США) состоит
в том, что они нашли любопытный способ сопоставления изображений. Вместо того,
чтобы оценивать их попарно в попытках определить степень их
схожести, они поставили обратную задачу. Новый способ заключается
в том, чтобы сравнить целевое изображение с массой случайно выбранных других
картинок. При этом сравнении составляется сводная карта отличий объекта от попарно предлагаемых «соперников». Если она
совпадает с аналогичным набором отличительных признаков для другого
изображения, то они считаются визуально близкими. Изящное и эффективное
решение.
Результаты измененной постановки задачи говорят сами за
себя. Новая система может не только подбирать в Интернете с похожими
фрагментами и контурами, как поиск картинок Google, не
только находить фотографии одного и того же объекта с разных точек, как
технология Microsoft Photosynth, но и составлять подборку схожих изображений,
сделанных в самых разных техниках. Например, можно найти
изображения целевого объекта, сделанные в виде карандашных набросков и
гравюр, с помощью живописи и акварели. Кроме того, можно искать снимки природных
объектов, сделанные в любое время года.
Новый принцип сопоставления изображений стал ближе к
человеческому: определяется не то, чем картина похожа на другие, а то,
что отличает ее от любых других картин в мире. В частности, система
«узнает» собор Св. Петра в Риме на зимних и летних снимках, нарисованный
шариковой ручкой или маслом. Также эффективно она находит изображения
велосипедов или автомобилей по схематичному эскизу, сделанному от руки.
Само собой, у новой технологии есть пока очень серьезные ограничения.
Во-первых, для нее требуется огромный объем вычислительных ресурсов: если поиск
Google выдает результаты за полсекунды,
то новой системе понадобится гораздо больше времени для подборки других
картинок и сравнения по зонам. Тем не менее, новый подход дает гораздо более
точные и адекватные результаты, а время обработки запросов с каждым разом
сокращается за счет накопления «опыта».
Как стало известно, компания Google уже заинтересовалась разработкой ученых из Карнеги-Меллон, предоставив
дополнительное финансирование для продолжения исследований. Тем не менее, пока
неизвестно, какую сумму вкладывает Google и насколько глубоким будет участие компании в работе ученых.
По материалам сайта TechCrunch.
|
