Камера нужна не только для селфи и фотографирования закатов, иронизируют в блоге Google Lens. 10-15% изображений — это полезные снимки, например, книг, которые вы хотите почитать, списка покупок, скриншот номера заказа или интересный твит.

Google Lens использует поисковые системы и машинное обучение, чтобы помочь пользователю разобраться в том, что он видит.

Человек не всегда может корректно описать, что он перед ним, а приложение сразу создает из картинки поисковый запрос. Таким образом, например, можно точно узнать, какой породы собака у соседа. Причем смартфон тут же просветит вас насчет особенностей породы и предложит почитать занятные факты об этих псах.

Иногда алгоритмы ошибаются, признает Апарна Ченнапрагада, руководитель Google Lens и направления AR. Но благодаря машинному обучению ИИ справляется с распознаванием все лучше и лучше. Сейчас в коллекции приложения — более миллиарда объектов. В начале работы системы их было в четыре раза меньше.

Также есть удобная функция распознавания текста — вам достаточно сфотографировать надпись, а затем на снимке можно выделять и копировать фразы.

Впрочем, Google Lens разработан не только как инструмент для удовлетворения любопытства.

Если вы покажете приложению лампу, украшающую гостиную вашего друга, то Google попробует найти, где можно купить что-то похожее и укажет цену. Это происходит благодаря тому, что программа интегрирована с Google Shopping. В некоторых случаях пользователю предложат почитать отзывы на интересующую его вещь.

Google использует компьютерное зрение в других продуктах. На презентации обновленного поиска корпорация пообещала встроить Google Lens в Google Images.