Эндрю Босворт, бывший директор Facebook и технический директор Meta, объявил о планах запуска мультимодальной версии ИИ-помощника. Этот помощник будет использовать камеру в умных очках для предоставления информации не только по заданным запросам, но и об окружающем мире. Тестирование мультимодального ИИ уже началось в США через программу раннего доступа.

Очки, последняя версия которых была представлена ​​на ежегодной конференции Meta Connect в Пало-Альто еще в сентябре, стоят $299. Они уже поставляются со встроенным помощником искусственного интеллекта. Однако возможности очков ограничены, в том числе они не могли адекватно реагировать на видео или фотографии, а также распознавать в реальном времени то, что видит пользователь, несмотря на наличие встроенных камер.

Марк Цукерберг продемонстрировал обновление в видеоролике, где он попросил очки подобрать брюки, подходящие к рубашке, которую он держал в руках. В ответ ИИ-помощник описал рубашку и предложил пару вариантов брюк, которые могли бы ее дополнить. Он также поручил искусственному интеллекту перевести текст и предложить пару подписей к изображениям.

Цукерберг раскрыл мультимодальные функции искусственного интеллекта для очков Ray-Ban еще в сентябре. Он сказал, что люди будут разговаривать с помощником Meta AI в течение дня, поскольку очки смогут отвечать на вопросы о том, на что смотрят пользователи или где они находятся.

Помощник по искусственному интеллекту точно описал настенную скульптуру в виде карты Калифорнии в видео Босворта. Технический директор Meta также упомянул другие функции помощника искусственного интеллекта в очках, такие как помощь с подписями к фотографиям и переводом текста. Подобный функционал уже присутствуют в других продуктах от Microsoft и Google.

Это ожидаемый шаг, учитывая широкое использование искусственного интеллекта в продуктах Meta и продвижение открытого исходного кода через программу LLM Llama 2. Теперь компания предпринимает первые попытки по созданию мультимодального искусственного интеллекта в виде физического устройства, а не только в виде открытых моделей в интернете. Переход генеративного ИИ в категорию аппаратного обеспечения пока идет медленно: несколько небольших стартапов, в том числе Humane с его Ai Pin, использующим GPT-4V от OpenAI, пытаются создать специализированные устройства ИИ.