Для того чтобы заставить ChatGPT взаимодействовать с робототехникой, исследователи обучили его особому интерфейсу. Получая команды вроде «подними мяч», ChatGPT самостоятельно генерирует программный код так же, как сочиняет поэмы или пишет эссе. Затем человек проверяет код на точность и безопасность, после чего отправляет его роботу и следит за выполнением задачи.

Таким образом, система ускоряет программирование робототехники, но не передает весь контроль в руки искусственного интеллекта, пишет Ars Technica. «Мы подчеркиваем, что использование ChatGPT для робототехники — не полностью автоматизированный процесс, — говорится в статье, — но скорее служит инструментом для улучшения эффективности человека».

Хотя в основном обратную связь ChatGPT получает от человека, в некоторых случаях исследователи отмечают наличие непосредственного воздействия визуальных данных на ИИ. В одном из примеров чатбот отправил робота ловить мяч, руководствуясь только видеозаписью мяча и окружающей обстановки. Такое поведение указывает на возможность формирования у ИИ имплицитной модели мира не только через речевой канал.

Пока результаты кажутся скромными, но это первые шаги к объединению генеративных моделей с физическими интерфейсами. «Наша цель в этом исследовании — понять, может ли ChatGPT думать за пределами текста и рассуждать о физическом мире, чтобы помогать роботам выполнять задачи, — говорится в блоге Microsoft Research. — Мы хотим упростить людям взаимодействие с роботами без необходимости изучения сложных языков программирования или нюансов роботизированных систем».

Один из побочных эффектов распространения языковых моделей — неограниченная генерация контента. Главному редактору журнала Clarkesworld Magazine, посвященному научной фантастике, пришлось временно прекратить прием статей и рассказов из-за двадцатикратного роста числа текстов, сочиненных машинами.