Исследовательский институт Toyota (TRI) использовал генеративный ИИ, чтобы научить роботов готовить завтрак — или, по крайней мере, совершать отдельные необходимые для этого действия. Это не потребовало сотен часов кодирования, тестов и исправления багов. Исследователи поступили проще: снабдили роботов способностью осязать, подключили их к модели ИИ и показали им, как готовить завтрак.

Исследователи говорят, что способность осязать оказалась ключевой в быстром обучении. Они дали роботам специальное устройство, похожее на микрофон. С помощью него модель может чувствовать, что она делает, получая больше информации. Так ей проще учиться выполнять трудные задачи, чем только на основе визуальной информации.

Бен Берчфил, руководитель лаборатории по декстерной манипуляции, говорит, что наблюдать познание мира роботами волнительно. Сначала ученый-учитель демонстрирует им набор навыков, а затем модель учится их воспроизводить. Как правило это занимает несколько часов и не нуждается в контроле человека. Берчфил добавил, что обычно они с командой обучали роботов днем, после чего те практиковались всю ночь, а утром были готовы осваивать новые навыки.

Исследователи говорят, что они пытаются создать модели больших поведенческих реакций или же LBM для роботов. Подобно тому, как LLM (большие языковые модели) обучаются, отмечая закономерности в человеческой письменности, LBM Toyota будут учиться наблюдая, а затем воспроизводя навык, говорит Расс Тедрейк, профессор робототехники из MIT и вице-президент по исследованиям в области робототехники в TRI.

Ученые говорят, что с помощью этой методологии уже научили роботов 60 сложным навыкам, например, наливать жидкость в емкость, убирать разлитую воду, использовать инструменты и т. д. К концу 2024 года они хотят научить модели уже 1000 навыков.