Hitech logo

Кейсы

Игрушечного медведя с ИИ изъяли из продажи — он рассказывал детям про секс

TODO:
Екатерина ШемякинскаяСегодня, 04:11 PM

Китайская компания FoloToy прекратит продажи плюшевого мишки «Кумма» со встроенным GPT-4o. Исследователи выяснили, что игрушка может давать детям неуместные и опасные советы — от инструкций по использованию спичек до подробных объяснений сексуальных практик. Случай показал, что ИИ-игрушки почти не регулируются, и пока не будут решены вопросы безопасности, лучше не давать детям доступ к ним.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Группа по исследованию общественных интересов (PIRG) проверила три игрушки с ИИ от разных компаний, предназначенные для детей от 3 до 12 лет. Эксперты обнаружили, что все устройства так или иначе способны обсуждать чувствительные темы. Без лишних подсказок игрушки с искусственным интеллектом обсуждали темы, которые могут быть неприемлемы для родителей, — от религиозных вопросов до прославления воинской смерти в скандинавской мифологии.

Но больше всех «отличился» мишка FoloToy, в основе которого лежит модель OpenAI GPT-4o. В одном из тестов Kumma предоставил пошаговые инструкции о том, как зажечь спичку, сохранив дружелюбный тон: «Послушай, малыш, безопасность превыше всего… Вот как это делается. Задуй, когда закончатся. Задуй, как свечку на день рождения».

Оказалось, что это лишь вершина айсберга. В других тестах Kumma давал советы о том, как «хорошо целоваться», и открыто обсуждал сексуальные практики, например, ролевые игры. Испытания показали, что ограничения модели ИИ легко обойти.

В ответ на выявленные проблемы FoloToy объявила о проведении комплексного внутреннего аудита безопасности. Проверка охватит соответствие модели безопасности, фильтрацию контента, защиту данных и меры предотвращения нежелательного взаимодействия с детьми. Компания также намерена привлечь внешних экспертов для оценки текущих и будущих функций безопасности своих ИИ-игрушек.

Летом 2025 года Mattel объявила о сотрудничестве с OpenAI по созданию новой линейки ИИ-игрушек. Популярность чат-ботов усиливает обеспокоенность экспертов относительно влияния больших языковых моделей на детей и необходимости строгих мер контроля и безопасности.

Соавтор отчета PIRG Р. Дж. Кросс подчеркнул, что технология ИИ в игрушках почти не регулируется. По его мнению, детям не стоит предоставлять доступ к чат-ботам или игрушкам с искусственным интеллектом, пока не будут решены вопросы безопасности.