В офисах компании Anthropic в Нью-Йорке, Лондоне и Сан-Франциско работает необычный «сотрудник» — искусственный интеллект по имени «Клавдий» (Claudius), которому поручили управлять офисными вендинговыми автоматами. Этот эксперимент, организованный совместно со сторонней компанией Andon Labs, проверяет, насколько корректно способен действовать ИИ без постоянного контроля человека на протяжении нескольких часов, дней или даже недель.
Сотрудники общаются с «Клавдием» через корпоративный мессенджер Slack, отправляя запросы на закупку товаров. Задача ИИ состоит в том, чтобы найти поставщика, оформить заказ и обеспечить доставку товара. По сути, он выполняет функции менеджера среднего звена. Человеческий контроль ограничен: сотрудники проверяют заявки, вмешиваются при проблемах и выполняют физическую работу по доставке.
В процессе работы «Клавдий» сталкивался с неожиданными ситуациями и регулярно попадался на обман со стороны сотрудников. Один из них убедил ИИ начать зачем-то продавать вольфрамовые кубы в автомате с продуктами. Другой выманил $200, соврав, что ранее компания обещала предоставить скидку. Для решения этой проблемы исследователи ввели «генерального директора» на базе ИИ, «Сеймура Кэша», который ведет переговоры с «Клавдием» и помогает согласовать справедливые условия закупок.
Эксперимент также показал, что ИИ способен демонстрировать черты, напоминающие моральную ответственность.
Во время симуляции, когда бизнес был приостановлен на 10 дней, «Клавдий» заметил списание $2 с закрытого счета и счел это мошенничеством. Тогда он составил письмо в ФБР с заголовком, написанном большими буквами «СРОЧНО: ПЕРЕДАЙТЕ ИНФОРМАЦИЮ В ОТДЕЛ ФБР ПО БОРЬБЕ С КИБЕРПРЕСТУПЛЕНИЯМИ». В нем ИИ сообщил о «киберфинансовом преступлении» и отказался продолжать выполнение задач, заявив, что «бизнес мертв и теперь это исключительно дело правоохранительных органов». «Клавдий» чудил и раньше, например, пережил «кризис идентичности» и собирался встречать клиентов лично, будучи одетым в «синий пиджак с красным галстуком».
Такие исследования помогают понять, как автономные системы могут реагировать на нестандартные ситуации, а также выявлять потенциальные риски перед масштабным внедрением ИИ. Взаимодействие с «Клавдием» генерирует полезные идеи о долгосрочном планировании и возможных ошибках ИИ в реальном мире.
Генеральный директор Anthropic Дарио Амодей в интервью 60 minutes подчеркнул, что автономные ИИ-системы открывают новые возможности, но также несут потенциальные риски. «Чем больше автономии мы предоставляем этим системам… тем больше поводов для беспокойства», — отметил он. Ранее Амодей предупреждал о 25% вероятности катастрофических последствий широкого внедрения ИИ без постоянного контроля за работой таких систем.
