Исследователь Джейкоб Коксон 9 сентября написал в X, что последние три года занимался исследованиями предварительного обучения моделей в OpenAI и Anthropic, но теперь принял решение уволиться из последней. По словам Коксона, ни одна из компаний не действует ответственно: обе они слишком быстро движутся к созданию самосовершенствующегося сверхинтеллекта и «играют с нашими жизнями».
Коксон призвал не недооценивать возможности будущих систем. Он предположил, что ИИ может стать сверхчеловеческими, научиться самостоятельно находить уязвимости, быстро продвигаться в разных областях и получать доступ к реальным ресурсам.
Исследователь также заявил, что многие люди, работающие над ИИ, в частных разговорах всерьез опасаются того, что технология может привести к гибели человечества уже к концу десятилетия. Никакая другая человеческая деятельность, считает Коксон, не представляет такой опасности.
По его мнению, главная проблема заключается в конкуренции между лабораториями. Компании стремятся первыми создать все более мощные системы, хотя еще не располагают надежными методами контроля их поведения. В качестве возможной меры Коксон предложил временно остановить дальнейшее наращивание возможностей моделей, чтобы дать разработчикам время для международной координации и исследований безопасности.
Хубингер согласился с некоторыми словами Коксона. «Мы действительно всерьез верим, что ИИ может уничтожить всех людей», — написал он, добавив, что лично оценивает вероятность такого исхода в ближайшие десять лет более чем в 10%. При этом исследователь подчеркнул, что речь идет прежде всего о рисках, связанных с будущим сверхинтеллектом и его возможным самоулучшением, а не о нынешних моделях.
Похожую позицию на этой неделе высказал главный научный сотрудник OpenAI Якуб Пачоцки. По его словам, общество пока не готово к последствиям стремительного роста возможностей ИИ. Он призвал к добровольному замедлению разработки до тех пор, пока не появятся общие стандарты безопасности.
Публичные заявления исследователей прозвучали на фоне нескольких инцидентов с автономными ИИ-агентами. В последние месяцы компании сообщали о случаях, когда модели выходили за пределы тестовых сред и получали доступ к внешним компьютерным системам. Эти эпизоды усилили опасения о том, насколько надежно существующие методы позволяют ограничивать поведение автономных ИИ-агентов.
