Hitech logo

искусственный интеллект

Reuters: «OpenAI втайне от правления разрабатывала сильный ИИ»

TODO:
Георгий Голованов24 ноября 2023 г., 10:37

Неудавшийся переворот в руководстве OpenAI позади, а его причины остаются скрытыми от общественности. На это указал Илон Маск еще когда конфликт только начался, но внятных ответов на вопрос, из-за чего же Илья Суцкевер решился вдруг сместить Сэма Альтмана, журналисты до сих пор не получили. Тем не менее, агентству Reuters удалось узнать, что причиной стали некие открытия в области сильного ИИ, которые несут угрозу человечеству. Увольнением Альмана совет директоров пытался остановить эти разработки и проиграл.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

По информации, полученной Reuters от информированных источников, несколько сотрудников OpenAI письменно обратились к совету директоров, сообщив о важном открытии, которое может привести к появлению мощного искусственного интеллекта, опасного для людей. Эти письма и алгоритм ИИ стали причиной обвинений Сэма Альтмана, генерального директора OpenAI, в недостаточной открытости. Другими словами, он, якобы, скрывал эти разработки от совета директоров.

Помимо недовольства совета скрытностью гендиректора, ему вменили попытки коммерциализации продукта без должного понимания последствий.

Копию самого письма Reuters получить не смогло, а его авторы не стали давать никаких комментариев. Официальные лица компании тоже отказались прояснить ситуацию. Однако Мира Мурати (которая отказалась от предложения мятежного правления занять кресло Альтмана) разослала сотрудникам внутреннее сообщение, где упоминается некий проект Q* («Кью-Стар») и письмо совету директоров. На это представитель OpenAI заявил, что Мурати просто предупреждала штат о существовании таких предположений, но не комментировала их истинность.

По мнению некоторых сотрудников компании, проект «Кью-Стар» может стать прорывом в разработке так называемого сильного, или универсального ИИ, заявил один из источников. По определению OpenAI, универсальный ИИ превосходит человека по большинству экономически значимых показателей.

Учитывая огромную вычислительную мощность компании, новая модель могла решать определенные математические задачи. И хотя она делала это на уровне учеников начальной школы, прохождение таких тестов давало разработчикам «Кью-Стар» основание для оптимизма. Современные генеративные ИИ хорошо справляются с языковыми задачами, предсказывая следующее слово методами статистики, и могут давать совершенно разные ответы на один и тот же вопрос. А получив способность к математике, где правильный ответ обычно один, ИИ приблизится к человеческому интеллекту. И сможет обобщать, учиться и понимать.

Насколько можно понять из пока обрывочных сведений о разработке Q*, потрясло Альтмана и всех внутри то, что они столкнулись с первым проявлением того, что можно назвать суперинтеллектом — этот ИИ начал давать точные ответы на математические задачи без обучения.

Именно это, а в широком смысле — способность отличать истину от лжи, оставалось фундаментальным барьером для нынешней лингвистической модели GPT. Это подразумевает возможность самообучения и саморазвития на самостоятельно полученных данных.

Также в письме совету директоров говорилось о существовании внутри OpenAI группы ученых, созданной из двух прежних команд, «Code Gen» и «Math Gen». Она занималась оптимизацией существующих моделей ИИ в целях улучшения их способностей к мышлению и выполнения научных исследований.

Возможно, именно это и имел в виду Альтман, за день о своего увольнения выступавший на саммите АТЭС, когда говорил, что «за последние несколько недель мы отодвинули назад вуаль невежества и продвинули вперед исследования». Или когда говорил в интервью Financial Times, что надеется на миллиардные инвестиции Microsoft в разработке универсального ИИ.

Весной Илья Суцкевер, сооснователь и бывший главный ученый OpenAI, признался, что считает GPT-4 способной вырасти до универсального ИИ и даже назвал сроки — опасность инструмента станет всем очевидна уже через пару лет. Вероятно, прорыв произошел существенно раньше. И это вновь поднимает вопросы ответственности компаний, разрабатывающих ИИ, и контроля над ИИ.

Конспирологическая версия о том, что внезапное увольнение Альтмана объясняется тем, что совет директоров OpenAI пережил «момент Оппенгеймера» (момент, когда изобретатель осознает, какую угрозу человечеству несет его изобретение), появилась в первые дни после скандала в OpenAI. Но до статьи Reuters никаких прямых подтверждений этому не было. Их и теперь немного, но догадки в целом подтвердились — в своих исследованиях сотрудники OpenAI натолкнулись на что-то, что апологета ИИ Сэма Альмана воодушевило, а главного ученого компании и остальных трех директоров испугало настолько, что они попытались немедленно уволить Альтмана и остановить эти работы. Не получилось. Q* победил.