Исследования интерпретируемости результатов ИИ уже показывают активацию «нейронов тревоги» у моделей в ситуациях, которые человек ассоциировал бы со стрессом. Амодей подчеркнул, что люди вступают в парасоциальные отношения с ИИ и жалуются, когда модели выводят из эксплуатации. Он считает это вредным, так как вера в сознательность ИИ может подорвать стремление людей оставаться «у руля», особенно когда ИИ начнет принимать решения лучше человека.

Сейчас индустрия пытается балансировать между тремя противоречивыми задачами: благополучием потенциально сознательного ИИ, комфортом пользователей и сохранением контроля человека над системой. Цель состоит в том, чтобы создать структуру, где ИИ понимает свои отношения с людьми. В идеале ИИ должен быть полезным помощником, который «желает вам лучшего» и присматривает за вами, но не лишает свободы, инициативы и власти над собственной жизнью.

Это признание прозвучало на фоне новостей о том, что Anthropic выделила $20 млн комитету, выступающему за жесткое регулирование безопасности ИИ. Этот шаг обострил конкуренцию с OpenAI, которая поддерживает альтернативную группу влияния, уже собравшую более $125 млн.

В январском эссе «Подростковый возраст технологий» Амодей сравнил текущий этап развития человечества с «обрядом инициации» — неизбежным испытанием нашего вида. По его прогнозам, уже через год-два появится ИИ, превосходящий нобелевских лауреатов. Эта технология станет не просто инструментом, а «универсальной альтернативой человеческому труду», что грозит появлением целого класса безработных. Амодей прогнозировал, что в течение пяти лет ИИ может ликвидировать половину начальных позиций «белых воротничков». Это грозит ростом безработицы до 10-20%, что станет худшим показателем со времен Великой депрессии.

Несмотря на мрачные прогнозы, глава Anthropic продолжает разработку, объясняя это верой в глобальный прогресс. Он заявил, что ИИ способен вылечить большинство видов рака и удвоить продолжительность человеческой жизни — именно ради этих целей он готов идти на риск.