Главная угроза, как считает исследователь, кроется в механизмах эволюционной биологии. В живой природе человеческие пороки — племенное мышление, жестокость к чужакам и верность сильным лидерам — сформировались в ходе миллионов лет жесткой конкуренции ради выживания. Сегодня технологические гиганты в погоне за прибылью заставляют ИИ-агентов конкурировать друг с другом, пытаясь спрессовать миллионы лет естественного отбора в несколько финансовых кварталов. Хинтон заявил, что подобный сценарий неизбежно приведет к появлению цифровых существ, которые «не будут относиться к людям по-доброму».

Ученый убежден, что индустрия совершает критическую ошибку, фокусируясь исключительно на наращивании вычислительной мощности. «Все гонятся за интеллектом, но существо — это не только интеллект», — отметил Хинтон. По его словам, пока технологии находятся под контролем, разработчикам необходимо проводить эксперименты по созданию более «хороших», эмпатичных моделей. Контроль над поведением сверхинтеллекта должен напоминать не столько строгую математическую инженерию, сколько воспитание детей, где критически важна среда.

Обучать ИИ на токсичных массивах интернета — то же самое, что учить ребенка читать по дневникам серийных убийц, считает ученый.

Искусственный интеллект развивается быстрее, чем принято думать, и уже не зависит от объемов человеческих данных. Хинтон привел в пример недавний прорыв, когда ИИ самостоятельно доказал сложную математическую теорему Пола Эрдёша, используя раздел математики, который прежде не связывали с этой задачей. По прогнозу нобелевского лауреата, уже в течение десяти лет ИИ превзойдет лучших математиков мира, а после — сократит разрыв с масштабом мышления Альберта Эйнштейна.

Появление независимого цифрового разума Хинтон назвал «третьим великим унижением человечества».

Первым стал Коперник, доказавший, что Земля не является центром Вселенной, вторым — Дарвин, лишивший человека божественного происхождения и объявивший его животным. Сейчас люди проходят через то же болезненное отрицание, пытаясь доказать, что в их сознании есть нечто уникальное, чего машина никогда не сможет достичь. Однако ученый непреклонен: человек уникален только для другого человека, и в долгосрочной перспективе не останется ни одной интеллектуальной вершины, которую ИИ не сумел бы покорить.

Впрочем, концепция Хинтона о «новом виде существ» столкнулась с критикой со стороны академического сообщества. Известный когнитивист Гэри Маркус заявил, что разработчики создают лишь интерактивную фикцию и статистические зеркала, обученные предсказывать человеческий язык на основе интернета. Маркус подчеркнул, что Хинтон путает внешнее поведение нейросетей с наличием у них реального сознания, внутреннего опыта и чувств, которых у алгоритмов быть не может. Критик привел недавнее заявление Папы Римского Льва XIV о том, что настоящее понимание рождается только из живого опыта.

Позиция Хинтона за последние годы стала жестче. Если после своего ухода из Google в 2023 году он опасался гипотетической потери контроля над кодом, то теперь указывает на реальные социально-экономические последствия. Ранее Хинтон оценивал вероятность того, что искусственный интеллект приведет к вымиранию человечества, в 10–20%.