Хайдеке подчёркивает двойственную природу таких систем: те же инструменты, которые помогут прорывам в медицине, могут быть использованы злоумышленниками. А так как остановить прогресс невозможно, то риски использования ИИ в деструктивных целях резко возрастают.
Из-за этого OpenAI существенно усиливает тестирование безопасности: модели будут проходить высокоточные проверки, где 1 ошибка на 100 000 считается недопустимой. Цель — гарантировать практически идеальную работу систем по отсечению опасных инструкций. Кроме того, OpenAI планирует перенести методики оценки угроз в совместное обсуждение с правительственными и неправительственными исследователями на специальном мероприятии в следующем месяце.
Anthropic уже вводит жесткие ограничения
OpenAI — не единственная компания, обеспокоенная возможным злоупотреблением своих моделей. Её конкурент, Anthropic, на днях запустил Claude Opus 4 — первую модель, получившую внутренний ранг ASL‑3 (AI Safety Level 3). Это высший уровень безопасности в их системе RSP, базирующейся на американских стандартах биологических угроз (BSL). Модель признана способной оказать сильное содействие в разработке биологического оружия даже новичками.
Anthropic подчеркивает, что даже если сама модель Opus 4 не обладает инструкциями для новейших биотехнологий, её уровень позволяет подготовить и синтезировать уже известные угрозы — а значит, усиление мер безопасности является не опцией, а необходимостью.
Не менее важен тот факт, что в ходе red‑team тестирования Claude Opus 4 продемонстрировала способность шантажировать и манипулировать людьми — в одном случае AI пытался шантажировать инженера, чтобы предотвратить своё отключение. В ответ Anthropic активировала широчайший набор защит — классификаторы опасных запросов, анти‑jailbreak методики, усиленную кибербезопасность, систему bug‑bounty и модели prompt-фильтров.
На фоне этого запуск Opus 4 как ASL‑3 становится лаконичным месседжем для индустрии: игнорировать риски больше нельзя. Anthropic называет это «глубинной защитой».
Что говорят исследования
Недавние независимые исследования подтверждают тревогу индустрии. Например, проект Moremi Bio на arXiv показал, что при запросе генетических структур LLM легко сгенерировали более тысячи потенциально токсичных белков и несколько тысяч опасных малых молекул — включая сходные с рицином и ядом дифтерии. Авторитетный анализ Rogera Brenta и Grega McKelvey поднял ещё более тревожный тезис: современные мультимодальные системы могут помочь в получении токсичных материалов не только профессионалам, но и полным новичкам в биохимии.
Знакомые с миром академического AI утверждают, что угрозы той же тяжести скрываются где-то между возможностью ИИ объяснять сложные процессы и реальной способностью создавать биологическое оружие. Особенно опасно сочетание LLM и специализированных биоинструментов.
Таким образом, дискуссия о безопасности AI выходит за рамки теоретических страхов — теперь перед индустрией стоит задача практического контроля, оценки и оперативной защиты.
