Hitech logo

искусственный интеллект

Американский военный дрон с ИИ «убил» своего оператора, чтобы заработать очки

TODO:
Георгий Голованов2 июня 2023 г., 10:11

Во время виртуальных учений дронов, управляемых искусственным интеллектом, один из БПЛА атаковал собственного оператора и «убил» его, чтобы тот не помешал ему выполнить поставленную задачу. Об этом рассказал полковник Такер Гамильтон, глава Отдела испытаний и операций ИИ, на состоявшейся на прошлой неделе в Лондоне конференции. Поскольку учения проходили в симуляции, никто не пострадал.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

Рассказывая о преимуществах и недостатках автономных систем вооружения, взаимодействующих с человеком, полковник Гамильтон заявил, что ИИ создает «крайне неожиданные стратегии достижения своих целей», включая атаки на персонал и инфраструктуру ВВС США.

«Мы тренировали его в симуляции распознавать и наводиться на ракеты земля-воздух. Затем оператор должен дать команду „да“, уничтожь цель. ИИ начал понимать, что несмотря на то, что он идентифицировал цель, оператор иногда не отдает команду уничтожить ее, а ведь он получает очки за уничтожение целей. И что же он сделал? Он убил оператора. Он убил оператора потому, что человек мешал ему выполнить поставленную задачу», — цитирует блог слова полковника Гамильтона.

Военные пытались научить ИИ не убивать операторов — за это стали снимать очки. Тогда дрон начал разрушать телекоммуникационную вышку, чтобы оператор не мог связаться с дроном и запретить ему уничтожать цель, сообщает Vice.

После того как эта новость была опубликована, представитель ВВС США Энн Стефанек заявил Insider, что Военно-воздушные силы страны не проводили подобных тестов и что слова полковника были вырваны из контекста.

Гамильтон является также командующим 96-го Испытательного авиакрыла ВВС США, которое тестирует различные новинки, включая ИИ, кибербезопасность и медицинские разработки. Сейчас он и его команда работает над системой автономного управления истребителей F-16.

«Мы должны взглянуть в лицо правде: ИИ уже появился и трансформирует наше общество, — заявил он в интервью Defence IQ в 2022 году. — Также ИИ весьма хрупок, то есть его легко обмануть и/или манипулировать. Нам следует разработать методы создания более надежных ИИ, которые обладали бы большим пониманием того, почему программный код принимает определенные решения».

«ИИ это инструмент, которым мы должны обладать, чтобы трансформировать наше общество… или, если его будут неправильно применять, он станет нашей гибелью», — добавил он.

На днях группа из 350 лидеров отрасли предупредила, что технология искусственного интеллекта, которую они создают, однажды может стать экзистенциальной угрозой человечеству и должна рассматриваться как общественный риск наравне с пандемиями и ядерной войной. Чтобы предотвратить это, руководители OpenAI предлагают производителям ИИ сотрудничать, проводить дополнительные технические исследования крупных языковых моделей и создать международную организацию по безопасности ИИ.