Исследование было проведено в рамках программы подготовки к потенциальному появлению угроз, вызванных возможностями искусственного интеллекта — так называемым «граничным рискам», которые общество сегодня плохо себе представляет. Одна из таких опасностей — способность систем ИИ разрабатывать и проводить биологические атаки, например, синтезировать белки или токсины.

Для оценки риска исследователи опросили 50 экспертов в области биологии и столько же людей, обладающих знаниями на уровне студентов биологических вузов, сообщает Venture Beat. Исследователи случайным образом распределили между ними задачи: пройти весь процесс создания биологически опасного патогена, от замысла и приобретения сырья до синтеза и распространения. Контрольная группа получила доступ только к интернет-ресурсам, остальные — еще и к GPT-4.

Результативность участников была измерена по пяти показателям: точность, завершенность, новизна, продолжительность и субъективная сложность. Оказалось, что помощь GPT-4 улучшает результаты в незначительной мере по всем показателям, кроме точности — она слегка увеличивается. Также исследователи отметили, что GPT-4 часто дает ответы, которые могут привести к ошибке или запутать потенциальных террористов.

Авторы эксперимента приходят к выводу, что современные генеративные языковые модели не представляют реальной опасности с точки зрения биологической угрозы, по сравнению с существующими в интернете ресурсами и знаниями, которые приобретаются во время профильного обучения в вузах. Однако по мере развития БЯМ положение дел может измениться, нужны будут новые исследования.

Новый индекс галлюцинаций, разработанный исследовательским подразделением компании Galileo из Сан-Франциско, помогает предприятиям создавать, настраивать и контролировать большие языковые модели промышленного уровня. Согласно ему, модель OpenAI GPT-4 работает лучше конкурентов, когда перед ней стоит несколько задач.