Словарь ИИ
С каждым годом возможности нейросетей растут — они убедительно имитируют голоса и лица, с точностью распознают образы и превосходят людей в видеоиграх. Однако никто не может с точностью сказать, как именно они это делают.
Феномен «черного ящика» мешает понять, чем руководствуется алгоритм при принятии решений.
В этом одна из причин того, что разработчикам пока не удается довести алгоритмы до совершенства, например, избавить их от предубеждений.
Группа исследователей из Google и OpenAI решила начать с малого и для начала понять, как ИИ формулирует визуальные концепты. Они выяснили, как в нейросети возникает импульс восприятия, который заставляет интерпретировать образ так, а не иначе.
Подобные исследования проводились и ранее, но в более мелком масштабе. По мнению эксперта Google Шана Картера, прежде ученым удавалось раскрыть лишь отдельные буквы визуального алфавита ИИ. По его словам, Activation Atlases больше напоминает словарь, которые объясняет, как буквы соединяются в слова.
«Мы как будто бы создали микроскоп», — отмечает один из авторов работы Крис Ола из OpenAI.
Язык метафор
Одним из первых прототипов Activation Atlases стала популярная программа DeepDream, которую назвали «машиной для галлюцинаций». Нейросеть, обученная на многочисленных изображениях из базы ImageNet, генерировала изображения объектов, опираясь на изученные материалы.
У DeepDream получались картины, испещренные психоделическими глазами, пятачками, стеблями и завитушками. Так разработчики могли понять, как ИИ воспринимает мир.
Activation Atlases позволяет глубже проникнуть в «сознание» машины. Как поясняет Verge, каждая нейросеть состоит из слоев, которые часто называют нейронами. Ученые выяснили, какие элементы изображений активируют «нейроны» и вызывают отклик у системы. В некоторых случаях триггером выступало скопление пикселей, в некоторых — искаженный рисунок собачьей морды или плавника акулы.
Проследив за процессом восприятия, разработчики смогли воссоздать его шаг за шагом. Они выяснили, из каких кусочков нейросеть собирает паззл и выносит финальное суждение.
К примеру, породу собаки ИИ определяет по ушам.
Оказалось также, что нейросети способны работать с метафорами. На одном из изображений в категории «Киты и акулы» челюсть акулы напоминала бейсбольный мяч. Ради эксперимента исследователи дополнили фото с китовым плавником изображением мяча. В результате ИИ ошибочно принял кита за акулу.
Защита от предубеждений
Создатели Activation Atlases надеются, что их работа поможет в будущем исключить риск ошибки при распознавании образов. А алгоритмы больше не будут путать темнокожих людей с гориллами, как это было с Google.
Разработчики будут лучше подготовлены ко взлому системы, зная, как именно злоумышленники попытаются ее обмануть.
Впрочем, некоторые эксперты указывают, что нейросети постоянно совершенствуются и со временем проникнуть в «черный ящик» станет сложнее.
Параллельно с изучением внутреннего мира ИИ ученые помогают алгоритмам постигать окружающую действительность. В феврале Google и DeepMind представили нейросеть для создания модели мира, а незадолго до этого GAN-сеть от MIT и IBM Watson разобралась в устройстве мира без помощи человека.
