Ученые назвали подход Weight-Space Programming — программированием в пространстве весов. Весовые коэффициенты — числовые параметры, которые определяют, как нейросеть обрабатывает информацию и формирует ответы. Обычно их корректируют с помощью обучения: модель получает примеры, сравнивает свои ответы с правильными и постепенно меняет параметры, например методом градиентного спуска. В эксперименте MIT другая языковая модель сама анализировала веса уже обученной сети, искала причины нежелательного поведения и предлагала точечные изменения — без стандартной процедуры дообучения.
Исследователи предоставили Astra веса Qwen, тренировочные вопросы и доступ к Python для анализа поведения и проверки изменений. Выяснилось, что Qwen часто повторяет одни и те же рассуждения, пока не исчерпает лимит длины ответа. В результате Astra скорректировала 131 072 весовых коэффициента — около 0,016% всех параметров. Правки затронули два из 24 слоев нейросети, в которых обнаружились компоненты, связанные с повторениями.
После этого точность Qwen выросла и на тесте GSM8K — с 13,8 до 67,1%. Улучшение объясняется не появлением новых математических знаний, а тем, что модель перестала зацикливаться.
Команда провела и другие эксперименты, чтобы проверить, может ли Astra определять устройство и поведение нейросетей по их весам. Например, исследователи обучили четыре модели играть в Breakout, Pong, Pac-Man и Freeway, а затем предложили Astra определить, для какой игры предназначена каждая из них. Модели имели одинаковую архитектуру, а Astra не получила ни названий игр, ни списка возможных вариантов. Тем не менее она правильно распознала все четыре. В другом эксперименте модель смогла создать нейронные сети для игр из набора MinAtar по их правилам и исходному коду.
В Breakout созданная Astra сеть набрала 517,4 балла. Для сравнения, результат сети, обученной стандартным методом обучения с подкреплением, составил 25,3 балла.
При этом результаты не означают, что ИИ уже научился улучшать любые нейросети. Например, попытка повысить математические способности другой небольшой модели, Gemma 3 270M, не привела к существенным изменениям. В отличие от Qwen, она не демонстрировала выраженной склонности к повторению. В еще одном эксперименте Astra не смогла определить по одним только весам, какая из двух моделей обучена соглашаться с пользователем, а какая — давать правильные ответы. Для этого исследователям пришлось предоставить дополнительные данные о работе сетей. То есть одних весовых коэффициентов не всегда достаточно, чтобы понять причины поведения модели и найти способ его изменить.
Авторы считают, что программирование в пространстве весов может стать новым инструментом для разработки ИИ. Например, языковые модели могли бы помогать находить ошибки в других нейросетях, исследовать нежелательное поведение и предлагать изменения без полного переобучения.
В перспективе такой подход может применяться и для создания новых сетей. Однако исследователи пока не показали, что этот метод в целом быстрее или дешевле традиционного обучения: поиск подходящего изменения тоже требует вычислений и многократных проверок.
Работа также вызвала дискуссию о возможном ускорении развития искусственного интеллекта. Если модели смогут не только анализировать и исправлять другие нейросети, но и последовательно улучшать результаты предыдущих изменений, это может стать одним из механизмов рекурсивного самоулучшения ИИ. Однако эксперимент MIT не продемонстрировал такого цикла.
