Тестирование SuperGLUE включало восемь сложных задач, связанных с пониманием контекста, структуры текста, причинно-следственных связей и альтернативных вариантов. В ходе последней серии испытаний ИИ анализировал короткие отрывки статей из Википедии, отвечал на вопросы со «спрятанными» в тексте ответами и подбирал аналогии. У обеих моделей — Microsoft и Google — это получилось лучше, чем у людей.

Важно отметить, что тест измеряет не интеллект как таковой, а логику, которая раньше давалась ИИ с большим трудом. А представители Microsoft добавили, что рекордный результат DeBERTa не делает модель хорошим собеседником для бытового диалога, но определяет важный момент на пути к созданию общего ИИ.

«DeBERTa, превосходящая человеческие характеристики на SuperGLUE, знаменует собой важную веху на пути к общему ИИ. В отличие от DeBERTa, люди чрезвычайно хорошо используют свои знания, полученные при выполнении различных задач, для решения новой задачи без демонстрации пути достижения результата или с минимальной демонстрацией», — объяснили авторы из Microsoft Research.

В качестве примера Microsoft привела сложный тест для понимания естественного языка, с точки зрения ИИ: «Ребенок стал невосприимчив к болезни. В чем причина? 1) Он избежал контакта с болезнью. 2) Он получил вакцину от болезни». Если раньше этот простой для человека вопрос, поставил бы ИИ в тупик, то теперь все изменилось. Большая часть теста SuperGLUE включала аналогичные задачи и DeBERTa успешно с ними справилась.

Как отмечает VentureBeat, представители Google пока не готовы раскрывать подробности своей языковой модели, но Microsoft расписала характеристики DeBERTa в официальном блоге. Последняя версия DeBERTa поставляется с 1,5 млрд. параметров и построена на базе существующих моделей компании. Microsoft пообещала опубликовать исходный код DeBERTa и интегрировать систему в свои продукты: Bing, Office, Dynamics и Azure Cognitive Services.

Прогресс в искусственном интеллекте заставляет некоторых ученых и философов предупреждать об опасности неожиданного появления неподконтрольного человеку сверхразумного ИИ. Проделав теоретические вычисления, международная группа ученых под руководством команды исследователей из Института Макса Планка (Германия) показала, что появись такой ИИ, управлять им мы точно не сможем.