Hitech logo

искусственный интеллект

Исследователи вызвали у языковой модели «инсульт», чтобы понять, как она работает

TODO:
Георгий ГоловановСегодня, 11:52 AM

Практику изучения последствий травм головного мозга у людей можно перенести и на большие языковые модели ИИ, считают ученые из США, специалисты в области клинической неврологии. Они показали, что если нанести модели «травму», а затем сделать анализы, аналогичные тем, которые делают пациентам с ЧМТ, то можно получить представление о том, как эти модели работают с языком. Кроме того, полученные знания должны помочь людям, испытывающим трудности в общении.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

«Большие языковые модели внедряются в сферы, где ошибки могут иметь серьезные последствия, однако мы пока очень плохо понимаем, почему именно та или иная система дает сбой, — отмечает один из авторов работы, Юлиус Фридрикссон из Университета Южной Каролины. — Оказывается, методы, применяемые в клинической неврологии, можно использовать для понимания принципов работы искусственного интеллекта. Это первая научная работа, в которой подобные методы применены таким образом».

Лаборатория Фридрикссона занимается изучением афазии — нарушений речи и языковых способностей. Ученые помогают пациентам в процессе восстановления после травм, попутно получая новые данные о человеческом мозге и о том, как различные нейронные сети управляют речевой функцией.

Поскольку языковые модели ИИ обучаются на человеческом языке, а афазия — это нарушение именно человеческого языка, у исследователей возник вопрос: если внести изменения в структуру языковой модели и провести обычные клинические тесты, будут ли результаты напоминать проявления афазии?

Для этого они разработали метод, который назвали «интерпретируемостью на основе повреждений» (lesion-based interpretability). Его суть в том, что в большие языковые модели (БЯМ) намеренно вносятся ошибки, своего рода повреждения. Выяснилось, что такие «травмы» приводили к сбоям в обработке языка, очень похожим на те, что наблюдаются у пациентов с афазией, сообщает Techxplore.

«До сих пор сравнения между языковыми способностями человека и искусственного интеллекта носили преимущественно корреляционный характер, — добавляет Фридрикссон. — Наш же подход впервые позволяет установить причинно-следственную связь». При этом он подчеркивает: важно понимать, что речь идет о сходстве в характере сбоев, а не о тождестве самих структур.

По словам исследователей, эти модели помогают заглянуть внутрь «черного ящика» языковых моделей и оценить их эффективность, выявляя избыточные, ненужные компоненты. Можно надеяться, что в будущем это позволит создавать более компактные и энергоэффективные языковые модели. Кроме того, такие модели можно использовать для создания «цифровых двойников» пациентов с афазией — это ускорит внедрение новых научных открытий в практику.

Исследование показало, что у людей, которые едят много ультраобработанных продуктов, чаще обнаруживают небольшие повреждения сосудов мозга. Такие изменения могут годами не вызывать симптомов, но считаются ранними признаками инсульта и будущих проблем с памятью.