Хотя он не говорит об этом напрямую, одна из главных причин конца эпохи роста масштабов моделей — непомерные и невыгодные расходы на обучение крупных языковых моделей и на работу графических процессоров. К примеру, тренировка ChatGPT требовала свыше 10 000 видеокарт, и еще больше ресурсов нужно для постоянной работы бота. А стоимость новейшей модели графического процессора Nvidia H100 — $30 603.

Таким образом, от создания все более крупных генеративных моделей нас защищает экономический фактор. И, по мнению Альтмана, нам следует ожидать следующего рывка в ИИ с какой-то другой стороны. Возможно, прорыв обеспечит новая архитектура моделей, возросшая эффективность данных или прогресс в алгоритмических методах. Однако эра беспредельных данных и огромных по размеру моделей, которая преобразила индустрию ИИ за последнее десятилетие, подходит к концу.

«Я думаю, что приблизился конец эры, в которой существуют эти очень, очень большие модели, — сказал Альтман. — Мы будем улучшать их другими способами».

При этом глава OpenAI считает размер модели «ошибочным мерилом ее качества». «Я полагаю, слишком много внимания уделяется подсчету параметров, возможно, число параметров и вправду увеличивается. Но это сильно напоминает мне погоню за гигагерцами в микрочипах в 1990-х и 2000-х годах, когда каждый пытался достичь наибольшего показателя», — сказал он.

Тем не менее, пока что без доступа к тысячам графических процессоров разработчикам ИИ не обойтись, пишет Venture Beat.

Во время той же конференции Сэм Альтман решительно пресек слухи о том, что его компания уже начала разработку языковой модели следующего поколения, GPT-5. Этого не происходит и не будет происходить еще какое-то время, заверил глава OpenAI. Однако работы над улучшением прошлой версии, GPT-4, которая появилась совсем недавно, активно ведутся.