Обучение и улучшение больших языковых моделей ИИ требует огромных вычислительных ресурсов. Рыночная стоимость компании Nvidia, поставщика графических процессоров H100 для обучения GPT-4, Gemini, Llama 2 и других БЯМ, в прошлом году впервые превысила 1 трлн долларов. Не удивительно, что OpenAI заинтересована в разработке собственных процессоров.
В прошлом году OpenAI собиралась вложиться в строительство «сети фабрик» по всему миру, но эти планы были заморожены из-за слишком высоких расходов и больших сроков. Тогда компания начала обдумывать другие варианты. С июля этого года, как сообщает The Information, начались переговоры с Broadcom, американским поставщиком микрочипов, и другими поставщиками о запуске совместного производства.
Агентство Reuters, ссылаясь на анонимный источник в OpenAI, подтверждает, что компания ищет партнеров среди производителей полупроводников и рассматривает смешанную стратегию отчасти собственного, отчасти стороннего производства необходимых ей процессоров.
Broadcom помогает ИТ-компаниям, в частности, Google, оптимизировать архитектуру микрочипов для производства, а также поставляет компоненты для проектирования, помогающие ускорить ввод и вывод информации с чипов. Для систем ИИ с десятками тысяч чипов, соединенных в одну систему, это крайне полезно.
OpenAI пока не определилась, будет ли она сама разрабатывать или приобретать другие компоненты архитектуры чипов, сообщают источники. Возможно, будут подключены другие партнеры. В любом случае, компания уже сформировала команду примерно из 20 инженеров под руководством разработчиков, участвовавших в создании тензорных процессоров Google: Томаса Норри и Ричарда Хо.
Через Broadcom OpenAI уже договорилась о выделении производственных мощностей тайваньской TSMC. Предположительно, первые чипы OpenAI должны появиться в 2026 году.
Недавно OpenAI показала новый тип модели sCM, которая ускоряет генерацию мультимедиа в 50 раз по сравнению с традиционными диффузионными моделями. Технология позволяет создавать высококачественные образцы всего за два шага выборки вместо сотен и значительно сокращает вычислительные затраты.
