Вице-президент Meta по генеративному ИИ Ахмад Аль-Дахле отметил, что использование современных методов постобучения позволило повысить производительность модели при уменьшении затрат. Это процесс доработки уже обученной модели на более узком наборе данных для улучшения её производительности в конкретных задачах. У новинки всего 70 миллиардов параметров, при этом она не уступает предшественнице, у которой их больше 400 миллиардов.

Новая модель доступна для скачивания на платформах Hugging Face и других ресурсах, включая официальный сайт Llama. Meta ограничила использование Llama для крупных проектов: разработчики, чьи платформы имеют более 700 миллионов пользователей в месяц, должны получить специальную лицензию. Несмотря на это, Llama уже скачали более 650 миллионов раз, а сам ИИ-помощник Meta AI, работающий на основе этих моделей, насчитывает почти 600 миллионов активных пользователей ежемесячно — это вдвое больше аудитории ChatGPT.

По словам Марка Цукерберга, Meta активно инвестирует в развитие вычислительной инфраструктуры для подготовки следующего поколения Llama. Компания уже закупила более 100 тысяч графических ускорителей Nvidia, что ставит её в один ряд с лидерами отрасли, такими как xAI Илона Маска. Для обучения Llama 4, как отмечает Цукерберг, потребуется в 10 раз больше вычислительных мощностей, чем для Llama 3.

Капитальные расходы Meta во втором квартале 2024 года выросли на 33% по сравнению с аналогичным периодом прошлого года и составили $8,5 миллиарда. Эти средства были направлены на развитие серверной базы, строительство ЦОД и укрепление сетевой инфраструктуры.

Компания столкнулась с проблемами, связанными с соблюдением международных норм. Китайские исследователи уже использовали модели Llama для создания чат-ботов для нужд оборонной промышленности и армии КНР, что вызвало негативную реакцию Пентагона. В ответ Meta открыла доступ к своим моделям для американских оборонных подрядчиков, чтобы поддержать их инициативы.