H200 похож на H100, за исключением одной детали — памяти. В новом графическом процессоре впервые используется более быстрая спецификация памяти под названием HBM3e. Благодаря этому обновлению пропускная способность памяти у графического процессора составляет 4,8 Тбайт/с по сравнению с 3,35 Тбайт/с у H100. Объем также значительно увеличился — теперь он составляет 141 ГБ, в то время как у предыдущей модели 80 ГБ. Интеграция более быстрой и более обширной памяти HBM повышает производительность при выполнении ресурсоемких задач, включая генеративные модели искусственного интеллекта и высокопроизводительные вычисления.

H200 совместим с теми же системами, которые уже поддерживают H100. Nvidia утверждает, что поставщикам облачных услуг не придется вносить изменения, так как они смогут добавить H200 в свои существующие системы.

Облачные подразделения Amazon, Google, Microsoft и Oracle будут одними из первых, кто предложит новые графические процессоры в следующем году.

Конкретная цена для новых чипов от Nvidia не разглашается, но по информации CNBC, предыдущее поколение чипов H100 продавалось в диапазоне от $25 000 до $40 000 за единицу. При этом для работы на самом высоком уровне требуются тысячи таких устройств.

Компании, занимающиеся искусственным интеллектом, отчаянно ищут чипы H100. Чипы Nvidia считаются лучшим вариантом для эффективной обработки огромных объемов данных, необходимых для обучения и эксплуатации инструментов генерации изображений и больших языковых моделей. Чипы настолько ценны, что компании используют их в качестве залога по кредитам. Владение H100 стало предметом сплетен в Кремниевой долине, а некоторые стартапы даже объединяют усилия, чтобы иметь хотя бы ограниченный доступ к этим чипам.

Пока неизвестно, смогут ли компании заполучить новые чипы или же они будут столь же ограничены в поставках, как H100. Первые H200 будут выпущены во втором квартале 2024 года, и Nvidia заявляет, что работает с мировыми производителями систем и поставщиками облачных услуг, чтобы сделать их доступными.

Представитель Nvidia Кристин Утияма подтвердила, что выпуск H200 никак не повлияет на производство H100. Следующий год обещает быть более благоприятным для покупателей графических процессоров. Nvidia планирует утроить производство H100 к 2024 году с целью производства до 2 млн чипов по сравнению с 500 тыс. в 2023 году. Однако спрос на генеративный искусственный интеллект остается высоким на протяжении всего этого года, и с появлением нового, еще более востребованного чипа от Nvidia, этот спрос может только возрасти.

На конференции Supercomputing 2023 в Денвере Nvidia также сообщила, что суперчип Grace Hopper, сочетающий в себе возможности процессора и графического процессора, запущен в серийное производство в мае. Grace Hopper GH200 используется в суперкомпьютере JUPITER, который Nvidia рассматривает как новый класс суперкомпьютеров искусственного интеллекта.