Конечно, впечатляющая вместительность — не единственное достоинство обновления. Gemini 1.5 Pro превзошла свою предшественницу, Gemini 1.0 Pro, на 87% по результатам бенчмарк-тестов. Модель приближена к флагманской Gemini Ultra с лучшей производительностью.
Она использует методологию «Смесь экспертов» (Mixture of experts, MoE). Такие модели состоят из группы подмоделей (экспертов), которые решают определённые задачи. Когда вы отправляете запрос, специальная сеть-распределитель решает, каким экспертам его направить. Затем ответы наиболее компетентных подмоделей взвешиваются и объединяются в один. Так ответы не только становятся точнее — вы ещё и получаете их быстрее, а разработчику БЯМ легче её обслуживать.
Однако генеральный директор Google Сундар Пичаи особенно гордится объёмом контекста. Для примера, главный конкурент Gemini, ChatGPT от OpenAI, вмещает всего 128 тысяч токенов, а текущая версия Gemini Pro — 32 тысячи. Пичаи объяснил, что 1 миллион токенов — это 10-11 часов видео или десятки тысяч строк кода.
Обычно в больших языковых моделях 1 токен соответствует 1 слову, хотя некоторые нейросети используют в качестве токенов буквы и графемы. На 1 странице А4 на английском языке умещается около 500 слов. По такой логике, 1 млн токенов равен примерно 2000 страницам текста. В средней англоязычной книге 64 тысячи слов, а значит, диалоговое окно Gemini 1.5 Pro может вместить около 15 книг. Пичаи похвастался, что обновлённый чат-бот может вместить всю трилогию «Властелина колец» и свободно анализировать её. Он также упомянул, что сейчас в компании тестируют контекстное окно на 10 млн токенов — оно сможет вместить все книги «Игры престолов».
Выпуск Gemini 1.5 Pro похож на достойный ответ компании OpenAI, которая собирается выпустить собственный поисковик. Разработчик ChatGPT теснит Google там, где компания традиционно была лидером. В качестве контр-меры технологический гигант активно включился в гонку разработчиков ИИ и даже представил продукт, в чём-то превосходящий GPT-4. Этот чат-бот планируют наделить памятью: он будет помнить прежние взаимодействия с пользователем и его предпочтения, поэтому его не нужно будет каждый раз настраивать заново.
Пичаи сказал журналистам издания The Verge, что в будущем названия и производители моделей ИИ потеряют значение для пользователей. Они будут выбирать не Google или OpenAI, а самый удобный и привлекательный продукт. Таким же образом люди выбирают смартфон и не беспокоятся о том, чей процессор у него под крышкой. Однако на начальном этапе ИИ-гонки репутация и позиционирование очень важны.
