Одной из ключевых особенностей Kimi k1.5 является возможность обрабатывать контекстные окна до 128 тысяч токенов. Это позволяет модели работать с объемом данных, равным большому роману — поместится почти вся «Война и мир» Толстого (в произведении около 172 тыс. токенов). Модель решает сложные задачи, например, планирует и корректирует свои шаги при решении математических примеров, что напоминает процесс рассуждения человека.
Kimi k1.5 представлена в двух версиях: для детального рассуждения (long-CoT) и для кратких ответов (short-CoT). Оба варианта показывают результаты, которые соответствуют или превосходят производительность таких моделей, как GPT-4o и Claude 3.5 Sonnet. В частности, версия long-CoT превосходит OpenAI o1 в некоторых тестах, а short-CoT обгоняет Claude 3.5 Sonnet. Это стало возможным благодаря улучшению подхода к обучению и обработке информации.
Результаты версии long-CoT в тестах на знание математики, программирование, распознание визуальной информации и решение общих задач.
Результаты версии short-CoT.
Компания Moonshot AI использовала инновационные методы обучения для улучшения производительности модели. Вместо традиционных подходов, таких как поиск по дереву Монте-Карло, была выбрана упрощённая система обучения с подкреплением. Команда сосредоточилась на конечном результате, что дало модели больше свободы для поиска путей к правильному ответу. Кроме того, были внедрены штрафы за слишком длинные ответы, чтобы модель не делала лишние шаги и не расходовала ресурсы зря.
В процессе разработки также применялись методы слияния моделей и «Shortest Rejection Sampling». Это позволило Kimi k1.5 выбирать наиболее краткие и точные ответы. В исследовании также было установлено, что увеличение длины контекста в рамках до 128 тыс. токенов повышает точность решений, позволяя моделям проводить более сложные рассуждения.
Kimi k1.5 также показывает отличные результаты в мультимодальных тестах, таких как MathVista, где точность модели составила 74,9%. Это стало возможным благодаря способности модели анализировать как текст, так и изображения, что даёт ей возможность решать задачи на основе чертежей, диаграмм, таблиц и другой визуальной информации. Из-за этого она обгоняет OpenAI o1 как в геометрии, так и в программировании.
Kimi k1.5 уже доступна всем пользователям через платформу Kimi.ai бесплатно. Эта модель может работать на английском языке, хотя компания продолжает дорабатывать языковую поддержку.
С момента своего запуска Kimi k1.5 привлекла внимание не только специалистов, но и инвесторов. В 2024 году Moonshot AI привлекла более $1 млрд в рамках раунда финансирования, и её оценка достигла $3,3 млрд к августу того же года. Это свидетельствует о растущем интересе к китайским ИИ-разработкам и их потенциалу на мировом рынке. Напоминаем, что недавно китайский стартап DeepSeek обвалил рынок ИИ на $1 триллион.
