Mistral выпустила модель на триллион параметров
Для запуска модели хватит одного сервера с восемью видеокартами, а открытые веса компания обещает выложить на Hugging Face в течение месяца.
Фото: The Register
Французская Mistral AI показала Mistral Large 4, свою самую крупную модель. В ней 1 трлн параметров, и это открытая модель: веса компания обещает выложить в свободный доступ. Пока Large 4 работает в режиме превью через API Mistral.
Модель устроена по схеме «смеси экспертов». При каждом ответе работает только часть сети, около 49 млрд параметров. Large 4 понимает не только текст, умеет рассуждать и обучена на данных на 160 с лишним языках. В компании её прозвали Le Chonk, что можно перевести как «Толстушка».
Обучали модель в собственных дата-центрах Mistral в Европе, на примерно 3800 ускорителях Nvidia Grace Blackwell. В Mistral утверждают, что китайским конкурентам для моделей такого класса нужно в два-три раза больше чипов. Для запуска готовой модели хватит одного сервера с восемью GPU, например Nvidia HGX B300 или AMD MI355X.
Где модель среди конкурентов
Независимый рейтинг Artificial Analysis поставил Large 4 между DeepSeek V4.1 Flash и GPT6 Luna от OpenAI. Американскую открытую модель Inkling она, по тем же данным, заметно опережает. Mistral также заявляет, что держится на уровне моделей Alibaba, Moonshot и DeepSeek в программировании, работе агентов, финансах, юриспруденции и кибербезопасности.
Кибербезопасность компания выделяет отдельно. Закрытые американские модели часто отказываются выполнять задачи атакующего характера, даже если их ставят защитники. Large 4 справляется с ними хорошо, поэтому Mistral не спешит публиковать веса и сначала проводит проверки безопасности.
«Пока мы будем работать с доверенными партнёрами и правительствами, чтобы открытые веса можно было использовать для защиты, но не для атак», — сказал вице-президент Mistral по науке Пьер Сток.
Mistral позиционирует Large 4 как европейский вариант между закрытыми американскими и открытыми китайскими моделями. В сентябре компанию оценили в €21 млрд. Последний раунд возглавила Samsung, предыдущий — нидерландская ASML.
Открытые веса должны появиться на Hugging Face в течение месяца. Конкуренция среди открытых моделей растёт: накануне свою открытую модель Beam представила американская Reflection AI.
Источники: TechCrunch — о релизе Mistral Large 4, The Register — характеристики и рейтинг модели
