Meta запустила свои ИИ-сервисы на чипах Google
На 16 чипах Ironwood открытая модель Kimi K3 выдаёт больше 700 токенов в секунду, против 452 на таком же числе Nvidia GB200.
Фото: Google
Meta начала использовать ИИ-чипы Google TPU для работы своих сервисов. Модели на них запускает новая версия движка SGLang, которую Google представила в блоге для разработчиков. «SGLang-TorchTPU уже работает в продакшене Meta», — заявил Цзунвэй Чжоу, который отвечает в Meta за работу PyTorch на TPU. Об этом 22 октября подробно написал Tom’s Hardware.
SGLang и vLLM — популярные открытые движки, которые обслуживают запросы к языковым моделям. Раньше на TPU они работали только через фреймворк Google JAX. Новые версии поддерживают PyTorch напрямую, и код под чипы Google в основном не нужно переписывать. На PyTorch построена большая часть ИИ-разработки в мире, включая системы самой Meta.
Кто это сделал
SGLang-TorchTPU собрали стартап RadixArk, основанный создателями SGLang, вместе с Google и Meta. Версию vLLM для TPU Google сделала со стартапом Inferact и выложила в открытый доступ. Сам проект TorchTPU Google разрабатывала вместе с командой PyTorch в Meta.
Речь идёт о седьмом поколении чипов, Ironwood. По данным Inferact, на 16 таких чипах открытая модель Kimi K3 от Moonshot AI выдаёт одному пользователю больше 700 токенов в секунду. Опубликованный результат vLLM на 16 ускорителях Nvidia GB200 — 452 токена. Это замеры самой Inferact, независимой проверки пока нет.
Где стоят чипы, которые использует Meta, неизвестно. Ранее сообщалось, что компании обсуждали аренду TPU в облаке Google в 2026 году и покупку чипов в 2027-м. Позже Meta, по данным СМИ, подписала многолетний договор аренды. Директор по инженерной работе PyTorch в Meta Яна ван Гройнен написала в блоге Google, что компания «не может зависеть от одной аппаратной архитектуры».
Что это значит для Nvidia
Главное преимущество Nvidia — не только чипы, но и программная платформа, под которую написан почти весь ИИ-код. Поддержка PyTorch на TPU снижает цену перехода на чипы Google. Днём ранее на той же конференции PyTorch Amazon открыла код TorchNeuron для своих чипов. Обе компании пытаются ослабить привязку разработчиков к Nvidia.
Google открыла код TorchTPU накануне. Первыми новыми моделями в SGLang-TorchTPU станут DeepSeek V4.1 Flash и Reflection Beam. Подробности Google, Meta и RadixArk обещают рассказать на SGLang Summit 12–13 ноября в Сан-Франциско.
