Meta өз ЖИ сервистерін Google чиптерінде іске қосты
16 Ironwood чипінде ашық Kimi K3 моделі секундына 700-ден астам токен береді, ал дәл сондай Nvidia GB200 санында — 452 токен.
Фото: Google
Meta өз сервистерінде Google TPU жасанды интеллект чиптерін қолдана бастады. Олардағы модельдерді SGLang қозғалтқышының жаңа нұсқасы іске қосады, оны Google әзірлеушілерге арналған блогында таныстырды. «SGLang-TorchTPU бүгін Meta-ның продакшенінде жұмыс істеп тұр», — деді Meta-да PyTorch-ты TPU-да іске қосуға жауапты Цзунвэй Чжоу. Бұл туралы 22 қазанда Tom’s Hardware егжей-тегжейлі жазды.
SGLang пен vLLM — тілдік модельдерге түсетін сұрауларға қызмет көрсететін танымал ашық қозғалтқыштар. Бұрын олар TPU-да тек Google-дың JAX фреймворкі арқылы жұмыс істейтін. Жаңа нұсқалар PyTorch-ты тікелей қолдайды, сондықтан Google чиптеріне арналған кодты негізінен қайта жазудың қажеті жоқ. Әлемдегі ЖИ әзірлемелерінің басым бөлігі, соның ішінде Meta жүйелері де PyTorch негізінде жасалған.
Кім жасады
SGLang-TorchTPU-ды SGLang авторлары негізін қалаған RadixArk стартапы Google және Meta-мен бірге жасады. vLLM-нің TPU нұсқасын Google Inferact стартапымен әзірлеп, ашық қолжетімділікке шығарды. TorchTPU жобасының өзін Google Meta-дағы PyTorch командасымен бірге жасаған.
Әңгіме чиптердің жетінші буыны Ironwood туралы. Inferact мәліметінше, осындай 16 чипте Moonshot AI-дың ашық Kimi K3 моделі бір пайдаланушыға секундына 700-ден астам токен береді. vLLM-нің 16 Nvidia GB200 үдеткішіндегі жарияланған нәтижесі — 452 токен. Бұл Inferact-тың өз өлшемі, оны әзірге ешкім тәуелсіз тексерген жоқ.
Meta пайдаланатын чиптер қай жерде тұрғаны белгісіз. Бұған дейін компаниялар 2026 жылы Google бұлтынан TPU жалға алуды, ал 2027 жылы чип сатып алуды талқылағаны хабарланған. Кейін БАҚ мәліметінше, Meta көпжылдық жалға алу келісіміне қол қойды. Meta-дағы PyTorch инженерлік жұмысының директоры Яна ван Гройнен Google блогында компания «бір ғана аппараттық архитектураға тәуелді бола алмайтынын» жазды.
Nvidia үшін мәні
Nvidia-дың басты артықшылығы тек чипте емес, ЖИ кодының дерлік бәрі жазылған бағдарламалық платформасында. TPU-да PyTorch қолдауы Google чиптеріне көшу құнын төмендетеді. Бір күн бұрын дәл сол PyTorch конференциясында Amazon өз чиптеріне арналған TorchNeuron кодын ашты. Яғни екі компания да әзірлеушілердің Nvidia-ға байланып қалуын әлсіретуге тырысып жатыр.
Google алдыңғы күні TorchTPU кодын ашты. SGLang-TorchTPU-ға алғашқы болып DeepSeek V4.1 Flash пен Reflection Beam модельдері қосылады. Google, Meta және RadixArk толығырақ мәліметті 12–13 қарашада Сан-Францискодағы SGLang Summit-те айтпақ.
Дереккөздер: Tom’s Hardware — Meta продакшеніндегі Google TPU
