DeepSeek модельдерін жүргізетін DeepInfer кодын ашты
Сейсенбі кешіне қарай репозиторий GitHub-та 8 мыңнан астам жұлдыз жинады, ал vLLM әзірлеушілері DeepInfer идеяларын пайдаланатынын айтты.
Фото: Solen Feyissa / Unsplash
Қытайлық DeepSeek сейсенбі күні DeepInfer фреймворкінің бастапқы кодын ашты. Компания өз ЖИ модельдерін жұмыс сервистерінде дәл осы фреймворкпен іске қосады. Код GitHub-қа Apache 2.0 лицензиясымен шықты, сондықтан оны коммерциялық өнімдерде де тегін қолдануға болады. Әзірге қозғалтқыш қыркүйекте шыққан DeepSeek-V4.1-Flash моделін ғана қолдайды.
«Ішкі инференс фреймворкіміз DeepInfer-ді таныстырамыз, енді ол толықтай ашық», — деп жазды компания X желісінде. Инференс деп оқытылып қойған модельдің пайдаланушы сұрауларына жауап беруін айтады. ЖИ компаниялары есептеуге жұмсайтын ақшаның басым бөлігі осы кезеңге кетеді.
Ішінде не бар
- DeepSeek-тің FlashMLA, DeepGEMM және DeepEP сияқты ашық кітапханаларына негізделген оңтайландырылған есептеу ядролары;
- модельді көптеген чипке бөліп жұмыс істету;
- спекулятивті декодтау: қозғалтқыш алдағы бірнеше токенді болжап, оларды бір өтуде тексереді, сондықтан жауап тезірек шығады;
- жауап сұраулар пакетінің құрамына тәуелді болмайтын режим және берілген форматта, мысалы JSON-схема бойынша шығару.
Қозғалтқыш SM100 буынындағы Nvidia сервер GPU-ларында және қытайлық Huawei Ascend 950 чиптерінде жұмыс істейді. АҚШ-тың экспорттық шектеулері аясында Huawei-ді қолдау ерекше көзге түседі. Қазан басында DeepSeek Huawei чиптеріне арналған құралдарды Nvidia-ның CUDA платформасына балама ретінде жариялаған.
Релизге аралық есептеулер кэші, сұрауды өңдеу мен жауап генерациясын бөлу және серверлер арасындағы жүктемені теңестіру кірмеді. Яғни DeepInfer әзірге дайын сервис емес, оны әрі қарай толықтыру керек. DeepSeek өнімділікті графиктермен көрсетті: сұрау өңдеуді 4 GPU-да, жауап генерациясын 64 GPU-да өлшеген. Бұл нәтижелерді әзірге ешкім тәуелсіз тексермеген.
Бастапқыда DeepInfer ашық vLLM жобасы негізінде жасалып, SGLang пен Nvidia-ның TensorRT-LLM идеяларын алған. vLLM командасы DeepSeek-ке алғыс айтып, V4.1-Flash қолдауын жақсарту үшін оның әзірлемелерін пайдаланатынын айтты. Енді бұлт провайдерлері мен DeepSeek модельдерін өз серверлерінде ұстайтын компаниялар оларды әзірлеушінің өз әдістерімен іске қоса алады. Әдетте ЖИ компаниялары мұндай технологияларын жария етпейді.
Релиз АҚШ DeepSeek-ке тыйым салғаннан бір күн өткен соң шықты, тыйым барлық азаматтық федералдық ведомстволарға қатысты.
Дереккөздер: GitHub — DeepInfer репозиторийі, The Next Web — DeepInfer релизі туралы
