Amazon упростила перенос ИИ-приложений с Nvidia на Trainium

Облачное подразделение Amazon Web Services 19 октября выпустило TorchNeuron. Инструмент позволяет перенести ИИ-приложение на PyTorch на собственный чип Amazon Trainium без переписывания кода. По словам AWS, достаточно изменить одну строку в настройках.

PyTorch — самая популярная среда для создания нейросетей. По оценке Amazon, на ней написано около 85% ИИ-приложений. TorchNeuron построен на основе PyTorch, поэтому разработчикам не нужно осваивать новую среду. AWS также обещает передать в сам PyTorch изменения, которые уберут из него код, привязанный к конкретным чипам.

Удар по главному преимуществу Nvidia

Nvidia стала стандартом для PyTorch во многом благодаря своей программной платформе CUDA. Код, написанный под неё, сложно перенести на другое железо, и это удерживает клиентов. Amazon пытается снять эту привязку. Похожий перенос через настройки уже возможен на GPU AMD и чипы Apple.

«Главное здесь — убрать привязку, из-за которой у разработчиков вообще не было реального выбора», — сказал TechCrunch Колин Брейс, вице-президент по технологиям ПО в Annapurna Labs, подразделении AWS, которое делает чипы Amazon. По его словам, ценность Trainium в соотношении цены и производительности и в том, что один чип подходит и для обучения моделей, и для их работы.

Первые результаты AWS показывает на примере Deepgram. Этот сервис распознавания речи конкурирует с ElevenLabs и перешёл на Trainium с обычным PyTorch. Теперь он обрабатывает на 70% больше аудио на каждый доллар при той же точности.

Кто конкурирует

Amazon противопоставляет себя «необлакам», которые сдают в аренду мощности Nvidia, — CoreWeave, Nebius и Firmus. «Вы строите на AWS, а не делаете ставку на поставщика вычислений одного назначения», — сказал Брейс. AWS признаёт, что её цена за токен может быть не самой низкой, но утверждает, что в итоге стартапы сэкономят.

Цены, регионы и характеристики поколений Trainium в анонсе TorchNeuron не названы. Накануне Amazon объявила ещё один большой шаг в ИИ-инфраструктуре: компания оплатит 12 малых реакторов для питания дата-центров в Индиане.

Источники: TechCrunch — о запуске TorchNeuron