Block обучила ИИ-собеседника Dessa только на живой речи

Финтех-компания Block Джека Дорси показала Dessa — речевую модель, которая умеет одновременно слушать и говорить. Её обучили с нуля только на записях человеческих разговоров, без текстов и без готовых языковых моделей. Пока это исследовательская версия: доступ получит небольшая группа специалистов по безопасности ИИ.

Dessa принимает на вход звук и отвечает звуком. В Block называют её моделью полного дуплекса. Это значит, что собеседник может перебить её, а она — продолжать слушать, пока говорит, как в обычном разговоре двух людей.

Без единого слова текста

Большинство современных ИИ-систем, включая голосовые, строят на больших языковых моделях, которые учились на огромных массивах текста. Dessa пошла другим путём. «Мы обучили Dessa с нуля только на человеческих разговорах», — говорится на странице проекта. По утверждению Block, модель освоила язык на материале, в котором в сотни раз меньше слов, чем у языковых моделей. Конкретных замеров компания не приводит.

Для обучения хватило одной серверной стойки Nvidia GB200 NVL72. Работает готовая модель локально, без облака, на MacBook Pro с чипом M4 Max или мощнее, и, по данным Block, быстрее реального времени. Число параметров, поддерживаемые языки и результаты бенчмарков компания не раскрыла.

На странице проекта есть демонстрационный разговор Dessa с GPT-Live-1, моделью другого разработчика. Block отдельно оговаривает, что этот разработчик с ней не связан и Dessa не одобрял.

Кто стоит за моделью

Dessa создала небольшая исследовательская лаборатория Block. Её основали выходцы из торонтского стартапа Dessa, который занимался глубоким обучением. Лаборатория подчиняется напрямую Джеку Дорси, сооснователю и председателю совета директоров Block. Руководит проектом Рагаван Тхураиратнам.

Исследователи могут запросить ранний доступ по электронной почте, а ссылки на запуск Block обещает выложить позже. О доступности для обычных пользователей, в том числе в Казахстане, компания не сообщала. Подробнее о том, на чём заработал Дорси, мы писали в отдельном материале.

Источники: Block — страница модели Dessa