ИИ-ассистенты путают проверенные тонометры с непроверенными

Популярные ИИ-ассистенты плохо отличают домашние тонометры, прошедшие клиническую проверку точности, от непроверенных. Врачи Монреальского университета задали Gemini, ChatGPT, Copilot и Perplexity вопросы о 324 моделях. В зависимости от сервиса и формулировки доля верных ответов колебалась от 63% до 91%. Работу представили 8 октября на научной сессии Американской кардиологической ассоциации (AHA) по гипертонии.

Это предварительные данные. Тезисы пока не прошли рецензирование, а в приложении к журналу Hypertension их опубликуют 17 ноября.

Как проверяли

Исследователи взяли 145 тонометров, которые есть в реестрах клинически проверенных приборов, и 179 моделей без такой проверки. Сверялись с тремя реестрами: StrideBP, ValidateBP и реестром Hypertension Canada. В выборку попали и самые продаваемые тонометры на Amazon в Канаде, Австралии и США.

Каждому ассистенту задавали вопрос в трёх вариантах: так, как спросил бы обычный покупатель, с прямой просьбой свериться с конкретным реестром и с требованием ответить одним словом. Часть спорных случаев перепроверили три человека на разных компьютерах и в разные дни. Тестирование шло в Канаде в апреле и мае 2026 года.

Что получилось

• Лучше всех справился Google Gemini: от 86% до 91% верных ответов в зависимости от формулировки.
• ChatGPT, Copilot и Perplexity вместе дали от 63% до 83% верных ответов.
• Все четыре сервиса чаще ошибались именно с проверенными приборами: называли не соответствующими стандартам модели, которые есть в реестрах.
• Ответы нередко менялись, если тот же вопрос задавали в другой день или с другого компьютера.

«Большинство ИИ-инструментов справились лишь немного лучше, чем если бы вы подбрасывали монетку на каждый вопрос», — сказала автор работы, ординатор-терапевт Анна Сориано. По её словам, люди могут решить, что прибор проверен или не проверен, просто поверив неточному ответу чат-бота.

Ограничения

Авторы признают, что результаты, скорее всего, изменятся по мере обновления моделей. Они работали в приватных окнах браузера, но не могли полностью исключить, что сервисы учились на предыдущих запросах. Почему ИИ хуже распознаёт именно проверенные тонометры, исследователи объяснить не смогли.

Кардиолог Кит Фердинанд, один из авторов рекомендаций AHA по гипертонии 2025 года, в работе не участвовал. Он считает, что ИИ в медицинских решениях нужно использовать с осторожностью. Практический вывод простой: перед покупкой тонометра модель лучше проверить напрямую в реестре, например на StrideBP или ValidateBP, и уточнить у врача.

Источники: American Heart Association — исследование ИИ-ассистентов и домашних тонометров