Специализированный медицинский ИИ проиграл универсальным чат-ботам. Но не торопитесь с выводами

Привет! Меня зовут Ольга Титова, я AI Product Manager, выступаю за безопасный и этичный подход к ИИ, и каждую неделю делюсь с подписчиками Femtech Force новостями из мира ИИ и здоровья.

Сегодня — исследование в Nature Medicine, которое в индустрии встретили громко, но, как мне кажется, местами восприняли слишком однозначно.

💥 Что проверяли?

Команда NYU Langone сравнила клинические ИИ-инструменты OpenEvidence и UpToDate Expert AI с тремя фронтир-моделями: GPT-5.2, Gemini 3.1 Pro и Claude Opus 4.6.

Это не нишевые продукты: по собственным заявлениям компании, OpenEvidence — самое быстрорастущее приложение для врачей в истории, а независимо подтверждённая оценка $12 млрд и использование в практике больше, чем половиной врачей США впечатляют не меньше.

Оценка шла в три этапа: общие медзнания (MedQA), согласованность с врачами (HealthBench) и главное — 100 реальных запросов врачей из живой практики (RCQ), вслепую оценённых 12 клиницистами.

💥 Что получилось?

Фронтир-модели обошли клинические инструменты везде. На MedQA Gemini — 97,4% против 89,6% у OpenEvidence и 88,4% у UpToDate. На HealthBench разрыв ещё заметнее: GPT-5.2 — 88,0 против 61–63 у клинических инструментов.

Самое неприятное: в реальных запросах врачей клинические инструменты оказались не лучше, чем обычный AI-обзор в поиске Google. По безопасности значимой разницы не нашли — слабое место OpenEvidence оказалось не в знаниях, а в коммуникации: он зачастую давал неполные или сумбурные ответы.

Почему не стоит спешить с выводами

🔶 Во-первых, OpenEvidence и UpToDate — продукты, а не модели; у них нет публичного API, их опрашивали вручную через браузер — это ограничение авторы честно оговаривают.
🔶 Во-вторых, HealthBench — бенчмарк от OpenAI, и лучший результат на нём показала как раз модель OpenAI; авторы считают главным доказательством именно слепую оценку RCQ.
🔶 В-третьих, отмечается, что слабость OpenEvidence слабее всего именно в ясности изложения, а не в фактической точности. Это инструмент, оптимизированный под быстрый ответ с цитатами источников на точечный клинический вопрос у постели больного. А RCQ-бенчмарк — это открытые, часто более сложные и многосоставные запросы врачей.

💥 Что из этого следует

Дело не в том, что специализация — в целом плохая идея. Специализированные продукты пока строятся поверх более слабой базовой модели, и разрыв в инвестициях и данных фронтир-моделей, по всей видимости, перевешивает выигрыш от узкой настройки.

Практический вывод для нас всех: даже лейбл «clinical AI» пока не гарантия самого лучшего качества, а это — очередной повод не доверять ИИ слепо.

@FemtechForce — о технологиях для здоровья женщин

Текст подготовила #ОльгаТитова

Дайджест фемтех-вакансий за неделю

💥 CPO — HealthTech-компания
Компания занимается разработкой продуктов на стыке food/beverage, космецевтике или pharma-adjacent wellness.
Подробнее

💥 Creative Producer (User Acquisition) — Sproutys
Стартап, вдохновлённый личным опытом родительства.
Подробнее

💥 Product Manager — Сберздоровье
Дочка Сбера разрабатывает продукт, который позволит внедрять ИИ-решения в ежедневную заботу о здоровье
Подробнее

#дайджествакансий
@FemtechForce — о технологиях для здоровья женщин

Встреча с инвестором из Nina Capital для стартапов из Европы, США, Канады, Израиля и Австралии

Среди наших читателей есть фаундеры фемтех-стартапов, работающие по всему миру. Именно для них мы рады рассказать о цикле встреч, которые делают наши друзья и партнеры — FemTech Lab

Соосновательница FemTech Lab Карина Вазирова с апреля хостит регулярные встречи инвесторов в фемтех/healthech/medtech и фаундеров.

За это время прошло 12 встреч и на очереди следующая, которая пройдет в этот четверг 9 июля в 16:30 - 17:30 по CET (17:30 МСК/19:30 по Астане/Ташкенту)

О Nina Capital

Встреча состоится с партнером Nina Capital Yahel Halamish. Nina Capital — одна из самых активных европейских компаний, инвестирующих в медицинские технологии на ранних стадиях, и особенно увлечена женским здоровьем и фемтех-проектами.

Nina Capital инвестирует в Европе и США, управляя активами на сумму более 100 миллионов евро и имея портфель из 50 компаний почти в 20 странах.

Они оказывают поддержку основателям на этапах pre-seed и seed финансирования, предоставляя реальную практическую помощь — помогая усовершенствовать ценностное предложение, стратегию выхода на рынок и открыть двери в глобальные сети здравоохранения.

Фонд III ориентирован на компании на ранних стадиях развития в Европе, США, Канаде, Израиле и Австралии, предоставляя инвестиции в размере от 250 тыс. до 1,5 млн евро с резервами на последующие инвестиции

Обратите внимание, это мероприятие предназначено исключительно для основателей компаний и имеет ограниченное количество мест. Нужна регистрация

➡️ Регистрация на встречу с Yahel Halamish

Центральная Азия: запускаем спецпроект

💥 Всем привет! Это Саша — контент-лид Femtech Force. Недавно мы запустили первое исследование femtech-ландшафта Центральной Азии и подумали: почему бы не сделать спецпроект, который будет рассказывать о том, как продвигается наше исследование — с кем мы работаем, какие фемтех-проекты есть на рынке, кто ими занимается и какие вопросы сейчас стоят особенно остро

Пока я готовлю первое интервью, решила собрать для вас дайджест: в этом посте — серия подкастов и материалов с женщинами, которые делают фемтех-продукты и развивают возможности образования и предпринимательства для женщин в Центральной Азии ⬇️

Фемтех-стартапы в Центральной Азии — инновационные компании, которые используют технологии для решения разнообразных проблем — от репродуктивного здоровья до психического благополучия

2 года назад мы провели 2 эфира, где поговорили про рынки стран Центральной Азии в 3 частях. Вот записи разборов: готов ли рынок ЦА к фемтеху, разбор стартапа AMAN

Эпизод подкаста с основательницами Take Care Mom из Казахстана
Take Care Mom — это казахстанский продукт для мам, включающий мобильное приложение с ИИ-ассистентом и консультациями специалистов, сообщество и блог

Подкаст с Бегайым Замирбек: почему на рынке Азии не хватает аудиоэротики для женщин? — поговорили с Бегайым Замирбек из Кыргызстана о её первом стартапе Yessa — сервисе с аудиоисториями и фантазиями, написанными женщинами и озвученными мужчинами

Интервью Иры Евдокимовой и Лиды Борисенко для казахстанского медиа Manshuq — в статье обсудили, что препятствует развитию фемтеха в Центральной Азии, а также роль женщин-основательниц в создании продуктов для женского здоровья

Запись эфира с Настей Чуковской — продюсером образовательных проектов в Африке и Центральной Азии. Поговорили о том, как влияет среда, в которой воспитываются и получают образование девочки, и как это можно исправить

Подкаст с Юлией Севрук: чем полезны для женской карьеры воркшопы I’m Remarkable? — поговорили с сертифицированным фасилитатором #IamRemarkable, проджект-менеджером крупной IT-компании и комьюнити-лидом Women in Tech Uzbekistan

💥 А если вы создаёте решения в сфере женского здоровья, для женщин, врачей и системы здравоохранения, от биотеха и медтеха до digital health, включая социальные проекты с потенциалом монетизации, приглашаем вас заполнить анкету, чтобы поучаствовать в нашем исследовании

➡️ Заполнить анкету

(Анкету можно заполнить на русском, английском или выбрать национальный язык одной из стран исследования)

Пожалуйста, поделитесь анкетой с другими фаундерами, командами и всеми, кто работает с женским здоровьем в регионе. А если вы хотите стать партнёром исследования или поделиться своим видением рынка, напишите Ире @budetzanyatno

🎙 Напоминаем, что сегодня состоится бесплатный онлайн-вебинар про Femtech рынок Китая и США

Приходите послушать и поддержать Иру!

Начало в 13:00 мск

➡️ Регистрация