Forwarded from Малоизвестное интересное
Фиаско ИИ против COVID-19.
За 1,5 года созданы сотни ИИ-инструментов. Ни один не помог.
Согласно победным реляциям в медиа:
- «ИИ на треть сокращает время для диагностики COVID-19 на КТ-снимках»,
- «ИИ успешно прогнозирует риск ухудшения состояния заболевших COVID в приемных отделениях стационаров»,
- «ИИ научился диагностировать коронавирус по кашлю» и т.д.
Согласно научным отчетам и статьям об исследованиях, опубликованных в рецензируемых изданиях:
✔️ ИИ-инструменты практически не оказали никакого влияния в борьбе COVID-19 – отчет The Alan Turing Institute (1)
✔️ Ни один из сотен ИИ-инструментов прогнозирования COVID-19 не пригоден для клинического использования - ревю в British Medical Journal (2)
✔️ Ни одна из ИИ-моделей для обнаружения и прогнозирования COVID-19 с помощью рентгенограмм грудной клетки и компьютерной томографии не подходит для клинического использования из-за методологических недостатков и / или лежащих в основе систематических ошибок - ревю в Nature Machine Intelligence (3).
✔️ Эта пандемия стала большим испытанием для медицинского ИИ, и он не прошел это испытание. Вместо этого, пандемия привлекла внимание к сущностным проблемам медицинского ИИ, на которые мы уже не первый год закрываем глаза - MIT TechnologyReview (4)
Что пошло не так
1. Низкое качество данных (вкл. «наборы данных Франкенштейна» - когда данные из нескольких источников могут содержать дубликаты и тестирование ведется на тех же данных, на которых ИИ-инструмент был обучен)
Например:
А) Данные сканирования грудной клетки детей, у которых не было ковида, в качестве примеров того, как выглядят случаи не-ковида.
Однако, в результате ИИ научился определять не ковид, а детей.
Б) Данные сканирования включали пациентов в лежачем положении (с большей вероятностью эти пациенты были серьезно больны).
В результате ИИ научился неправильно предсказывать серьезность риска коронавируса, исходя из положения человека (а если пациент стоял, то серьезность поражение лёгких ИИ просто игнорировал).
В. ИИ научился ориентироваться на шрифт текста, используемый разными больницами для маркировки сканированных изображений.
В результате шрифты из больниц с более серьезной нагрузкой стали предикторами риска заражения коронавирусом.
2. Предвзятость инкорпорации (предвзятость вследствие маркировки данных)
Например:
Медицинские снимки помечаются в соответствии с тем, как их идентифицировал рентгенолог.
Результат этого включает любые предубеждения конкретных врачей, выдавая это в наборе данных за истину (надо было бы маркировать медицинское сканирование результатом теста ПЦР, а не мнением одного врача, но кто ж это делает).
3. У исследователей нет никаких стимулов делиться информацией (данными и моделями) – примеры см. в источниках.
4. Почти все ИИ-инструменты разрабатываются либо исследователями ИИ, которым не хватает медицинских знаний для выявления недостатков в данных, либо медиками, которым не хватает математических навыков, чтобы компенсировать эти недостатки – примеры см. в источниках.
Общий итог
Фиаско ИИ против COVID-19 лишь усугубило уже понятую главную проблему медицинского ИИ – используемые ИИ-инструменты должны объяснять логику, лежащую в основе их решений (5).
И это, увы, приближает новую «зиму ИИ».
Источники:
1, 2, 3, 4, 5
Фото В. Новикова. Пресс-служба Мэра и Правительства Москвы
#ИИ #МашинноеОбучение #Медицина
За 1,5 года созданы сотни ИИ-инструментов. Ни один не помог.
Согласно победным реляциям в медиа:
- «ИИ на треть сокращает время для диагностики COVID-19 на КТ-снимках»,
- «ИИ успешно прогнозирует риск ухудшения состояния заболевших COVID в приемных отделениях стационаров»,
- «ИИ научился диагностировать коронавирус по кашлю» и т.д.
Согласно научным отчетам и статьям об исследованиях, опубликованных в рецензируемых изданиях:
✔️ ИИ-инструменты практически не оказали никакого влияния в борьбе COVID-19 – отчет The Alan Turing Institute (1)
✔️ Ни один из сотен ИИ-инструментов прогнозирования COVID-19 не пригоден для клинического использования - ревю в British Medical Journal (2)
✔️ Ни одна из ИИ-моделей для обнаружения и прогнозирования COVID-19 с помощью рентгенограмм грудной клетки и компьютерной томографии не подходит для клинического использования из-за методологических недостатков и / или лежащих в основе систематических ошибок - ревю в Nature Machine Intelligence (3).
✔️ Эта пандемия стала большим испытанием для медицинского ИИ, и он не прошел это испытание. Вместо этого, пандемия привлекла внимание к сущностным проблемам медицинского ИИ, на которые мы уже не первый год закрываем глаза - MIT TechnologyReview (4)
Что пошло не так
1. Низкое качество данных (вкл. «наборы данных Франкенштейна» - когда данные из нескольких источников могут содержать дубликаты и тестирование ведется на тех же данных, на которых ИИ-инструмент был обучен)
Например:
А) Данные сканирования грудной клетки детей, у которых не было ковида, в качестве примеров того, как выглядят случаи не-ковида.
Однако, в результате ИИ научился определять не ковид, а детей.
Б) Данные сканирования включали пациентов в лежачем положении (с большей вероятностью эти пациенты были серьезно больны).
В результате ИИ научился неправильно предсказывать серьезность риска коронавируса, исходя из положения человека (а если пациент стоял, то серьезность поражение лёгких ИИ просто игнорировал).
В. ИИ научился ориентироваться на шрифт текста, используемый разными больницами для маркировки сканированных изображений.
В результате шрифты из больниц с более серьезной нагрузкой стали предикторами риска заражения коронавирусом.
2. Предвзятость инкорпорации (предвзятость вследствие маркировки данных)
Например:
Медицинские снимки помечаются в соответствии с тем, как их идентифицировал рентгенолог.
Результат этого включает любые предубеждения конкретных врачей, выдавая это в наборе данных за истину (надо было бы маркировать медицинское сканирование результатом теста ПЦР, а не мнением одного врача, но кто ж это делает).
3. У исследователей нет никаких стимулов делиться информацией (данными и моделями) – примеры см. в источниках.
4. Почти все ИИ-инструменты разрабатываются либо исследователями ИИ, которым не хватает медицинских знаний для выявления недостатков в данных, либо медиками, которым не хватает математических навыков, чтобы компенсировать эти недостатки – примеры см. в источниках.
Общий итог
Фиаско ИИ против COVID-19 лишь усугубило уже понятую главную проблему медицинского ИИ – используемые ИИ-инструменты должны объяснять логику, лежащую в основе их решений (5).
И это, увы, приближает новую «зиму ИИ».
Источники:
1, 2, 3, 4, 5
Фото В. Новикова. Пресс-служба Мэра и Правительства Москвы
#ИИ #МашинноеОбучение #Медицина
