Специалисты московского Центра диагностики и телемедицины разработали новую методику тестирования ИИ-систем, применяемых для анализа лучевых снимков.

Проведенное ими исследование охватило свыше 2 млн различных сценариев испытаний, подтвердив необходимость минимального объема выборки размером минимум 400 примеров для достоверной оценки эффективности алгоритмов, использующих бинарную классификацию (например, выявление патологических изменений).

Среди указанных случаев не менее 10% обязаны иметь отмеченные признаки патологий. Дальнейшее расширение выборки, согласно результатам исследования, не оказывает значимого влияния на итоговые показатели.

«До сих пор не было четкого ответа на вопрос, сколько исследований необходимо для объективной проверки нейросети. Приходилось тестировать на огромных выборках, что требовало много времени и ресурсов. Теперь мы точно знаем, какое количество исследований нужно, чтобы оценить точность ИИ, и когда дальнейшее увеличение выборки не меняет результат», — рассказал главный рентгенолог Москвы Юрий Васильев.

Васильев добавил, что разработанная методика показала эффективность в области радиологической диагностики, однако имеет потенциал широкого применения и в иных направлениях медицины.

С 2020 года в Центре диагностики и телемедицины проводят эксперимент по внедрению компьютерного зрения для анализа медицинских изображений, а также разрабатывают методики комплексной оценки качества и зрелости ИИ. Проект реализует комплекс социального развития Москвы на базе Центра диагностики и телемедицины столичного Департамента здравоохранения при поддержке ДИТ Москвы.