Выложенный в общий доступ бенчмарк призван помочь сравнить модели машинного обучения, работающие с медицинскими данными вне зависимости от их типа: c изображениями, текстовыми или звуковыми файлами, видеопотоком.

Он был представлен специалистами из Лаборатории искусственного интеллекта «Сбера»и Сибирского государственного медицинского университета в ноябре 2022 года и должен восполнить недостаток бенчмарков в данной сфере, стимулировать исследования и ускорить тестирование решений на основе искусственного интеллекта в медицине.

MedBench содержит набор задач в области обработки естественного языка (NLP). Задача RuMedNLI (на русифицированном датасете MedNLI) позволяет оценить, насколько хорошо большие языковые модели определяют логическую связь между медицинскими текстами с учетом лингвистических нюансов: парафразов, фразеологизмов, аббревиатур. Нейросеть должна выявить, следует ли второй текст из начального утверждения или же противоречит ли ему.

RuMedDaNet — тест на понимание. Модель должна ответить «да» или «нет» на контекстно-зависимый вопрос по фрагменту текста из широкого набора областей, связанных с медициной. С помощью же ECG2Pathology проверяется точность, с которой та или иная модель машинного обучения способна справляться с обработкой медицинских сигналов. По предложенной электрокардиограмме из открытого датасета PTB-XL модель должна предсказать список возможных патологий.

Схожа с ней и RuMedSymptomRec: в этой задаче оценивается способность модели предложить симптомы на основе заданного фрагмента текста. Тот же, что и предыдущем случае, датасет использует RuMedTop3. В этой задаче модель на основе истории болезни должна предсказать диагноз.

RuMedNER представляет собой задачу на выявление именованных сущностей из датасета Russian Drug Reaction Corpus (RuDReC), содержащего 1,4 миллиона пользовательских отзывов на фармацевтические препараты на русском языке.

Репозиторий на GitHub

Препринт на arXiv.org

👤 Павел Блинов