Бенчмарк предназначен для сравнения моделей машинного обучения, работающих с медицинскими данными вне зависимости от их типа: c изображениями, текстовыми или звуковыми файлами, видеопотоком.

MedBench содержит набор задач в области обработки естественного языка (NLP). Задача RuMedNLI (на русифицированном датасете MedNLI) позволяет оценить, насколько хорошо большие языковые модели определяют логическую связь между медицинскими текстами с учетом лингвистических нюансов: парафразов, фразеологизмов, аббревиатур. Нейросеть должна выявить, следует ли второй текст из начального утверждения или противоречит ему.

RuMedDaNet — тест на понимание. Модель должна ответить «да» или «нет» на контекстно-зависимый вопрос по фрагменту текста из широкого набора областей, связанных с медициной. С помощью ECG2Pathology проверяется точность, с которой та или иная модель машинного обучения способна справляться с обработкой медицинских сигналов. По предложенной электрокардиограмме из открытого датасета PTB-XL модель должна предсказать список возможных патологий.

Схожа с ней задача RuMedSymptomRec, в которой оценивается способность модели предложить симптомы на основе заданного фрагмента текста. В задаче RuMedTop3 модель на основе истории болезни должна предсказать диагноз. RuMedNER представляет собой задачу на выявление именованных сущностей из датасета Russian Drug Reaction Corpus (RuDReC), содержащего 1,4 млн пользовательских отзывов на фармацевтические препараты на русском языке.

Бенчмарк был представлен специалистами из Лаборатории искусственного интеллекта «Сбера»и Сибирского государственного медицинского университета в ноябре 2022 года. Доступен как открытое ПО.

Репозиторий на GitHub

Препринт на arXiv

👤 Павел Блинов

• Смотреть