ML с человеческим лицом: могут ли интерфейсы сделать машинное обучение понятным и доступным
В последнее время популярность и проникновение искусственного интеллекта (ИИ) и машинного обучения (machine learning, ML) в различные бизнес-процессы активно растет. Об этом говорит, например, неуклонно увеличивающееся количество упоминаний технологии в СМИ, что указывает на рост популярности технологии. Это подтверждается и все большим числом новых практик применения: в базе ICT.Moscow только за 2021 год уже набралось более сотни.
Однако использованию ИИ в бизнес-процессах сопутствует довольно значимый стоп-фактор: чтобы эффективно пользоваться ML-алгоритмами для решения задач, требуется быть специалистом в сфере ML и ИИ. Эту проблему сейчас пытаются решить различными способами. Например, в Корнелльском университете в США разрабатывается платформа с подходом «трансферного обучения» (transfer learning), позволяющим использовать алгоритмы ML людям без специальных навыков. А дата-сайентист из KPMG Germany Филип Фоллет (Philip Vollet), в свою очередь, говорит о новом заметном тренде — развитии сегмента интерфейсов для машинного обучения (MLGUI, machine learning graphical user interface).
ICT.Moscow попытался разобраться, стоит ли сфера ИИ на пороге переломного момента, когда благодаря подобным специализированным интерфейсам ML действительно станет общедоступным инструментом и не будет требовать глубоких профильных знаний. Этот вопрос ICT.Moscow обсудил с ведущим автором научной статьи о «трансферном обучении» из Корнелльского университета Свати Мишрой, с российскими ML-разработчиками из Яндекса, Сбербанка, консалтинговой компании GlowByte и др. А разработчики, чьи решения сертифицированы для применения в системе здравоохранения России (в сфере, где ИИ является наиболее востребованным), рассказали о своей специфике применения и работы с ML-интерфейсами.
Зачем нужен MLGUI
Особенности функционирования MLGUI логическим образом вытекают из задач, которые решаются ML-алгоритмами. Филип Фоллет, дата-сайентист из сферы консалтинга, видит MLGUI как интерфейс аналитического приложения. В аспектах его позиции помог разобраться представитель российского консалтинга, руководитель практики Advanced Analytics GlowByte Consulting Павел Снурницын.
Пользователь (User в аббревиатуре GUI) в данном случае — это не специалист по наукам о данных и машинному обучению, а бизнес-аналитик, эксперт или инженер, который принимает решения на основе помощника в виде ML/ИИ.
руководитель практики Advanced Analytics GlowByte Consulting
На какие эффекты можно рассчитывать за счет такого подхода, поясняет начальник Управления интеграционных проектов и систем аутентификации Департамента информационных технологий (ДИТ) города Москвы Денис Жихарев.
Но стоит отметить, что мы не можем говорить о том, насколько этот подход будет востребован в профессиональной среде в ближайшей перспективе, так как модификация уже устоявшихся практик машинного обучения скорее будет воспринята профессиональным сообществом как усложнение, а не упрощение.
Важен контекст вопроса. В данном случае речь идет не о GUI для интерпретации результатов машинного обучения и контроля процессов (это отдельная категория ML с обширным инструментарием и наработанными практиками), а о GUI для непосредственно процесса ML с целью его упрощения для разработчиков и исследователей.
Начальник Управления интеграционных проектов и систем аутентификации ДИТ Москвы
Но что мешает неспециалисту в сфере ИИ и ML начать использовать машинное обучение для решения своих задач? По словам представителя Корнелльского университета в США Свати Мишры, есть один ключевой барьер, который может быть снят за счет реализации MLGUI.
Умение программировать сегодня один из главных навыков, позволяющих создавать ИИ-системы. Но давайте посмотрим правде в глаза, компьютерные языки выучить непросто. Требуется серьезная мотивация и много усилий, чтобы научиться программировать и в конечном итоге внедрить ИИ в свои рабочие процессы. Графический интерфейс может снять этот барьер, давая пользователю возможность понимать и строить определенные ИИ-модели, полезные для его задач.
докторант кафедры вычислительной техники и информатики Корнелльского университета (США)
В сегменте машинного обучения важно различать два направления, или стека: разработки (обучения) и эксплуатации. Руководитель ML-сервисов Яндекс.Облака Игорь Кураленок на схеме показал, какие уровни работы с машинным обучением, определяющие наличие того или иного MLGUI, могут быть в каждом из направлений.
* Эксперт подчеркивает, что это не устоявшаяся категоризация и общепринятые стандарты в области ML (а следовательно и MLGUI) на данный момент отсутствуют.
Чтобы разобраться, где в этой логике появляется конечный пользователь, необходимо также понять весь жизненный цикл модели машинного обучения. Коротко его описывает Павел Снурницын из GlowByte Consulting и поясняет, кто является основными «пользователями» на каждом из этапов.
Таким образом, конечный пользователь «подключается» к работе с машинным обучением на последнем — четвертом этапе. И работать он будет, исходя из первой схемы, с MLOps и инструментами контроля алгоритмов машинного обучения на производстве. Однако здесь Игорь Кураленок видит существенную проблему.
руководитель ML-сервисов Яндекс.Облака
Непростые задачи для сложной технологии
Прежде чем говорить о перспективах стандартизации сферы ML, включая сегмент MLGUI, необходимо понять, какие именно задачи решает интерфейс для работы с машинным обучением и в чем его отличия от интерфейсов программ, не использующих ML-алгоритмы. Руководитель группы ML Systems Яндекса Станислав Кириллов сразу предостерегает: задачи, возникающие на первых этапах жизненного цикла ML, с помощью GUI в принципе не решаются.
Но в машинном обучении есть две очень сложные задачи. Первая — понять, правда ли в конкретном случае нужна машинно обученная модель, как она будет решать задачу и как вы убедитесь, чтобы на практике все будет работать корректно. Вторая задача — найти, очистить и подготовить данные, пригодные для обучения ML-моделей.
Эти две сложные проблемы не решаются интерфейсами. Само обучение моделей требует базового понимания того, как именно машинное обучение может помочь вам в вашей задаче — например, вы должны понимать, что такое метрики качества, куда положить данные и этого уже достаточно для решения задач в стиле AutoML.
руководитель группы ML Systems Яндекса
В таком случае, какие задачи все же позволяют решить MLGUI?
Второй момент — редактирование или создание, и здесь все сложнее. Какого-то простого редактора, как Word для текста, сейчас нет. Например, если мы редактируем код сайта, то на выходе получаем то, что видит посетитель, но не то, что видит программист. Примерно такая же ситуация с созданием и редактированием нейронных сетей.
технический лидер по машинному обучению SberCloud
Пример визуализации графа. Источник: Jonathan Hui, GitHub
Эксперт уточняет, что визуализация графа сложной нейросети может быть непонятной даже для ML-специалистов, не говоря уже о конечных пользователях: например, будет неясно, какие задачи выполняет какой-то из алгоритмов ML. Однако обычно с помощью GUI визуализируются более простые архитектуры нейросетей, и этот инструмент уже доступен неспециалистам в области искусственного интеллекта.
Вообще, в машинном обучении визуализация «график» нужна для того, чтобы понять, как работают внутренние методы. Когда мы видим большую таблицу, это не очень понятно, а когда видим ее визуальное представление и распределение — намного удобнее. Например, сеть компьютерного зрения осуществляет детекцию тех или иных объектов, и мы можем посмотреть, на что именно она обращает внимание.
технический лидер по машинному обучению SberCloud
Особенности работы внутренних методов машинного обучения как раз и определяют ключевые отличия MLGUI от интерфейсов программ без применения ML. Филип Фоллет из KPMG Germany к таким отличиям относит необходимость учитывать большее количество переменных, а также изменчивость датасетов и алгоритмов с течением времени. Собеседники ICT.Moscow с этим тезисом согласны.
Другой важной задачей я считаю создание систем, повышающих связность разных процессов и задач машинного обучения, то есть систем, которые позволяют легко понять, на каких данных и с какими параметрами обучалась модель, как она себя вела в экспериментах в продукте и в какой момент она была списана и на что была заменена.
руководитель группы ML Systems Яндекса
Иными словами, эксперт уверен, что MLGUI так или иначе должен учитывать все этапы жизненного цикла ML-разработки, представленные на схеме выше. Это логично с учетом того, что деградация ML-модели возвращает пользователя к первому этапу: подготовке нового датасета и обновлению функциональности. Причем неспециалисту необходимо знать, в какой именно момент ML-алгоритмы перестают выдавать релевантный результат, а значит, интерфейс должен учитывать вовремя об этом сообщить.
Конечно, нужно много визуализаций и графиков, чтобы дать пользователю возможность проанализировать и понять, что ML-модель ему предлагает сделать и почему она это предлагает. Но только графиков и визуализаций недостаточно, иначе хватило бы просто BI-инструмента. MLGUI-приложение должно еще иметь встроенные возможности по запуску циклов обратной связи, чтобы пользователь посмотрел на результат, внес свои экспертные корректировки, поменял параметры, запустил пересчет и получил новый результат и так далее, пока он не будет удовлетворен качеством предлагаемых решений и не пустит эти решение дальше в бизнес-процесс.
руководитель практики Advanced Analytics GlowByte Consulting
Нельзя утверждать, что обозначенная задача сейчас эффективно решается с помощью MLGUI. А значит, пока сохраняются стоп-факторы, сдерживающие внедрение систем машинного обучения в бизнес-процессы.
Дальше начинаются проблемы со спецификой ML. Это мониторинг качества моделей, которые уже работают в бизнес-процессах на предмет деградации качества из-за, например, сезонных эффектов, а также визуализация таких процессов. Затем идут проблемы машинного обучения: например, мониторинг качества обученных моделей и сравнение их метрик для простого принятия решения о том, достаточно ли хороша новая модель.
руководитель группы ML Systems Яндекса
От раздробленности к единым стандартам
Руководитель ML-сервисов Яндекс.Облака Игорь Кураленок называет еще одну значимую проблему в области MLGUI и ML в целом — отсутствие стандартизации. Этот тезис подтверждает и Свати Мишра из Корнелльского университета.
докторант кафедры вычислительной техники и информатики Корнелльского университета (США)
Иными словами, MLGUI, с точки зрения Свати Мишры, определяется типом задач, которые решаются с помощью алгоритма. Алексей Климов из SberCloud смотрит на эту проблему с другой стороны и отмечает, что интерфейс зависит от модели нейронной сети и заложенных в ней методов.
В целом, есть нестрогое деление методов на Explainable AI и Black Box AI (объяснимые и необъяснимые алгоритмы работы ИИ — прим.). Различные регуляторы, кстати, ограничивают использование Black Box AI при решении критических задач (например, регуляторы ЕС — прим.).
Нейронные сети — не полностью Explainable AI. Работу нейронной сети мы можем оценить в целом на выборке, но зачастую сложно сказать, почему в конкретном кейсе именно так было принято решение. Сам интерфейс сильно зависит от модели. У простых моделей он понятный, а для новых, менее изученных моделей, напротив, еще нет интерфейсов.
технический лидер по машинному обучению SberCloud
Безусловно, важно учитывать и фактор команды, то есть конечных пользователей. Игорь Кураленок выше упоминал о разнице в подходах: сегодня каждая компания может решать одну и ту же задачу с использованием ML по-своему. А Павел Снурницын из GlowByte говорит, что важен и размер команды, работающей над ML-проектами.
Но с ростом команды и количества проектов появляется необходимость всем этим управлять и завести единый интерфейс и точку входа для всех ролей, который как раз будет сшивать и все многообразие инструментов и платформ.
руководитель практики Advanced Analytics GlowByte Consulting
Таким образом, удалось выявить как минимум четыре критерия, которые должны учитываться при стандартизации MLGUI:
- Тип решаемых с помощью машинного обучения задач.
- Особенности методов машинного обучения и алгоритмов.
- Подходы команды для решения задач.
- Количество вовлеченных в процесс специалистов.
При этом Игорь Кураленок отмечает, что процесс стандартизации в сфере машинного обучения (а следовательно и MLGUI) уже начался. И перспективу эксперт, как руководитель облачного сервиса крупной технокомпании, видит в унификации ML-платформ за счет облачных решений.
Проблема в эксплуатации, которая зависит от платформы. Сейчас все платформы разнородные. Условно, одни в облаке работают, другие на своих устройствах, третьи — на какой-то платформе, которая уже предоставляет определенные услуги, и так далее. Но происходит консолидация инструментария в «облаках», особенно по части эксплуатации. Для тренировки и использования машинного обучения нужны очень разнородные устройства, которые к тому же быстро устаревают. И далеко не всегда ясно, какие именно устройства нужны.
Таким образом, мы движемся к модели MLaaS (ML-as-a-Service), хотя единого стандарта пока и нет. Движение от нынешней точки раздробленности к унификации займет по крайней мере следующие пять лет.
руководитель ML-сервисов Яндекс.Облака
Отсутствие барьеров в медицине
Одна из главных сфер, напрямую не связанных с ИТ, но активно внедряющих технологии искусственного интеллекта, — медицина. Свати Мишра из Корнелльского университета говорит о важности ML в медицине с позиции ученого.
докторант кафедры вычислительной техники и информатики Корнелльского университета (США)
Однако необходимо принимать во внимание и тот факт, что в медицине принимаются критически важные решения, от которых могут зависеть жизни. Соответственно, понятность и прозрачность работы алгоритмов машинного обучения играют важную роль.
Мы не пользуемся готовыми дашбордами, у нас собственный веб-интерфейс. Его сложнее поддерживать, но зато он более гибкий, если нужно добавить какой-то нестандартный функционал. Самое главное — чтобы врач мог без труда понять, что происходит и какие значения что значат.
руководитель направления разработки прогнозных моделей Webiomed
Владимир Борисов показал несколько примеров интерфейса системы Webiomed, с которым работают врачи.
Страница оценки обезличенного пациента по его анализам. То, что видят врачи при работе с системой. Источник: Webiomed
Пример страницы для работы с моделями распознавания текста. Источник: Webiomed
Евгений Жуков из Care Mentor AI отмечает, что для их компании проблемы отсутствия понятного MLGUI нет. При этом он также подчеркивает тот факт, что в сфере ML сейчас отсутствует стандартизация, однако как существенный стоп-фактор для внедрения он это не рассматривает.
Из интерфейсов, которые также можно отнести к машинному обучению, — интерфейс нашего инструмента для разметки данных. В целом, он достаточно удобен для врачей и похож на те средства, которые они регулярно используют для просмотра медицинских изображений. Результаты разметки экспортируются в формат, подходящий для дальнейшей обработки и обучения нейросети.
Data Scientist в Care Mentor AI
В компании «Третье Мнение», в свою очередь, такую проблему наблюдают, однако она не является критичной.
Computer vision team lead в компании «Третье Мнение»
Будет ли удобнее голосом
ICT.Moscow также обсудил с экспертами перспективность применения голосовых интерфейсов для работы с машинным обучением. Эксперты сошлись во мнении, что перспективы если и есть, то небольшие. Если говорить про медицину, то Евгений Жуков из Care Mentor AI назвал голосовые интерфейсы в целом неприменимыми для решения задач компании. Александр Громов из «Третьего Мнения» придерживается той же позиции.
Computer vision team lead в компании «Третье Мнение»
Впрочем, руководитель направления разработки прогнозных моделей Webiomed Владимир Борисов все же считает, что голосовые интерфейсы могут дополнять MLGUI: например, с целью заполнения информации о пациенте. Позиции разработчиков медицинских компаний соотносится и с тем, что говорят эксперты из других компаний. Игорь Кураленок, руководитель ML-сервисов Яндекс.Облака, утверждает, что пока до этого еще дело не дошло. А Станислав Кириллов из Яндекса уточняет, что сценарии очень ограничены.
руководитель группы ML Systems Яндекса
Но есть и иные точки зрения. Например, Денис Жихарев из ДИТ Москвы уверен в том, что «голос» очень быстро станет повседневностью и в сфере работы с ML.
Начальник Управления интеграционных проектов и систем аутентификации ДИТ Москвы
Об этом же говорит и Павел Снурницын из GlowByte Consulting. Он напоминает, что применение голосовых помощников — уже распространенное явление в построении и работе с отчетами и дашбордами.
руководитель практики Advanced Analytics GlowByte Consulting
Наконец, в перспективность «голоса» верит и Свати Мишра из Корнелльского университета.
докторант кафедры вычислительной техники и информатики Корнелльского университета (США)
по теме:
Нажимая на кнопку, вы соглашаетесь с политикой конфиденциальности
ICT.Moscow — открытая площадка о цифровых технологиях в Москве. Мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров.