Любая команда, которая занимается разработкой ML-based систем, сталкивается с этой проблемой. Крупные компании инвестируют большие средства в то, чтобы обеспечить инфраструктуру сбора и агрегации данных, необходимых для обучения и анализа. То, насколько эффективно компании решают проблему доступности данных, во многом обеспечивает ее конкурентоспособность на этом рынке. 

Владимир Новоселов

бизнес-архитектор Predictive Analytic Solutions, Mail.ru Group

В областях обработки естественного языка (NLP) и компьютерного зрения (CV) есть большое количество как качественных датасетов под разные задачи, так и предобученных на этих датасетах моделей. При этом для решения прикладной задачи помимо публичных данных обязательно надо дообучить модель на собственных.

Денис Власов

ведущий аналитик и специалист по машинному обучению «Учи.ру»

Мы используем открытые датасеты на стадии research. Работаем с опубликованными в России данными и взаимодействуем с зарубежными коллегами. Собственная научная деятельность и сотрудничество с медицинскими и техническими вузами в России и за рубежом позволяет получать качественные датасеты для целей research. Но на стадии обучения мы редко используем открытые датасеты — у нас собственные требования к классификаторам, к разметке.

Анна Мещерякова

CEO «Третье мнение»

Врачам приходится писать истории болезни «для прокурора». Зачастую это недостоверные или неполные данные. Потому искать правды в больших массивах клинических данных бессмысленно, ничего полезного вы там не найдете. Гораздо эффективнее устранить человеческий фактор в источнике данных и собирать структурированную информацию от самих пациентов. Мы задаем вопросы пациенту за врача, получаем полный объем необходимых данных об анамнезе и жалобах и уже на этих данных «учимся».

Андрей Воробьев

президент МТП «Ньюдиамед»

В сети есть отличные качественные датасеты, которые, к сожалению, не охватывают все многообразие клинических проявлений исследуемого заболевания. Поэтому самое сложное — отделять зерна от плевел, особенно в тех предметных областях, в которых не являешься экспертом и не можешь быстро найти эксперта поблизости, но задачу решать надо. Отчасти помогают специализированные инструменты: Google Dataset Search или Яндекс.Толока.

Петр Емельянов

R&D-директор в UBIC Technologies

При решении задач анализа данных на основе текстовых данных часто возникает проблема наличия размеченных датасетов, особенно на русском языке. Размечать данные обычно долго и дорого. Если есть открытые данные и принцип разметки легко объясним, то могут подойти такие инструменты как Яндекс.Толока и Amazon Mechanical Turk. Если же данные выгружать наружу нельзя или же требуется экспертиза при разметке, как например, врача-радиолога или эксперта-лингвиста, то создание такого размеченного набора данных будет трудоемким и требовать значительных затрат.

Адель Валиуллин

исполнительный директор Департамента анализа данных и моделирования «Газпромбанка»

В случае нехватки данных мы обычно майнили сами: собирали данные в офисе и других местах, использовали Яндекс.Толоку, просили людей записывать короткие ролики. Специфика сбора сильно зависит от предметной области исследования.

Дмитрий Акимов

инженер по данным VisionLabs

Задачи бывают общие, схожие с научными, а бывают прикладные, узкоспециализированные. Первые решаются и оцениваются с помощью открытых датасетов (ImageNet, SQuAD, Wiki corpus, например). Для второго типа задач открытых датасетов просто нет. Например, для скоринга резюме без собственноручного сбора и разметки данных не обойтись. Открытые данные здесь помогают уменьшить размер специфического датасета — это нужно для повышения точности, поскольку качественные модели на маленьких датасетах часто дают плохие результаты.

Зачастую открытые датасеты слишком чистые — настолько, что специфика доменной информации, которая должна присутствовать в этих данных, попросту теряется. Наша R&D-команда изучала датасеты для разработки функционала «болталки» на естественном языке внутри диалоговой системы и использовала открытый датасет «Yandex.Toloka Persona Chat Rus», состоящий из 10 тыс. диалогов. Он как раз был чересчур чистым — таких диалогов в жизни не бывает: в них нет ошибок, разговорной или ненормативной лексики. Поэтому для конкретно этой цели качество датасета невысокое, хотя с ним все в порядке с точки зрения формальных критериев.

Датасеты, которые находятся в открытом доступе, создаются в основном для каких-то академических целей – например, для оценки качества моделей, при написании исследований. Поэтому они хороши для research-стадии, проверки гипотез, но не для финальных разработок.

Алексей Карначев

руководитель команды R&D Just AI

Качество публичных датасетов достаточно хорошее, однако существуют ошибки в разметке и их объемы, как правило, малы. Кроме того, их нельзя использовать в коммерческих целях. Подобные наборы данных больше подходят для образовательных целей, а для выпуска продукта в продакшен нужны собственные данные.

Дмитрий Акимов

инженер по данным VisionLabs

В целом редко бывает, что датасет, собранный не под очень конкретную задачу, полностью репрезентативен. Можно также говорить, что в каких-то областях датасетов хватает, в каких-то — нет. Но вся наука живет на общедоступных датасетах, и живет успешно.

В любом случае, сбор, поиск, генерация, разметка данных — это важная часть работы. Никто не должен подносить тебе данные. Хочешь делать ИИ-решения? Занимайся данными сам.

Александр Крайнов

руководитель лаборатории машинного интеллекта, Яндекс

Словосочетание «грязные данные» — это собирательный образ.

Во-первых, это набор неточностей и ошибок механического характера: опечатки, пропуски, разные форматы и прочее. Методы борьбы тут тоже исключительно механические — скучные, трудоемкие, но в целом понятные: аккуратность, прозрачные и документированные ETL-процедуры.

Во-вторых, семантические ошибки — например, оксюмороны вроде «беременных мужчин» и «пожилых пионеров». Лечение таких проблем чуть более творческая задача, но методы детектирования аномалий и выбросов существуют давно.

В-третьих (во многом это следствие предыдущих пунктов), это вопрос доверия к решениям и выводам ИИ-алгоритмов и их легитимность.

Петр Емельянов

R&D-директор в UBIC Technologies

Если входные данные включают в себя ошибки, то будут получены искаженные выводы, даже если сам по себе алгоритм правильный. Если данных действительно много, то можно пожертвовать грязным набором данных, удалив их из всего датасета. Также эффективные методы очистки можно реализовать на таких инструментах разметки данных как Яндекс.Толока и Amazon Mechanical Turk.

Адель Валиуллин

исполнительный директор Департамента анализа данных и моделирования «Газпромбанка»

Например, мы хотим сделать классификатор документов. Допустим, корпус документов у нас «грязный»: слова содержат орфографические и пунктуационные ошибки, опечатки. Каждая ошибка в слове, по сути, раздувает словарь: есть слово «данные», а есть «даные» — с одной «н». Для алгоритма это два разных слова, в итоге данные зашумляются.

С другой стороны, есть современные методы: нейронные LSTM-сети или трансформеры, любые современные NLP-модели. Для них часто вообще не нужно чистить данные. Если мы возьмем датасет диалогов с форума и исправим в них ошибки, можно убрать и полезную информацию, которая содержится в данных. Поэтому важнее не то, как чистить данные, а как понять, что данные «грязные» и нуждаются в чистке. Если же понятно, что нуждаются, то очистить их не проблема, просто на это нужно потратить время.

Алексей Карначев

руководитель команды R&D Just AI

Один из эффективных способов — переразметка. Мы используем краудсорсинг — это довольно затратно, но эффективно. Как правило, чем больше мы платим разметчикам, тем чище на выходе данные. Также мы используем технологию human in the loop: когда асессор исправляет уже размеченные ML-алгоритмом данные, на которых потом обучаются нейронные сети.

Дмитрий Акимов

инженер по данным VisionLabs

Абсолютно чистых данных не бывает, вопрос степени загрязнения. Избегать следует системных искажений в выборке. Если же речь про случайные баги в разметке или признаках, то не вижу в этом проблемы: некоторая регуляризация не повредит. Это скорее всего не относится к по-настоящему грязным данным, с которыми мы не сталкивались.

Денис Власов

ведущий аналитик и специалист по машинному обучению «Учи.ру»

Для борьбы с «грязными» данными мне видится эффективным повышение культуры работы с датой внутри организации в целом. Нужны понятные структуры и дашборды, с помощью которых специалист может быстро определить, что что-то пошло не так.

В целом проблема грязных данных исключительно инфраструктурная. Мне кажется, что все самое интересное и прорывное, что ждет нас в индустрии в ближайшие годы, случится именно в инфраструктуре: появятся системы, которые будут эффективно чистить данные, закрывать вопросы конфиденциальности и т.д.

Петр Емельянов

R&D-директор в UBIC Technologies

Есть разные подходы к созданию синтетических данных, и от выбора конкретного подхода в большой степени зависит эффективность их применения. В некоторых случаях без них не обойтись, и они помогают решить задачу, но в других случаях могут эффективно помочь только на стартовом этапе подготовки нейронных сетей.

Наталья Соколова

CEO Brand Analytics

Генерирование синтетических данных может быть оправдано, когда модель нам не принадлежит либо она чересчур тяжелая. В ином случае, если бы у нас на руках была модель, которая генерирует данные и удовлетворяет потребностям по размеру и быстродействию, мы скорее всего приспособили бы ее для основной задачи, а не для генерации данных. В любом случае, такая модель должна быть сильнее той, которая будет на этих данных обучаться.

В случае с обучением модели классификации текста есть альтернативный вариант. Если данных мало, мы можем дополнить датасет при помощи техники back translation. Переводим текст с русского на английский в «Google Переводчике», а потом обратно. Эффект известен — предложение меняется, иногда не совсем адекватно, но в основном мы получаем просто новую формулировку. Ее можно добавлять в датасет с тем же классом, расширяя его за счет синтетических данных.

Алексей Карначев

руководитель команды R&D Just AI

Если мы говорим, например, про понимание естественного языка, про определение личностных характеристик человека по видео, то «живые» данные людей не заменит ничто. Впрочем, для выделения голоса из посторонних шумов можно использовать вариант синтетических данных, но и в этом случае исходные звуки и шумы должны быть настоящими.

«Синтетику» используют в более простых задачах: распознавании текста или дорожных знаков — там, где генерирование синтетических данных выполнить относительно просто. Задача создания качественной «синтетики», которая будет похожа на реальные данные и покрывать сложные и редкие случаи, намного сложнее.  В медицине данные отличаются от аппарата к аппарату. Невозможно сгенерировать синтетические данные для аппарата, по которому не было получено «чистых», реальных данных.

Анна Мещерякова 

CEO «Третье мнение»

Не считаю, что нужно дополнительное регулирование. На мой взгляд, датасеты должны быть открытыми, если они не являются коммерческой тайной или не содержат персональных данных. Ограничения приведут к образованию монополии на данные и снижению конкуренции, что всегда негативно сказывается на конечном продукте.

Дмитрий Акимов

инженер по данным VisionLabs

Внутри компаний дополнительное регулирование не нужно. Большие данные — всегда совокупность «малых» данных, которые и так регулируются законодательством. Практически все датасеты отмечены используемыми правами и источниками. Регулироваться могут персонализированные исходные данные при передаче во внешнюю компанию или организацию.

Наталья Соколова

CEO Brand Analytics

Регулирование нужно, так как оно позволяет ускорить развитие отрасли и повысить число внедренных решений. Разработчики ИИ-сервисов для здравоохранения до недавнего времени не могли осуществлять продажи продуктов, так как критерии их отнесения к медицинским изделиям и соответствующие требования не были определены регулятором. На данный момент разъяснения получены, сертификация идет в ускоренном режиме.

Анна Мещерякова 

CEO «Третье мнение»

Важно понимать, что есть разница между безопасностью и конфиденциальностью. Если, например, у человека крадут данные кредитной карты, то это вопрос безопасности: в общем случае человек звонит в банк и за две минуты аннулирует дискредитированную карту. А вот если человек серьезно болен, и об этом узнают, например, в результате утечки данных, то это более серьезная проблема — нарушение конфиденциальности. Поэтому, я считаю, что дополнительное разумное регулирование необходимо, а устранение преград должно происходить в технической плоскости.

Петр Емельянов

R&D-директор в UBIC Technologies

В России пока нет закона, который бы регулировал использование ИИ в HR-сфере. Компаниям, которые планируют использовать ИИ, нужно быть прозрачными, научиться понимать и объяснять принципы работы алгоритмов. Было бы полезно ограничивать действия людей или даже компаний, которые хотят извлечь выгоду из повсеместного сбора данных. Но государственное и юридическое регулирование работы ИИ должно быть направлено на защиту интересов граждан и пользователей продуктов, а не на торможение развития современных технологий.

Всегда нужно искать баланс между защитой пользовательской информации и сбором данных для развития технологий и сервисов. Регулирование должно постоянно меняться вместе с развитием технологий и общества. Хорошее регулирование должно помогать прогрессу и минимизировать неприятные побочные эффекты.

Александр Крайнов

руководитель лаборатории машинного интеллекта, Яндекс

В настоящий момент компетентные участники рынка задействованы в работе комитетов по разработке новых регуляторных норм. Это позволит, в частности, облегчить доступ к данным, необходимым для обучения ИИ, которыми располагают государственные органы, разрабатывать ML-сервисы на объединенных наборах данных из разных источников в режиме «песочниц».

Владимир Новоселов

бизнес-архитектор Predictive Analytic Solutions, Mail.ru Group