Выложенная в открытый доступ под лицензией Apache 2.0 модель способна обрабатывать и структурировать тексты новостей на русском и английском языках по 47 темам экологического, социального и управленческого аспектов управления (Environmental, Social, and Corporate Governance, ESG).

Основанный на архитектуре MPNet классификатор способен соотнести любой текст из открытых источников с определенным видом риска (в том числе определить, соответствует ли компания-пользователь заявленным ESG-требованиям инвесторов) либо указать на его отсутствие.

ESGify была обучена на размеченном экспертами наборе данных из более чем 2500 новостей и адаптирована к ESG-тематике с использованием текстов отчетов об устойчивом развитии. Перед обучением в датасете были скрыты данные об организациях, странах и именах людей. Поэтому разработчики рекомендуют использовать модель вместе с моделями для распознавания именных сущностей (NER), использующих фреймворк Flair.

Обрабатывающая естественный язык нейросеть была представлена Лабораторией искусственного интеллекта и Дирекцией по ESG Сбера в ноябре 2023 года.

Пример использования ESGify c моделью NER в Google Colab

Репозиторий на GitHub

Репозиторий на Hugging Face

👤 Елизавета Ковтун