Выложенная в открытый доступ под лицензией Apache 2.0 модель способна обрабатывать и структурировать тексты новостей на русском и английском языках по 47 темам экологического, социального и управленческого аспектов (Environmental, Social and Governance, ESG).

Основанный на архитектуре MPNet классификатор способен соотнести любой текст из открытых источников с определенным видом риска (в том числе определить, соответствует ли компания-пользователь заявленным ESG-требованиям инвесторов) либо указать на его отсутствие.

ESGify была обучена на размеченном экспертами наборе данных из более чем 2,5 тыс. новостей и адаптирована к ESG-тематике с использованием текстов отчетов об устойчивом развитии. Перед обучением в датасете были скрыты данные об организациях, странах и именах людей. Поэтому разработчики рекомендуют применять модель вместе с моделями для распознавания именных сущностей (NER), использующих фреймворк Flair.

Обрабатывающая естественный язык нейросеть была представлена Лабораторией искусственного интеллекта и Дирекцией по ESG «Сбера»в ноябре 2023 года.

Пример использования ESGify c моделью NER в Google Colab

Репозиторий на GitHub

Репозиторий на Hugging Face

👤 Елизавета Ковтун