Выложенный в открытый доступ фреймворк DataProcessingFramework позволяет провести предварительную обработку больших датасетов для генеративных (создающих в частности изображения и видео) моделей искусственного интеллекта (в том числе и мультимодальных): отфильтровать данные, изменить их, добавить метаданные (сгенерировать описание), перевести наборы данных в другой формат и валидировать их.

Функционал DataProcessingFramework содержит фильтры для видео, изображений, различных комбинаций этих модальностей, а также интерфейс к ним. При этом, подчеркивают разработчики, код всех фильтров един. Среди основных сущностей фреймворка можно выделить Processor (объект, инкапсулирующий в себя датасет и все методы для взаимодействия с данными), Filter, Transforms (позволяет изменить сами данные, в частности кадровую частоту видео или размер изображений) и Pipelines (позволяет объединить несколько фильтров и трансформаций, выполняет логирование всех этапов и обрабатывает непредвиденные ошибки).

Фреймворк был представлен Лабораторией искусственного интеллекта «Сбера» в мае 2024 года.

👤 Игорь Павлов