DataProcessingFramework
Фреймворк для обработки мультимодальных данных
С помощью DataProcessingFramework возможно провести предварительную обработку больших датасетов для генеративных (создающих в частности изображения и видео) моделей искусственного интеллекта (в том числе и мультимодальных): отфильтровать данные, изменить их, добавить метаданные (сгенерировать описание), перевести наборы данных в другой формат и валидировать их.
Функционал DataProcessingFramework содержит фильтры для видео, изображений, различных комбинаций этих модальностей, а также интерфейс к ним. При этом, подчеркивают разработчики, код всех фильтров един. Среди основных сущностей фреймворка можно выделить Processor (объект, инкапсулирующий в себя датасет и все методы для взаимодействия с данными), Filter, Transforms (позволяет изменить сами данные, в частности кадровую частоту видео или размер изображений) и Pipelines (позволяет объединить несколько фильтров и трансформаций, выполняет логирование всех этапов и обрабатывает непредвиденные ошибки).
Фреймворк был представлен Sber AI в мае 2024 года. Доступен как открытое ПО
