Генерация уникальных музыкальных произведений

Описание:

Аудиосервис «‎Сберзвук»‎ (входит в экосистему ‎Сбербанка) в ноябре 2021 года выпустил музыкальный альбом Thriving Machine, который полностью создан с помощью искусственного интеллекта (ИИ). Альбом состоит из произведений разных жанров. Послушать композиции целиком можно, зарегистрировавшись на ресурсе.

Команда SberDevices при содействии SberCloud разработала собственную нейросетевую архитектуру SymFormer, основанную на открытой модели Performer, и обучила нейросеть на суперкомпьютере Кристофари при помощи платформы ML Space. В результате получилась модель для генерации музыкальных произведений, основанная на принципе рассмотрения музыки в качестве нотного текста.

Модель обучалась на датасете из 160 тыс. композиций разных стилей: от классики до современной электронной музыки и рока. С ее помощью можно создавать не только аудиозаписи, но и фоновую музыку с открытой лицензией для видеороликов и презентаций, а также использовать в работе диджеев и композиторов.

Обложкой альбома стал коллаж из 4 рисунков, сгенерированных нейросетью ruDALL-E, которая создает изображения по описанию на русском языке. Изображения были получены по запросам «процветающая вселенная» и «струнный оркестр галактики». Названия композиций сгенерированы нейросетью ruGPT-3.

Результаты:
Решение позволяет создавать уникальные музыкальные произведения. Сгенерированные композиции могут использоваться для производства разного мультимедийного контента.
Этапы:
  • ноябрь 2021 г.

    анонс проекта

  • ноябрь 2021 г.

    анонс проекта

  • Источники:
    Последнее обновление:14.12.2021
    География:

    Россия, Москва

    Объект внедрения:

    «‎Сберзвук»‎

    Применяемое решение:
    Разработчик:
    SberDevices, SberCloud
    Кейс встречается в следующих проектах:
    Что такое ICT.Moscow?

    ICT.Moscow — открытая площадка о цифровых технологиях в Москве. Мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров.



    Если не указано иное, материалы доступны по лицензии Creative Commons BY 4.0