Модель предназначена для создания реалистичных видеороликов по текстовому описанию или стартовому кадру, а также создания аудиоряда для сгенерированного видеоролика. У Kandinsky 4.0 существует четыре варианта.

Использующая латентную диффузию (где работа ведется не с текстом, а их эмбеддингами — векторными или латентными представлениями) Kandinsky 4.0 T2V размером в пять млрд параметров генерирует видеоряд продолжительностью до 12 секунд в разрешении HD (1280×720) с разным соотношением сторон. Она состоит их трех компонентов: вариационного автокодировщика (VAE) CogVideo, позволяющего сжимать размер видео до восьми раз, текстового эмбеддера T5, преобразующего тексты в их векторные представления и собственно основной нейросети.

Для создания версии Kandinsky 4.0 T2V Flash применяется метод LADD (Latent Adversarial Diffusion Distillation), при котором модель проходит дообучение в формате GAN — совместном обучении диффузионного генератора и дискриминатора, оценивающего качество генерации. Обученная таким образом модель может создавать видео в качестве 480p на восьми видеокартах NVIDIA TESLA H100 за 11 секунд, а в HD-формате — за 22 секунды.

Kandinsky 4.0 I2V позволяет создавать видео по стартовому кадру и тексту, а Kandinsky 4.0 V2A генерирует к видео синхронный аудиоряд.

Модель Kandinsky 4.0 была представлена Лабораторией искусственного интеллекта Сбербанка в декабре 2024 года.

Демоверсия Kandinsky 4.0 T2V Flash на Hugging Face

Примеры генераций Kandinsky 4.0 V2A на Яндекс.Диске

Пост на Habr

Репозиторий на GitHub

👤 Денис Димитров