Видео в экосистеме Stable Diffusion делают отдельными моделями, главная из которых — Stable Video Diffusion: она берёт стартовый кадр и достраивает вокруг него короткий клип. Модель для картинок и модель для видео — разные вещи с разными требованиями к видеокарте и лицензии, и путаница между ними приводит к ложным ожиданиям. Такие клипы уместны там, где достаточно нескольких секунд движения, а для сюжетных роликов подходят облачные видеосервисы.
Какие модели есть
Основная открытая видеомодель семейства — Stable Video Diffusion от компании Stability: по карточке модели она получает на вход изображение и выдаёт клип из 14 или 25 кадров. Для одной картинки подходит обычный Stable Diffusion, для движения нужна отдельная модель.
Stable Diffusion в привычном смысле рисует неподвижные изображения. Установку и запуск для картинок мы разбирали в статье про локальную установку Stable Diffusion, здесь её пропускаем. Видео добавляется отдельной моделью, которая учится предсказывать, как кадр будет меняться во времени.
По странице Stability, Stable Video Diffusion настраивается по частоте кадров и поставляется в вариантах на разное число кадров, а для собственных серверов предусмотрена отдельная лицензия. В карточке модели на Hugging Face указано, что вход — стартовый кадр, а условия коммерческого использования описаны на странице лицензий Stability. Линейка видеомоделей обновляется, поэтому актуальный состав сверяйте на странице Stable Video.
Чтобы избежать ложных ожиданий, заранее определите, зачем вам видео. Для оживления фотографии товара или интерьера хватает нескольких секунд плавного движения камеры. Для рекламной истории с героем, сменой планов и речью клип из одного кадра слишком короток, и собирать такую историю придётся монтажом из многих клипов, каждый из которых надо отдельно проверить.
Кроме моделей самой Stability, вокруг Stable Diffusion существуют сторонние расширения для анимации. Они подключаются к интерфейсам вроде ComfyUI, о котором подробно написано в статье об узлах и повторяемости в ComfyUI. Качество и условия лицензии у каждого расширения свои, и принимать их на веру нельзя.
Возможности и пределы
Перед экспериментом полезно знать, что модель умеет по описанию, а что остаётся на удачу. Ожидания по длине и сюжету лучше выставить заранее: от них зависит, нужна ли вам эта технология или хватит облачного сервиса.
| Параметр | Что известно | Что проверить в эксперименте |
|---|---|---|
| Вход | Стартовый кадр; по карточке модели управления текстом и движением нет | Насколько клип соответствует исходной картинке |
| Длина | 14 или 25 кадров, по карточке модели клип короче четырёх секунд | Хватает ли такой длины для вашей задачи |
| Движение | Камера и фон двигаются охотнее; по карточке лица и люди могут получаться плохо, текст в кадре модель создать неспособна, а движение иногда пропадает вовсе | Что происходит с руками, лицом и предметами |
| Разрешение | В карточке указано 576 на 1024; другой размер проверяйте опытом | Как выглядит клип при увеличении под вашу площадку |
| Ресурсы | Нужна видеокарта с заметным объёмом памяти | Сколько времени занимает один клип на вашем оборудовании |
Облачные видеосервисы обычно выигрывают по качеству и длине клипа, а локальный запуск берёт контролем над данными и свободой в числе попыток. Какие облачные модели есть и чем они хороши, рассказывает статья про генерацию видео для рекламы в соцсетях.
Артефакты в кадрах
Видеомодели ошибаются иначе, чем картиночные: дефект развивается во времени, и в статичном кадре его заметить невозможно. Поэтому просматривать клип нужно в движении и по нескольку раз.
- Дрожание и мерцание: детали фона и текстуры меняются от кадра к кадру, хотя должны стоять на месте.
- Плывущие формы: предметы изгибаются, лица слегка деформируются, пальцы и руки меняют число и форму.
- Смена героя: к концу клипа человек или предмет становится похожим на другого.
- Потеря исходных деталей: надписи, логотипы и мелкий рисунок размываются.
- Нереалистичное движение: ноги скользят, вода течёт вверх, камера двигается рывком.
Условный пример: магазин хочет оживить фотографию кофеварки для карточки товара. Модель добавляет лёгкое движение пара и плавный наезд камеры, но на втором плане начинает дрожать надпись на упаковке. Для карточки это допустимо, если надпись вообще можно заменить в монтаже, а для рекламы бренда с узнаваемой упаковкой дрожание становится браком, и клип отправляется на пересъёмку.
Сравнивайте клипы между собой, а также с исходным кадром при разном увеличении. Дефект, незаметный на экране телефона, разрастается на большом мониторе или в печатной раскладке. Определите заранее площадку, где клип появится, и проверяйте его именно в этом размере: у ленты соцсети требования мягче, чем у витрины магазина или экрана на выставке.
Правило проверки: сравнивайте последний кадр клипа с первым. Если исходная деталь, например логотип на упаковке, заметно изменилась, клип для рекламы товара непригоден, как бы красиво он ни двигался.
Какой короткий клип вам нужно получить из готового кадра?
Короткий эксперимент
Оценивать технологию по рекламным роликам разработчиков нельзя: там показаны отобранные удачные результаты. Проверяйте на своих материалах, и достаточно одного вечера.
- Подготовьте десять исходных кадров из вашей работы: товары, интерьеры, портреты, схемы. Подбирайте их разнородными, чтобы увидеть слабые места.
- Запустите модель на каждом кадре с настройками по умолчанию и запишите время генерации и объём занятой видеопамяти.
- Просмотрите каждый клип в замедлении и отметьте артефакты по списку выше.
- Повторите генерацию трёх кадров с другими настройками движения и сравните стабильность.
- Подведите итог в таблице: сколько клипов пригодны без правок, сколько после монтажа, сколько ушли в брак.
Оцените и риски для репутации. Видеомодель способна уверенно нарисовать то, чему в кадре нет места, например лишние пальцы или искажённое лицо. Для внутренних материалов это терпимо, для публичных нужен просмотр каждого клипа до выхода и человек, который отвечает за публикацию. Вторая линия защиты — отказ от использования клипа с людьми на крупном плане, до тех пор, пока стабильность результата остаётся под вопросом.
Фиксируйте вместе с результатом и настройки: модель, число кадров, параметры движения, начальное значение случайности. Тогда удачный клип можно повторить, а неудачный разобрать по причинам. Без записи настроек эксперимент превращается в лотерею, и повторить успех сложно и вам, и коллегам.
Полученная доля пригодных клипов и время на один клип — две метрики, по которым принимается решение: продолжать локальный запуск, подключать облачный сервис или вернуться к статичным изображениям.
Лицензия и выбор
Лицензия на веса Stable Video Diffusion отличается от лицензий открытых текстовых моделей. Прочитайте условия на странице Stability и в карточке модели, особенно если клипы пойдут в рекламу или в продукт.
Локальный запуск оправдан, когда исходные материалы конфиденциальны, нужно много попыток подряд или важно работать без внешних сервисов. Облачные видеосервисы выигрывают, когда нужны длинные клипы, управление камерой и быстрый результат без настройки оборудования. Сочетание тоже встречается: идею проверяют локально, итоговый ролик делают в облаке.
Типичная ошибка — ставить видеомодель ради одного ролика. Установка, подбор настроек и проверка обходятся дороже, чем разовое использование сервиса. Ради регулярного потока клипов с закрытыми данными усилия окупаются. Выбор схемы и оценку нагрузки мы помогаем сделать на странице про консалтинг по внедрению ИИ.