LoRA для Stable Diffusion нужна компании, у которой картинки должны выходить в одном узнаваемом стиле, а промпт каждый раз даёт чуть другую манеру: небольшой адаптер дообучается на вашем наборе изображений и подключается к базовой модели при генерации. Технически обучение под силу инженеру или подготовленному дизайнеру на одной видеокарте, а юридически и организационно главные вопросы лежат вне кода: чьи изображения вошли в набор, откуда взяты веса и кто принимает результат. Если права на материалы подтвердить нечем, обучение лучше отложить.

Что даёт LoRA

TL;DR

LoRA закрепляет стиль или объект на базе Stable Diffusion через небольшой адаптер, который обучается на вашем наборе изображений. Качество результата определяют набор, подписи к нему и приёмка, а права на материалы проверяют до первого запуска.

Базовая модель умеет рисовать почти всё, но каждый раз по-разному. Промпт задаёт сцену, а манеру, палитру и характер линии модель выбирает сама. LoRA закрепляет манеру. По руководству библиотеки Diffusers, метод вставляет в модель небольшое число новых весов и обучает только их, поэтому обучение идёт быстрее и расходует меньше памяти, а готовый адаптер весит порядка сотен мегабайт и его удобно хранить и передавать.

Адаптер отличается и от промпта, и от полного дообучения. Сцену по-прежнему описывают словами, как в статье про промпт для Stable Diffusion, а LoRA добавляет узнаваемую манеру. Разбор самой модели для брендовых задач есть в материале про Stable Diffusion XL для брендов. Для текстовых моделей тот же метод описан в статье про LoRA для Qwen.

Адаптер подходит для двух задач: повторяемый стиль серии иллюстраций и повторяемый объект, например собственный продукт или талисман. Для логотипов и текста на изображении он годится плохо: точные буквы и знаки рисуются в графическом редакторе. Прежде чем обучать, решите, какую именно из двух задач вы ставите, потому что наборы для них собираются по-разному.

Условный пример: у издательства выходит серия обложек, и каждая должна читаться как часть одной коллекции. Дизайнер собирает из прошлых обложек набор, обучает адаптер и дальше генерирует черновики новых обложек, подставляя разные сюжеты. Окончательную обложку по-прежнему доводит человек, но отправная точка уже в нужной манере.

Набор изображений

Набор — главный фактор качества. Документация обучающих скриптов опирается на датасет из изображений с подписями, и ваш набор оформляется так же: каждая картинка сопровождается текстом, который описывает её содержание. Для стиля берут работы, где манера выдержана одинаково; случайная подборка из разных стилей даст кашу.

  • Изображения должны принадлежать компании или быть использованы по письменному разрешению автора, для обучения в том числе.
  • Для каждого файла в таблице набора указаны автор, дата, основание использования и ссылка на договор или лицензию.
  • Подписи описывают содержание картинки, а манеру указывают одним закреплённым словом-ключом, по которому потом вызывают стиль.
  • Дубли и почти одинаковые кадры убираются, иначе адаптер заучит их и начнёт копировать.
  • Изображения с людьми проверяются отдельно: нужны согласия на использование облика и на обучение.

Размер набора определяется задачей, и универсального числа нет. Начните с небольшой аккуратной подборки и увеличивайте её, если на проверке видно, что манера схватывается нестабильно. Часть набора отложите и оставьте вне обучения: на этих картинках потом проверяют, заучил ли адаптер конкретные кадры.

Подписи пишет человек или помогает модель с описанием изображений, но результат читает человек. Ошибочная подпись учит адаптер связывать манеру с лишним предметом: если во всех подписях стоит «красный фон», а на половине картинок он синий, стиль получится нестабильным. Единый шаблон подписи сокращает такие расхождения.

Происхождение весов

У каждого адаптера есть цепочка происхождения: базовая модель, набор, на котором он обучен, и скрипт обучения. Права на результат зависят от всех трёх звеньев. Лицензию базовой модели читают в её карточке: от неё зависит, можно ли использовать картинки в коммерческих целях и распространять адаптер. Условия различаются у разных версий Stable Diffusion, поэтому проверяйте именно ту, которую берёте.

Отдельный риск — чужие адаптеры из открытых каталогов. Готовый файл с понравившимся стилем может быть обучен на работах художников без их согласия, а лицензия на странице скупа или отсутствует. Использовать такой адаптер в рекламе компании значит принять на себя правовой риск, который трудно оценить. Правило для своего процесса: в производство идут только адаптеры, у которых задокументированы база, набор и основания использования. Подход к проверке наборов данных описан в статье про происхождение данных и лицензии.

Храните рядом с адаптером короткую карточку: версия базовой модели, дата обучения, ссылка на таблицу набора, ответственный, разрешённые сценарии использования. Без карточки через полгода вспомнить будет некому, на чём обучен файл и можно ли применять его в новой кампании.

Договоритесь и о судьбе адаптера после проекта. Файл хранится в закрытом хранилище, доступ имеют конкретные сотрудники, а при смене подрядчика права на адаптер и набор прописаны в договоре. Если адаптер обучал внешний исполнитель, потребуйте передачи набора, скрипта и карточки, иначе стиль окажется привязан к его компьютеру.

Обучение и проверка

Сам запуск обучения проще подготовки. В порядке действий на каждом шаге остаётся артефакт для проверки.

  1. Зафиксируйте версию базовой модели и сохраните её лицензию рядом с проектом.
  2. Подготовьте набор с подписями и таблицей прав, отложите контрольную часть.
  3. Обучите адаптер по скрипту из документации Diffusers или в привычном вам интерфейсе, сохраняя промежуточные состояния.
  4. Сгенерируйте картинки по одному фиксированному списку промптов для каждого состояния и сравните их глазами.
  5. Выберите состояние, где манера схвачена, а заученных кадров нет, и оформите карточку адаптера.

Контрольный список промптов сохраняйте как отдельный файл и прогоняйте после каждого изменения. Он должен включать простые сцены, сложные композиции и заведомо чужеродные запросы, например сюжет вне манеры. Так вы увидите, где адаптер навязывает стиль слишком настойчиво и мешает работать с другими задачами.

По тому же руководству, на видеокарте с одиннадцатью гигабайтами памяти полный прогон учебного примера занимает около пяти часов, а ваши сроки зависят от размера набора и настроек. Сборку интерфейсов генерации разбирает материал про ComfyUI и повторяемость схемы.

● Discovery · 1 час · бесплатно

Какой серии картинок вашему бренду нужен повторяемый стиль?

Прийти на Discovery →

Приёмка стиля

Приёмку проводит человек с глазом дизайнера и правом сказать «нет». Критерии записываются заранее и касаются как внешнего вида, так и безопасности.

ПроверкаКак выполнятьРешение
МанераДвадцать промптов с разными сценами рядом с эталонамиПринять при узнаваемом стиле во всех сценах
ЗаучиваниеСравнить результаты с обучающими картинкамиОтклонить при почти точных копиях
Лишние элементыОсмотреть фон, руки, текст на изображенииПравить вручную или менять промпт
ПраваСвериться с таблицей набора и карточкой моделиЗапретить использование при пробелах в основаниях

Даже принятый адаптер оставляет проверку каждой картинки перед публикацией: люди на изображении, чужие знаки и узнаваемые персонажи могут появиться в любой генерации. Решение о размещении принимает редактор, а генерация остаётся черновиком. Сравнение инструментов для задач бренда есть в статье Midjourney или Stable Diffusion.

// с чего начать

Соберите таблицу прав на двадцать изображений вашего стиля раньше, чем скачаете первую программу для обучения. Если пробелы закрыть удалось, добавляйте подписи и запускайте короткое обучение. Если обучение нужно провести с юридической проверкой набора и приёмкой результата, начните с раздела про консалтинг по ИИ.

Частые вопросы

Что такое LoRA в Stable Diffusion?
Небольшой адаптер, который обучается на вашем наборе изображений и подключается к базовой модели при генерации. Он закрепляет стиль или объект и весит заметно меньше самой модели.
Сколько картинок нужно для обучения LoRA?
Универсальной цифры нет. Начните с небольшого аккуратного набора единой манеры и увеличивайте его, если на проверке стиль схватывается нестабильно. Часть изображений отложите для контроля.
Можно ли обучать LoRA на чужих картинках?
Только при наличии прав: свои материалы или письменное разрешение автора с учётом обучения. Скачанные из интернета работы без разрешения использовать нельзя. Спорные случаи покажите юристу.
Можно ли брать готовые LoRA из каталогов для рекламы?
Только если известны база, обучающий набор и условия использования. У многих файлов этих сведений нет, и правовой риск ложится на вас. В производство берите документированные адаптеры.
Чем LoRA отличается от промпта?
Промпт описывает сцену, а LoRA закрепляет манеру и повторяемость. Они работают вместе: сцену вы задаёте словами, а адаптер добавляет узнаваемый стиль.