ComfyUISDXL
Home » Категории карточек » Controlnet-referance — изменение стиля по референсу
Controlnet-referance — изменение стиля по референсу
Процесс заключается в загрузке изображений для: основы, референса. В результате происходит изменение оригинала в соответствии со стилем референса и подсказкой. Схема состоит из трёх групп предназначенных для изменения оригинала в определённой степени:
- Полная перегенерация оригинала в соответствии с референсом и подсказкой.
- Перегенерация оригинала только в маске, в соответствии с референсом и подсказкой.
- Полная перегенерация оригинала в соответствии с референсом и подсказкой, а так же переносом стиля референса в маску нанесённую на оригинал.
Controlnet-referance
Схема состоит из нескольких групп — дабы не плодить схемы с аналогичным функционалом сделал их включение по переключателю. Разные группы дают результат на «Вкус и цвет». Схема интересна в качестве обучения, т.к. задействованы различные алгоритмы.
Схема идеально подходит под раздел «Референсы«, там же можно ознакомиться с другими примерами.
Дополнительные возможности:
- Для усиления влияния оригинала или Референса можно включить автоподсказки, однако для большинства случаев достаточно короткой подсказки.
- Настройки позволяют усиливать и ослаблять влияние референса или оригинала.
- В принципе есть возможность подключить негативное изображение (сейчас используется пустой латент) — но это для особых месьё «эстетов»
Полная перегенерация
Активируем соответствующую группу. Маска НЕ НУЖНА - изменения будут затрагивать весь оригинал. Подгружаем Оригинальное изображение (1 - Основное изображение) и подгружаем референс (2 - Дополнительное изображение).
Основные настройки находятся в Ноде "KSampler" и Группе "Копистиль" зависят от референса и подсказки. Начальные настройки:
- KSampler Denoise (Шумопадавление) = 0.65 - 0.7 - сила изменения оригинала, подбирается исходя из подсказки, референсов и планируемого результата.
Группа Копистиль - отвечает за стиль, позволяет регулировать силу, начало и конец его применения:
- IPAdapter Advanced weight = 1.35 - увеличим силу т.к. применение стиля идёт не с начала.
- IPAdapter Advanced Start_at = 0.45 - для того, что бы вначале сгенерировалось описание, а не элементы с референса. Связано с тем, что на референсе помимо стиля обычно изображаются некие объекты, которые вместе со стилем могут попасть в перегенерацию.
- IPAdapter Advanced Start_at = 1 или 0.9
Попросим сгенерировать Орка (Orc) для оценки влияния референса и подсказки:
Перегенерация в маске
Маска НУЖНА на Оригинале который подгружаем в "1 - Основное изображение" и соответственно подгружаем референс стиля в "2 - Дополнительное изображение".
Основные настройки находятся в Ноде "KSampler" и Группе "Копистиль" зависят от референса и подсказки. Начальные настройки такие же как при полной перегенерации, но изменения будут происходить только в маске:
- KSampler Denoise (Шумопадавление) = 0.65 - 0.7 - сила изменения оригинала, подбирается исходя из подсказки, референсов и планируемого результата.
Группа Копистиль - отвечает за стиль, позволяет регулировать силу, начало и конец его применения:
- IPAdapter Advanced weight = 1.35 - увеличим силу т.к. применение стиля идёт не с начала.
- IPAdapter Advanced Start_at = 0.45 - для того, что бы вначале сгенерировалось описание, а не элементы с референса. Связано с тем, что на референсе помимо стиля обычно изображаются некие объекты, которые вместе со стилем могут попасть в перегенерацию.
- IPAdapter Advanced Start_at = 1 или 0.9
Попросим сгенерировать Орка (Orc) для оценки влияния референса и подсказки:
Полная перегенерация с референсом в маску
Для начала нужно нанести маску на Оригинальное изображение (1 - Основное изображение) и подгрузить референс (2 - Дополнительное изображение).
Основные настройки находятся в Нодах "ControlNet настройки" и "KSampler" и "Копистиль" - зависят от референса и подсказки, начальные настройки:
- ControlNet настройки Сила = 0.5 - сила влияния оригинала, уменьшаем для увеличения степени перегенерации
- ControlNet настройки Процент_конца = 0.5 - прерываем влияние оригинала на 50% для усиления
- ControlNet настройки Процент_конца = 0.9 - даём немного свободы для согласования
- KSampler Denoise (Шумопадавление) = 0.7 - сила изменения оригинала, подбирается исходя из подсказки, референсов и планируемого результата.
- Группа Копистиль - отвечает за стиль, позволяет регулировать силу, начало и конец его применения. Настройки оставляем по умолчанию.
Попросим сгенерировать Орка (Orc) для оценки влияния референса и подсказки:
Группа "Полная перегенерация - с сохранением композиции через Controlnet"
Полная перегенерация — с сохранением композиции через Controlnet
Схема позволяет последовательно применить 3 различных Controlnet с возможностью отключить отдельную группу, кроме того можно:
- дополнительно воспользоваться группой «Копистиль», для копирования и усиления эффекта референса.
- усилить влияние референса или исходника, подключив соответствующую группу описания и/или указав соответствующую подсказку.
- используя настройки силы, начала и конца действия можно регулировать каждую группу controlnet по отдельности.
- изменять модель и тип препроцессора controlnet для ещё большего расширения функционала. Например, вместо карты глубины, можно использовать canny или карту нормалей.
- регулировать общую силу изменений через параметр denoise в ноде KSampler.
При желании можно скопировать одну из групп Controlnet и по аналогии подключить в схему.
Вся суть схемы в комбинации групп Controlnet и тем какие модели и препроцессоры в них используются. В схеме специально используются три группы с различной структурой нод Controlnet.
Следует иметь ввиду:
- Первые два controlnet нацелены на Оригинал, поэтому для референса стиля нужно подключать группу «Копистиль». Настройки в этих группах будут влиять только на оригинал.
- Группа «Копистиль» — передаёт стиль референса, это важно для первых двух групп. Группа также использует негативное изображение, оно на самом деле очень сильно влияет на конечный результат.
- Третья группа controlnet использует Оригинал, Референс и Негатив и является самой универсальной, однако использование других групп позволяет более точно отрегулировать влияние Оригинала или стиля.
Под Оригиналом будем понимать картинку помещённую в «1 — Основное изображение«. Под референсом будем понимать Лицо или Стиль помещённый в ноду «2 — Дополнительное изображение«. В «3 — Дополнительное изображение» — помещается негатив
Замена лица на Оригинале
Схема универсальная, даже позволяет скопировать лицо.
Для этого нужно оставить подключённой только одну группу - ControlNet-3, Настройки в этой группе:
- Для XL в группе Загрузить модель ControlNet название_control_net=controlnet-union-promax - название может немного отличаться.
- IPAdapter Unified Loader preset=plus face (portraits)
- ControlNet настройки сила=0.5
- ControlNet настройки процент_конеца=0.5
В описание ОБЯЗАТЕЛЬНО нужно поместить описание референса лица, в примере я специально сделал его без указания личности: портрет мужчины, Его волосы уложены в неряшливой, вьющейся манере, и у него есть усы. На вид ему около 60 лет, стиль начала 70-х.
Регулируя KSampler denoise>0.5 добиваемся нужного Вам сочетания Оригинала и Референса
Проверим влияние Denoise в ноде KSampler и влияние негатива:
В примерах выше негативом является пустое латентное изображение
Усложним пример - на яркой цветной картинке с мелким лицом в антропоморфном стиле попытаемся заменить лицо, референс которого выполнен в ЧБ фото стиле. Описание оставим от предыдущего примера, основная настройка:
KSampler Шумопадавление (denoise)= 0.5 - чем больше этот параметр, тем больше берётся с референса лица, включая элементы композиции
Несмотря на важность негатива, будем использовать простенькую сцену освещения, т.к. более сложный пример будет трудно прогнозируемым.
Усложним ещё пример - возьмём референс лица с нестандартной эмоцией - с высунутым языком и повышенной зернистостью. В подсказку обязательно добавим : Высунут длинный язык.
Как видим - лицо меняется, но вместе с этим происходит изменение всей картины. При этом очень многое зависит от исходников и подсказки.
Стилизованное или нечеловеческое лицо на стилизованный референс стиля
Схема универсальная, даже позволяет скопировать лицо.
Для этого нужно оставить подключённой только одну группу - ControlNet-3, Настройки в этой группе:
- Для XL в группе Загрузить модель ControlNet название_control_net=controlnet-union-promax - название может немного отличаться.
- IPAdapter Unified Loader preset=plus face (portraits)
- ControlNet настройки сила=0.5
- ControlNet настройки процент_конеца=0.5
Подсказка пустая, ибо не всегда можно грамотно описать лицо.
Регулируя KSampler denoise>0.5 добиваемся нужного Вам сочетания Оригинала и Референса
Отключая/подключая группы описания для Оригинала и Лица, добавляя описание в подсказку, а так же группу экспериментируя с группой "копистиль" - можно добиться ещё лучших результатов. Тем не менее, даже без этого можно менять лицо на референсе:
Ещё примерчик:
Меняем стиль оригинала
Основной режим работы данной схемы - перегенерация оригинала с учётом референса.
Для этого нужна всего одна группа "Копистиль", все остальные controlnet отключаем.
- В качестве референса вставляем изображение с нужным нам стилем.
- Описание оставляем пустым либо описываем стиль.
- IPAdapter Advanced weight=1-2 - важный параметр, для XL позволяет регулировать силу стиля
Регулируя KSampler denoise>0.5 - влияет на степень вносимых изменений в оригинал, добиваемся нужного Вам сочетания Оригинала и Референса
Аналогичный результат можно получить оставив подключённой только группу "ControlNet-3", выставляем настройки:
- IPAdapter Unified Loader preset=plus (high strength)
- ControlNet настройки сила=0.5-1
- ControlNet настройки процент конца=0.15-0.5 - важный параметр, на указанном % отключает Оригинал и переключается на Референс.
- В качестве референса вставляем изображение с нужным нам стилем.
- Описание оставляем пустым либо описываем стиль.
Регулируя KSampler denoise>0.65 добиваемся нужного Вам сочетания Оригинала и Референса
Миксуем Оригинал с референсом
Смешивание - это вариант когда нам нужны элементы композиции с Оригинала и Референса.
Оставив подключённой только группу "ControlNet-3", выставляем настройки:
- IPAdapter Unified Loader preset=plus (high strength)
- ControlNet настройки сила=1
- ControlNet настройки процент конца=0.15-0.5 - важный параметр, на указанном % отключает Оригинал и переключается на Референс. регулируя данный параметр добиваемся нужного сочетания Оригинала и Референса. Помним, что первые проценты важнее последующих.
- В качестве референса вставляем изображение с нужным нам стилем.
- Описание оставляем пустым либо описываем стиль.
Регулируя KSampler denoise=0.65 - добиваемся нужной степени изменений
Новая генерация с сочетанием оригинала, референса и подсказки
На перегенерацию сильно влияет подсказка. Например, если добавить в описание облегчённый карикатурный стиль в котором попросим перегенерировать изображение с учётом того что персонаж "едет на мотоцикле": Rides on a motorcycle, Art byletta Ceccoli, Absurdres, Chibi, Cute, Kawaii, Full Body.
Для этого нужна всего одна группа "Копистиль", все остальные controlnet отключаем.
- В качестве референса вставляем изображение с нужным нам стилем.
- Описание оставляем пустым либо описываем стиль.
Регулируя KSampler denoise>0.75 добиваемся нужного Вам сочетания Оригинала, Референса и подсказки.
Новая генерация по подсказке с макимальным влиянием референса
Оставляем включённой только одну группу "Копистиль" .
Во все три входящих изображения подгружаем один и тот же референс стиля.
Настройки на скрине, особое внимание:
- для XL IPAdapte Advanced weight=1.35-2 - увеличиваем для большей стилизации.
- IPAdapte Advanced start_at=0.15-0.45 - процент с которого начинается влияние стиля, первые шаги самые главные и для того что бы без проблем сгенерировалась подсказка мы пропускаем стиль в начале. Иначе в генерацию будут подмешиваться элементы с загруженной картинки.
- IPAdapte Advanced end_at=1
- KSampler шумоподавление=1 - т.к. нам нужно не просто изменить Оригинал, а полностью его перегенерировать.
Следует иметь ввиду, что соотношение сторон будет браться с Оригинала с разрешением по длинной стороне в 1024 px - указано в ноде загрузки Оригинала.
Воспользуемся разделом референсов и проверим результаты. В сравнении референс с результатом, в подсказку вставим : Harley Quinn, Rides on a Motorcycle on the beach, against the background of the sun and clouds, Chibi, Cute, Full Body - В результате должны получить узнаваемого персонажа в виде милого пупса едущего на мотоцикле по пляжу на фоне солнце и облака, а стиль должен взяться с референса. В примерах сравнение референса и результата. Но для начала протестируем вес стиля:
Оригинальная композиция в стиле референса и подсказки
Группы controlnet 1 и 2 можно подключить для сохранения композиции Оригинала, соответственно оригинал должен соответствовать хотя бы отдалённо описанию в подсказке.
Например, подключим группу - группу "Копистиль" и "ControlNet-2" - нужна для сохранения композиции Оригинала.
Настройки:
- Для XL в группе Загрузить модель ControlNet название_control_net=controlnet-union-promax - название может немного отличаться.
- AIO Aux Preprocessor preprocessor=MiDaS-NormalMapPreprocessor -препроцессор глубины карты
- ControlNet настройки сила=0.5
- ControlNet настройки процент_конца=0.5
- Регулируя KSampler denoise=0.7 - добиваемся нужного Вам сочетания Оригинала и Референса
- Подсказка прежняя: Rides on a motorcycle, Art byletta Ceccoli, Absurdres, Chibi, Cute, Kawaii, Full Body. Подсказка соответствует основе оригинала - "едет на мотоцикле".
Проверим влияние Силы и процент_конца в ноде "ControlNet настройки":
Воспользуемся разделом референсов и проверим результаты. Но в этот раз подключим вместо пустого латентного изображения, негатив помещаемый в 3-дополнительное изображение и загрузим в него источник света. В сравнении референс с результатом:
Далее протестируем влияние препроцессоров. Настройки и подсказка как в примере выше, референс и негатив как из первого сравнения с рыжей мультяшной лисичкой:
LineArt
FakeScribble
AnyLineArtPreprocessor_aux
Binary
PyraCanny
ImageLuminceDetector
DepthAnythingV2
LeReS-DepthMap
DWP
Tile
BAE-NormalMap
DSINE-NormalMap
MiDaS-NormalMap
Перегенерация Оригинала по подсказке, но без учёта Референса
Самый простой вариант - это отключить все Controlnet, оставить только группу "Копистиль". Во все три входящих изображения вставляем одно и то же изображение.
В описание можно вставить например облегчённый карикатурный стиль: Rides on a motorcycle, Art byletta Ceccoli, Absurdres, Chibi, Cute, Kawaii, Full Body.
Регулируя KSampler denoise>0.75 добиваемся нужной Вам степени изменения Оригинала в соответствии с подсказкой
Группы controlnet 1 и 2 можно подключить для сохранения композиции Оригинала, соответственно оригинал должен соответствовать хотя бы отдалённо описанию в подсказке.
Негатив
После анализа схемы встанет логичный вопрос: "А нафига тут негатив? Ведь с ним больше гемора чем пользы..." И вправду, самым простым решением является подсовывание пустого латентного изображения на вход. Однако суть схемы в её универсальности и возможно негатив кому-нибудь понадобится и это будет хорошей изюминкой в работах автора. Поэтому в схеме присутствует переключатель.
Как скачать рабочий процесс к любой картинке, а также важные пояснения по работе со схемами вы найдёте в соответствующем разделе помощи - ComfyUI — Stalogen.ru
Группа "Смешивание изображений"
Смешивание изображений
Рабочий процесс позволяет использовать 2 изображения (можно и больше при желании) для смешивания с учётом исключения изображения помещённого в негатив .
Подсказки для оригинала, референса и негатива формируются автоматически исходя из подгруженных изображений. Причём Оригинал складывается с Референсом и есть возможность дополнить как своим описанием, так и стилем из списка.
Настройки позволяют усиливать и ослаблять влияние изображений для смешивания.
Примеры на полную картинку
Пример влияния веса картинки:
Пример с разным негативом, который играет огромную роль, в актуальной схеме не используется ввиду сложности "предсказания" результата и заменён на пустой латент, однако эксперимент интересный:
Следует отметить, что основой для холста (разрешение картинки) выступает изображение помещённое в качестве первого оригинала.
Таким образом мы получаем возможность смешивания картинок с вычитанием негатива и регулировками по весам.
Но изюминка в смешивании несмешиваемых объектов. Например можно смешать водопад с животным, а с помощью негатива и весов подрегулировать "проявление" зверя.
При смешивании можно играться началом и окончанием шагов. актуально для "несмешиваемых" картинок. Если не получается - меняйте Seed.
Как скачать рабочий процесс к любой картинке, а также важные пояснения по работе со схемами вы найдёте в соответствующем разделе помощи - ComfyUI — Stalogen.ru
Как скачать рабочий процесс к любой картинке, а также важные пояснения по работе со схемами вы найдёте в соответствующем разделе помощи - ComfyUI — Stalogen.ru
Свеженькая схемка в карусельке изображений, скачивается аналогично картинкам с рабочим процессом.
Be the first to review “Controlnet-referance — изменение стиля по референсу” Отменить ответ
You must be logged in to post a review.
Reviews
There are no reviews yet.