Home » Категории карточек » Controlnet-referance — изменение стиля по референсу

Controlnet-referance — изменение стиля по референсу

Процесс заключается в загрузке изображений для: основы, референса. В результате происходит изменение оригинала в соответствии со стилем референса и подсказкой. Схема состоит из трёх групп предназначенных для изменения оригинала в определённой степени:

  • Полная перегенерация оригинала в соответствии с референсом и подсказкой.
  • Перегенерация оригинала только в маске, в соответствии с референсом и подсказкой.
  • Полная перегенерация оригинала в соответствии с референсом и подсказкой, а так же переносом стиля референса в маску нанесённую на оригинал.
juggernautXL
9
SDXL

Controlnet-referance

Схема состоит из нескольких групп — дабы не плодить схемы с аналогичным функционалом сделал их включение по переключателю. Разные группы дают результат на «Вкус и цвет». Схема интересна в качестве обучения, т.к. задействованы различные алгоритмы.

Схема идеально подходит под раздел «Референсы«, там же можно ознакомиться с другими примерами.

Дополнительные возможности: 

  • Для усиления влияния оригинала или Референса можно включить автоподсказки, однако для большинства случаев достаточно короткой подсказки. 
  • Настройки позволяют усиливать и ослаблять влияние референса или оригинала. 
  • В принципе есть возможность подключить негативное изображение (сейчас используется пустой латент) — но это для особых месьё «эстетов»

Активируем соответствующую группу. Маска НЕ НУЖНА - изменения будут затрагивать весь оригинал. Подгружаем Оригинальное изображение (1 - Основное изображение) и подгружаем референс (2 - Дополнительное изображение).

Основные настройки находятся в Ноде "KSampler" и Группе "Копистиль" зависят от референса и подсказки. Начальные настройки:

  • KSampler Denoise (Шумопадавление) = 0.65 - 0.7 - сила изменения оригинала, подбирается исходя из подсказки, референсов и планируемого результата.

Группа Копистиль - отвечает за стиль, позволяет регулировать силу, начало и конец его применения:

  • IPAdapter Advanced weight = 1.35 - увеличим силу т.к. применение стиля идёт не с начала.
  • IPAdapter Advanced Start_at = 0.45 - для того, что бы вначале сгенерировалось описание, а не элементы с референса. Связано с тем, что на референсе помимо стиля обычно изображаются некие объекты, которые вместе со стилем могут попасть в перегенерацию.
  • IPAdapter Advanced Start_at = 1 или 0.9

Попросим сгенерировать Орка (Orc) для оценки влияния референса и подсказки:

Original ComfyUI-dpmpp_sde-4
Original ComfyUI-dpmpp_sde-4
Original ComfyUI-dpmpp_sde-4
Original ComfyUI-dpmpp_sde-4

Маска НУЖНА на Оригинале который подгружаем в "1 - Основное изображение" и соответственно подгружаем референс стиля в "2 - Дополнительное изображение".

Основные настройки находятся в Ноде "KSampler" и Группе "Копистиль" зависят от референса и подсказки. Начальные настройки такие же как при полной перегенерации, но изменения будут происходить только в маске:

  • KSampler Denoise (Шумопадавление) = 0.65 - 0.7 - сила изменения оригинала, подбирается исходя из подсказки, референсов и планируемого результата.

Группа Копистиль - отвечает за стиль, позволяет регулировать силу, начало и конец его применения:

  • IPAdapter Advanced weight = 1.35 - увеличим силу т.к. применение стиля идёт не с начала.
  • IPAdapter Advanced Start_at = 0.45 - для того, что бы вначале сгенерировалось описание, а не элементы с референса. Связано с тем, что на референсе помимо стиля обычно изображаются некие объекты, которые вместе со стилем могут попасть в перегенерацию.
  • IPAdapter Advanced Start_at = 1 или 0.9

Попросим сгенерировать Орка (Orc) для оценки влияния референса и подсказки:

Original ComfyUI-dpmpp_sde-4
Original ComfyUI-dpmpp_sde-4
Original ComfyUI-dpmpp_sde-4
Original ComfyUI-dpmpp_sde-4

Для начала нужно нанести маску на Оригинальное изображение (1 - Основное изображение) и подгрузить референс (2 - Дополнительное изображение).

Основные настройки находятся в Нодах "ControlNet настройки" и "KSampler" и "Копистиль" - зависят от референса и подсказки, начальные настройки:

  • ControlNet настройки Сила = 0.5 - сила влияния оригинала, уменьшаем для увеличения степени перегенерации
  • ControlNet настройки Процент_конца = 0.5 - прерываем влияние оригинала на 50% для усиления
  • ControlNet настройки Процент_конца = 0.9 - даём немного свободы для согласования
  • KSampler Denoise (Шумопадавление) = 0.7 - сила изменения оригинала, подбирается исходя из подсказки, референсов и планируемого результата.
  • Группа Копистиль - отвечает за стиль, позволяет регулировать силу, начало и конец его применения. Настройки оставляем по умолчанию.

Попросим сгенерировать Орка (Orc) для оценки влияния референса и подсказки:

Original ComfyUI-dpmpp_sde-4
Original ComfyUI-dpmpp_sde-4
Original ComfyUI-dpmpp_sde-4
Original ComfyUI-dpmpp_sde-4

Полная перегенерация — с сохранением композиции через Controlnet

Схема позволяет последовательно применить 3 различных Controlnet с возможностью отключить отдельную группу, кроме того можно:

  • дополнительно воспользоваться группой «Копистиль», для копирования и усиления эффекта референса.
  • усилить влияние референса или исходника, подключив соответствующую группу описания и/или указав соответствующую подсказку.
  • используя настройки силы, начала и конца действия можно регулировать каждую группу controlnet по отдельности.
  • изменять модель и тип препроцессора controlnet для ещё большего расширения функционала. Например, вместо карты глубины,  можно использовать canny или карту нормалей.
  • регулировать общую силу изменений через параметр denoise в ноде KSampler.

При желании можно скопировать одну из групп Controlnet и по аналогии подключить в схему.

Вся суть схемы в комбинации групп Controlnet и тем какие модели и препроцессоры в них используются. В схеме специально используются три группы с различной структурой нод Controlnet. 

Следует иметь ввиду:

  • Первые два controlnet нацелены на Оригинал, поэтому для референса стиля  нужно подключать группу «Копистиль». Настройки в этих группах будут влиять только на оригинал.
  • Группа «Копистиль» — передаёт стиль референса, это важно для первых двух групп. Группа также использует негативное изображение, оно на самом деле очень сильно влияет на конечный результат.
  • Третья группа controlnet использует Оригинал, Референс и Негатив и является самой универсальной, однако использование других групп позволяет более точно отрегулировать влияние Оригинала или стиля.
Под Оригиналом будем понимать картинку помещённую в «1 — Основное изображение«. Под референсом будем понимать Лицо или Стиль помещённый в ноду «2 — Дополнительное изображение«. В «3 — Дополнительное изображение»  — помещается негатив

Схема универсальная, даже позволяет скопировать лицо.

Для этого нужно оставить подключённой только одну группу - ControlNet-3, Настройки в этой группе:

  • Для XL в группе Загрузить модель ControlNet название_control_net=controlnet-union-promax - название может немного отличаться.
  • IPAdapter Unified Loader preset=plus face (portraits)
  • ControlNet настройки сила=0.5
  • ControlNet настройки процент_конеца=0.5

В описание ОБЯЗАТЕЛЬНО нужно поместить описание референса лица, в примере я специально сделал его без указания личности: портрет мужчины, Его волосы уложены в неряшливой, вьющейся манере, и у него есть усы. На вид ему около 60 лет, стиль начала 70-х.

Регулируя KSampler denoise>0.5 добиваемся нужного Вам сочетания Оригинала и Референса

Проверим влияние Denoise в ноде KSampler и влияние негатива:

В примерах выше негативом является пустое латентное изображение

Усложним пример - на яркой цветной картинке с мелким лицом в антропоморфном стиле попытаемся заменить лицо, референс которого выполнен в ЧБ фото стиле. Описание оставим от предыдущего примера, основная настройка:

KSampler Шумопадавление (denoise)= 0.5 - чем больше этот параметр, тем больше берётся с референса лица, включая элементы композиции

Несмотря на важность негатива, будем использовать простенькую сцену освещения, т.к. более сложный пример будет трудно прогнозируемым.

Усложним ещё пример - возьмём референс лица с нестандартной эмоцией - с высунутым языком и повышенной зернистостью. В подсказку обязательно добавим : Высунут длинный язык.

Как видим - лицо меняется, но вместе с этим происходит изменение всей картины. При этом очень многое зависит от исходников и подсказки.

Схема универсальная, даже позволяет скопировать лицо.

Для этого нужно оставить подключённой только одну группу - ControlNet-3, Настройки в этой группе:

  • Для XL в группе Загрузить модель ControlNet название_control_net=controlnet-union-promax - название может немного отличаться.
  • IPAdapter Unified Loader preset=plus face (portraits)
  • ControlNet настройки сила=0.5
  • ControlNet настройки процент_конеца=0.5

Подсказка пустая, ибо не всегда можно грамотно описать лицо.

Регулируя KSampler denoise>0.5 добиваемся нужного Вам сочетания Оригинала и Референса

 Отключая/подключая группы описания для Оригинала и Лица, добавляя описание в подсказку, а так же группу экспериментируя с группой "копистиль" - можно добиться ещё лучших результатов. Тем не менее, даже без этого можно менять лицо на референсе:

Ещё примерчик:

Основной режим работы данной схемы - перегенерация оригинала с учётом референса.

Для этого нужна всего одна группа "Копистиль", все остальные controlnet отключаем.

  • В качестве референса вставляем изображение с нужным нам стилем.
  • Описание оставляем пустым либо описываем стиль.
  • IPAdapter Advanced weight=1-2 - важный параметр, для XL позволяет  регулировать силу стиля

Регулируя KSampler denoise>0.5 - влияет на степень вносимых изменений в оригинал, добиваемся нужного Вам сочетания Оригинала и Референса

 Аналогичный результат можно получить оставив подключённой только группу "ControlNet-3", выставляем настройки:

  • IPAdapter Unified Loader preset=plus (high strength)
  • ControlNet настройки сила=0.5-1
  • ControlNet настройки процент конца=0.15-0.5 - важный параметр, на указанном % отключает Оригинал и переключается на Референс.
  • В качестве референса вставляем изображение с нужным нам стилем.
  • Описание оставляем пустым либо описываем стиль.

Регулируя KSampler denoise>0.65 добиваемся нужного Вам сочетания Оригинала и Референса

Смешивание - это вариант когда нам нужны элементы композиции с Оригинала и Референса.

Оставив подключённой только группу "ControlNet-3", выставляем настройки:

  • IPAdapter Unified Loader preset=plus (high strength)
  • ControlNet настройки сила=1
  • ControlNet настройки процент конца=0.15-0.5 - важный параметр, на указанном % отключает Оригинал и переключается на Референс. регулируя данный параметр добиваемся нужного сочетания Оригинала и Референса. Помним, что первые проценты важнее последующих.
  • В качестве референса вставляем изображение с нужным нам стилем.
  • Описание оставляем пустым либо описываем стиль.

Регулируя KSampler denoise=0.65 - добиваемся нужной степени изменений

На перегенерацию сильно влияет подсказка. Например, если добавить в описание облегчённый карикатурный стиль в котором попросим перегенерировать изображение с учётом того что персонаж "едет на мотоцикле": Rides on a motorcycle, Art byletta Ceccoli, Absurdres, Chibi, Cute, Kawaii, Full Body.

Для этого нужна всего одна группа "Копистиль", все остальные controlnet отключаем.

  • В качестве референса вставляем изображение с нужным нам стилем.
  • Описание оставляем пустым либо описываем стиль.

Регулируя KSampler denoise>0.75 добиваемся нужного Вам сочетания Оригинала, Референса и подсказки.

Оставляем включённой только одну группу "Копистиль" .

Во все три входящих изображения подгружаем один и тот же референс стиля.

Настройки на скрине, особое внимание:

  • для XL IPAdapte Advanced weight=1.35-2 - увеличиваем для большей стилизации. 
  • IPAdapte Advanced start_at=0.15-0.45 - процент с которого начинается влияние стиля, первые шаги самые главные и для того что бы без проблем сгенерировалась подсказка мы пропускаем стиль в начале. Иначе в генерацию будут подмешиваться элементы с загруженной картинки.
  • IPAdapte Advanced end_at=1
  • KSampler шумоподавление=1 - т.к. нам нужно не просто изменить Оригинал, а полностью его перегенерировать.

Следует иметь ввиду, что соотношение сторон будет браться с Оригинала с разрешением по длинной стороне в 1024 px - указано в ноде загрузки Оригинала.

Воспользуемся разделом референсов и проверим результаты. В сравнении референс с результатом, в подсказку вставим : Harley Quinn, Rides on a Motorcycle on the beach, against the background of the sun and clouds, Chibi, Cute, Full Body В результате должны получить узнаваемого персонажа в виде милого пупса едущего на мотоцикле по пляжу на фоне солнце и облака, а стиль должен взяться с референса. В примерах сравнение референса и результата. Но для начала протестируем вес стиля:

deliberate_v6-cinematic-photography-movie-mood-cinematic-light-compelling-composition-1-time_20240412135745 ComfyUI-dpmpp_sde-4
juggernautxl_v9rundiffusionphoto2-cartoon-art-style-whimsical-character-exaggerated-features-vibrant-1-time_20240415100611 ComfyUI-dpmpp_sde-4
juggernautxl_v9rundiffusionphoto2-a-cute-monster-colorful-clutter-ultra-detailed-mysterious-1-time_20240428145527 ComfyUI-dpmpp_sde-4

Группы controlnet 1 и 2 можно подключить для сохранения композиции Оригинала, соответственно оригинал должен соответствовать хотя бы отдалённо описанию в подсказке.

Например, подключим группу - группу "Копистиль" и "ControlNet-2" - нужна для сохранения композиции Оригинала.

Настройки:

  • Для XL в группе Загрузить модель ControlNet название_control_net=controlnet-union-promax - название может немного отличаться.
  • AIO Aux Preprocessor preprocessor=MiDaS-NormalMapPreprocessor -препроцессор глубины карты
  • ControlNet настройки сила=0.5
  • ControlNet настройки процент_конца=0.5
  • Регулируя KSampler denoise=0.7 - добиваемся нужного Вам сочетания Оригинала и Референса
  • Подсказка прежняя: Rides on a motorcycle, Art byletta Ceccoli, Absurdres, Chibi, Cute, Kawaii, Full Body. Подсказка соответствует основе оригинала - "едет на мотоцикле".

Проверим влияние Силы и процент_конца в ноде "ControlNet настройки":

Воспользуемся разделом референсов и проверим результаты. Но в этот раз подключим вместо пустого латентного изображения, негатив помещаемый в 3-дополнительное изображение и загрузим в него источник света. В сравнении референс с результатом:

a03a371408c9abda36aea938ba35c534 ComfyUI-dpmpp_sde-4
c9c7d89bf20ca325d11ec282d3bf5569 ComfyUI-dpmpp_sde-4
ComfyUI-dpmpp_sde-4
deliberate_v6-cinematic-photography-movie-mood-cinematic-light-compelling-composition-1-time_20240412135745 ComfyUI-dpmpp_sde-4

Далее протестируем влияние препроцессоров. Настройки и подсказка как в примере выше, референс и негатив как из первого сравнения с рыжей мультяшной лисичкой:

LineArt

ComfyUI_temp_yjpcc_00017_ ComfyUI-dpmpp_sde-4

FakeScribble

ComfyUI_temp_yjpcc_00015_ ComfyUI-dpmpp_sde-4

AnyLineArtPreprocessor_aux

ComfyUI_temp_yjpcc_00004_ ComfyUI-dpmpp_sde-4

Binary

ComfyUI_temp_yjpcc_00005_ ComfyUI-dpmpp_sde-4

PyraCanny

ComfyUI_temp_yjpcc_00031_ ComfyUI-dpmpp_sde-4

ImageLuminceDetector

ComfyUI_temp_yjpcc_00032_ ComfyUI-dpmpp_sde-4

DepthAnythingV2

ComfyUI_temp_yjpcc_00011_ ComfyUI-dpmpp_sde-4

LeReS-DepthMap

ComfyUI_temp_yjpcc_00016_ ComfyUI-dpmpp_sde-4

DWP

ComfyUI_temp_yjpcc_00013_ ComfyUI-dpmpp_sde-4

Tile

ComfyUI_temp_yjpcc_00040_ ComfyUI-dpmpp_sde-4

BAE-NormalMap

ComfyUI_temp_yjpcc_00027_ ComfyUI-dpmpp_sde-4

DSINE-NormalMap

ComfyUI_temp_yjpcc_00012_ ComfyUI-dpmpp_sde-4

MiDaS-NormalMap

ComfyUI_temp_yjpcc_00024_ ComfyUI-dpmpp_sde-4

Самый простой вариант - это отключить все Controlnet, оставить только группу "Копистиль". Во все три входящих изображения вставляем одно и то же изображение.  

В описание можно вставить например облегчённый карикатурный стиль: Rides on a motorcycle, Art byletta Ceccoli, Absurdres, Chibi, Cute, Kawaii, Full Body.

Регулируя KSampler denoise>0.75 добиваемся нужной Вам степени изменения Оригинала в соответствии с подсказкой

juggernautXL_v9Rundiffusionphoto2-Art by Minion terminator on a sports motorcycle-6-Time_20250205221537 ComfyUI-dpmpp_sde-4

Группы controlnet 1 и 2 можно подключить для сохранения композиции Оригинала, соответственно оригинал должен соответствовать хотя бы отдалённо описанию в подсказке.

После анализа схемы встанет логичный вопрос: "А нафига тут негатив? Ведь с ним больше гемора чем пользы..." И вправду, самым простым решением является подсовывание пустого латентного изображения на вход. Однако суть схемы в её универсальности и возможно негатив кому-нибудь понадобится и это будет хорошей изюминкой в работах автора. Поэтому в схеме присутствует переключатель.

Как скачать рабочий процесс к любой картинке, а также важные пояснения по работе со схемами вы найдёте в соответствующем разделе помощи - ComfyUI — Stalogen.ru

Смешивание изображений

Рабочий процесс позволяет использовать 2 изображения (можно и больше при желании) для смешивания с учётом исключения изображения помещённого в негатив . 

Подсказки для оригинала, референса и негатива формируются автоматически исходя из подгруженных изображений. Причём Оригинал складывается с Референсом и есть возможность дополнить как своим описанием, так и стилем из списка. 

Настройки позволяют усиливать и ослаблять влияние изображений для смешивания. 

Пример влияния веса картинки:

Пример с разным негативом, который играет огромную роль, в актуальной схеме не используется ввиду сложности "предсказания" результата и заменён на пустой латент, однако эксперимент интересный:

Следует отметить, что основой для холста (разрешение картинки) выступает изображение помещённое в качестве первого оригинала.

Таким образом мы получаем возможность смешивания картинок с вычитанием негатива и регулировками по весам.

Но изюминка в смешивании несмешиваемых объектов. Например можно смешать водопад с животным, а с помощью негатива и весов подрегулировать "проявление" зверя.

При смешивании можно играться началом и окончанием шагов. актуально для "несмешиваемых" картинок. Если не получается - меняйте Seed.

Как скачать рабочий процесс к любой картинке, а также важные пояснения по работе со схемами вы найдёте в соответствующем разделе помощи - ComfyUI — Stalogen.ru

Как скачать рабочий процесс к любой картинке, а также важные пояснения по работе со схемами вы найдёте в соответствующем разделе помощи - ComfyUI — Stalogen.ru

Свеженькая схемка в карусельке изображений, скачивается аналогично картинкам с рабочим процессом.

Reviews

There are no reviews yet.

Be the first to review “Controlnet-referance — изменение стиля по референсу”