ComfyUIuniversal
Нажмите, чтобы увеличить
Home » Категории карточек » Изменения по описанию или референсу. Inpaint

Изменения по описанию или референсу. Inpaint

Схемка универсальная, в данном разделе рассмотрим только часть функций связанных со стилями на моделях Flux(Kontext) и XL:

  • изменение стиля по описанию и/или референсу
  • режим inpaint
  • генерация изображения в стиле референса
  • смешивание изображений.

СКАЧАТЬ СХЕМУ

ComfyUI
Clear
Сравнить

Turn style

Универсальная схема позволяет получить результат несколькими способами, ниже приведены наиболее актуальные на Flux kontext svdq и на XL модели (juggernautXL_ragnarokBy):

Внимание! Если будите использовать SubModelLoader  -> "Nunchaku FLUX DiT Loader" и cache_threshold отличен от 0 - то KSampler CFG=1, иначе CFG ставите согласно рекомендациям к модели. В моём случае cache_threshold=0.12 (даёт существенное ускорение без заметной потери качества) поэтому я ставлю CFG=1

Flux kontext отлично меняет стиль, из недостатков можно отметить ограниченность количества самих стилей и их соответствие оригинальному стилю.

Turn style (Full)

Замена стиля всей картинки:

  1. image1 - загружаем картинку на которой планируется заменить стиль
  2. Выбираем модель Flux kontext в SubModelLoader
  3. Переключаем Latent в  (SubSwitch-Latent) на image1
  4. Включаем группы Generate:
    -  Positive+image1(Flux)
    -  Generator
  5. Прописываем подсказку:
    Turn this image into the <style_name> style
  6. Параметры:
    - KSampler Denoise = 0.95 - 1 регулируем силу вносимых изменений в оригинал

В примере сравнение параметра KSampler Denoise =1 (слева) и 0.95 (справа) с подсказкой:

- Turn this image into the anime style

ComfyUI_1756965118 ComfyUI_1756965443

Flux kontext отлично меняет не только стиль, но и добавляет элементы. По факту это одно и тоже. что и замена стиля по описанию. отличается лишь подсказкой и маской

inpaint

Замена стиля или добавление/изменение объекта в маске с учётом содержимого:

  1. image1 - загружаем картинку на которой планируется заменить стиль и рисуем маску, вместо ручного нанесения маски можно воспользоваться группой "automask-image1" 
  2. Выбираем модель Flux kontext в SubModelLoader
  3. Переключаем Latent -> SubSwitch-Latent на image1
  4. Включаем группы в Generate:
    - Positive+image1(Flux)
    - Generator
    - inpaint (mask)
  5. Прописываем подсказку
  6. Параметры:
    - KSampler Denoise = 0.95 регулируем силу вносимых изменений в оригинал, Зависит от размера маски (см. примечание)

Примечание:
- Чем больше маска - тем сильнее проявляется стиль и тем меньше можно выставить KSampler Denoise.
- Маска может наноситься на разные участки изображения, правило размера маски и влияния стиля будет относиться к каждой маске по отдельности!

В первом примере нанесём маску на лицо, сравним параметр KSampler Denoise = 1 (слева) и 0.95 (справа) на примере подсказки: Turn this image into the anime style

На втором нанесём маску на глаза, сравним Оригинал (слева) и Результат с параметром KSampler Denoise = 0.95 (справа) на примере подсказки: : Прозрачные круглые очки с жёлтой неоновой подсветкой

Примечание: Если вы нарисовали маску на лице а в подсказку прописали просто Orc - то изменений можете и не увидеть, максимум поменяется цвет лица на зелёный. Для Flux требуется специальная конструкция типа: Turn this image into the orc face, а в идеале нужно развёрнуто описать образ и пол для замены. Для ещё больших изменений лучше воспользоваться настройками из раздела "XL - замена стиля по описанию / референсу" -> "Примеры изменения элементов по описанию"

ComfyUI_1756966153 ComfyUI_1756966429
juggernautXL_v9Rundiffusionphoto2-Little Red Riding Hood bra portrait adult woman-1-Time_20250205234535 ComfyUI_1757354745

Отличительной особенностью XL по сравнению с Flux / Qwen, да наверное и всех позже вышедших моделей, в  соответствии оригинальному стилю. XL ещё не успел получить по шапке и поэтому стили художников знает гораздо лучше.

Turn style/element (Prompt/Referance)

Замена стиля всей картинки:

  1. image1 - загружаем картинку на которой планируется заменить стиль и
    - рисуем маску, вместо ручного нанесения маски можно воспользоваться группой "automask-image1" - в этом случае генерация будет происходить в квадратной области маски с последующим наложением на оригинал
    - не рисуем маску - в этом случае перегенерация будет происходить на всём изображении
  2. Выбираем модель XL в SubModelLoader
  3. Переключаем Latent (SubSwitch-Latent) на image1
  4. Включаем группы в FaceSwap-StyleSwap(XL):
    - Generator
    - CopyStyle(XL) для копирования стиля с image3. В ноде StyleTransfer weight_type=style transfer
    - ControlNet1-general (для сохранения композиции).
  5. Если есть картинка со стилем, то подгружаем изображение с референсом в image3. Если нет референса - тогда прописываем подсказку, например:
    art by <style_name> style - если хотим поменять стиль
    made in <material> - если хотим поменять материал
    <описание элемента для замены> - если хотим заменить элемент
  6. Параметры:
    - KSampler Denoise=0.65-1 регулируем силу вносимых изменений в оригинал
    - ControlNet-general лучше всего понравилась модель controlnetxlCNXL_2vxpswa7AnytestV4 - (позволяет копировать композицию изображения и позу человека. скачать можно с цивитая), а Preprocessor переводим в положение none, силу=0.5 - увеличиваем для усиления сходства с оригиналом за счёт потери стиля, начало=0 и конец=1. Для усиления оригинала дополнительно можно подключить второй ControlNet, и выбрать линейный препроцессор, или его аналоги для получения основных черт изображения сила=0.5, начало=0 и конец=0.5.
  7. Проверяем источник сохранения Switch (Result) - в зависимости от подключаемых групп и наличия маски

Примечание:

- Маска может наноситься на разные участки изображения

- для сохранения черт лица можно подрубить один или несколько FaceSwap групп предварительно поместив оригинал не только в image1, но и image2.

 

В примере сравнение параметра Маски на лицо и волосы (слева) и без маски (справа) с подсказкой: art by Frank Miller style. включён только ControlNet1-general сила=0.5 . Без Референса стиля.

Полезные ссылки: Кто такой Frank Miller / Стили Artist

ComfyUI_1757223449 ComfyUI_1757223679
Пример влияния второго Controlnet

- Слева включён только ControlNet1-general сила=0.5 .

- Справа  дополнительно подключён второй ControlNet2 сила=0.5, начало=0 и конец=0.5. 

Второй ControlNet2 усиливает оригинал

ComfyUI_1757223679 ComfyUI_1757224301
Примеры влияния силы Controlnet

Усиление оригинала путём увеличения ControlNet -> сила =0.5/0.75/0.9/1. Включён только ControlNet1-general

Примеры изменения элементов по описанию

Помимо изменения стиля XL способен отлично менять элементы, это конечно не Flux Kontext или Qwen Edit и далеко не Banana - но тем не менее результат достойный, особенно для слабого железа.  Отличительной особенностью использования XL с использованием "FaceSwap-StyleSwap(XL)" от Flux с "Generate" - в значительном изменении оригинала, а ControlNet нужен только для согласования изображений.

В примере пропишем подсказку: Orc, и нарисуем маску на лице и волосах

- CopyStyle(XL) отключаем если не используем image3 в качестве референса стиля.

На сравнении полная перегенерация и последующая вставка в маску на "лицо и волосы" без использования референса стиля.

Примечание: Это не inpaint. Это функция замены изображения в маске с согласованием изображений через Controlnet. Для полноценного inpaint используйте соответствующие настройки в разделе "Flux - inpaint".

Отличительной особенностью "Flux-Inpaint" является сохранение основы, например отлично одевает очки на глаза с сохранением самих глаз, а в текущем использовании происходит гораздо более сильные изменения и глаза перерисовываются полностью, даже с учётом Controlnet глаза будут отличаться как в деталях, так и по цвету. Однако XL лучше справляется с сильной заменой.

ComfyUI_1757308768 ComfyUI_1757307657

Ещё одним интересным применением схемы является замена материала по референсу. 

Turn material

Замена материала:

  1. image1 - загружаем картинку на которой планируется заменить стиль и
    - рисуем маску, вместо ручного нанесения маски можно воспользоваться группой "automask-image1" - в этом случае генерация будет происходить в квадратной области маски с последующим наложением на оригинал
    - не рисуем маску - в этом случае перегенерация будет происходить на всём изображении
  2. Выбираем модель XL в SubModelLoader
  3. Переключаем Latent (SubSwitch-Latent) на image1
  4. Включаем группы в FaceSwap-StyleSwap(XL):
    - Generator
    - CopyStyle(XL) для копирования с стиля с image3. В ноде StyleTransfer weight_type=style transfer, start_at=0.05-0.1, weight=1-1.35
    - ControlNet1-general (для сохранения композиции).
  5. image3 - подгружаем изображение с референсом материала . Материал желательно что бы был на однородном белом фоне и имел абстрактную форму.
  6. Параметры:
    - KSampler Denoise=1 регулируем силу вносимых изменений в оригинал
    - ControlNet-general лучше всего понравилась модель controlnetxlCNXL_2vxpswa7AnytestV4 - (позволяет копировать композицию изображения и позу человека. скачать можно с цивитая),  ControlNet сила=1, начало=0 и конец=1. ControlNet Type type=auto, AIO Aux Preprocessor Preprocessor=none,  
  7. Проверяем источник сохранения Switch (Result) - в зависимости от подключаемых групп и наличия маски

Важное примечание: не забывайте, можно ещё добавить подсказку и эффект выйдет вообще бомба!

В особых случаях можно подключить второй ControlNet.

i ComfyUI_1757912208
i ComfyUI_1757915481
Пример замены квазиматериала

Воспользуемся подсказкой: 3D sci-fi glow red letters, on a simple gray background 

Пример замены из нескольких материалов

Воспользуемся подсказкой: made in spaghetti and hot dog sausages 

S600xU_2x ComfyUI_1758000847
ComfyUI_1758001346

Отличное применение стиля к новой генерации.

Смешивание изображений

1. image3 загружаем референс стиля. Все остальные image1 и image2 отключаем. Качество референса ВЛИЯЕТ на качество результата, старайтесь использовать чёткие образцы не менее чем 1024*1024px.

2. Latent -> SubSwitch-Latent выбираем Latent Empty - пустой латент, соответственно выставляем нужное нам разрешение. используя ноду Latent Empty

3. Включаем в FaceSwap-StyleSwap(XL):
- CopyStyle(XL) для копирования стиля image3, выставляем StyleTransfer weight_type=style transfer. start_at=0.35 - начало влияния стиля ставим позже если хотим что бы референс меньше менял исходную композицию и наоборот, если хотим поместить генерацию во вселенную референса то уменьшаем значение. Силу влияния стиля регулируем параметром weight=1.35

- Generator, denoise=1.

4. Прописываем свою подсказку для новой генерации.

Проверим результат на подсказке используемой в разделе референсы:

lady of the winter, extrem close up, sexy and mysterious silhouette, billowing transparent veil, watercolor painting, graffiti style, fantasy concept art, artistic photorealism, smooth, great masterwork by head of prompt engineering, amazing depth , simple background, great brush artwork

Сравним start_at=0 используется в разделе референсы и такие значения как 0.3 / 0.45 - для оценки влияния референса на композицию и степень сходства стиля.

Бонус - по тому как это хитрость с подсказкой от референса накладываемой на оригинал. Т.е. по факту не стиль прописывается, а элементы которые должны быть на результирующем изображении. И дополнительно накладывается стиль референса на оригинал через композицию референса.

Смешивание изображений

 Смешиваемые изображения помещаем в image1 (оригинал) и image3 (референс).

Включаем в FaceSwap-StyleSwap(XL):
- CopyStyle(XL) для копирования композиции image3, выставляем StyleTransfer weight_type=composition
- Generator
- AutoPrompt, в "image3 - AutoPositive3" для создания подсказки подмешивания в ноду "Что сделать с подсказкой?" - можно вставить:

Опиши кратко основу композиции. Your response must consist of concise instruction ready for the image generating AI. Do not add any conversational text, explanations, or deviations; only the instructions. Give your answer in one line without formatting, in English. Fit the answer into 12 tokens.

Силу влияния image3 на image1 регулируем параметром KSampler denoise=0.6-1 и параметрами в StyleTransfer

Ещё один сильный параметр ControlNet сила=0.5-1.5 - сила оригинала

Примеры без подсказок - влияние Denoise

В зависимости от исходников можно обойтись без подсказки, для этого объекты и ракурсы должны хотя бы приблизительно соответствовать друг другу.

Усиление оригинала

Для усиления оригинала включаем AutoPrompt -> image1 - AutoPositive1. В ноду "Что сделать с подсказкой?" прописываем что-то типа: 

Оставь только описание композиции. Убери описание стиля и всего остального.

Your response must consist of concise instruction ready for the image generating AI. Do not add any conversational text, explanations, or deviations; only the instructions. Give your answer in one line without formatting, in English. Fit the answer into 12 tokens.

Усиление референса стиля

Для усиления оригинала включаем AutoPrompt -> image3 - AutoPositive3. В ноду "Что сделать с подсказкой?" прописываем что-то типа: 

Оставь только описание стиля и техники в котором выполнено изображение и основные компоненты. Допускается указать основной изображаемый материал и тип техники получения изображения, освещения, теней и технологии рисования.

Your response must consist of concise instruction ready for the image generating AI. Do not add any conversational text, explanations, or deviations; only the instructions. Give your answer in one line without formatting, in English. Fit the answer into 12 tokens.

Примеры с "Усилением референса стиля"

Используя "Усиление референса стиля" без использования Controlnet можно добиться так же весьма интересных вариантов.

a03a371408c9abda36aea938ba35c534 ComfyUI_1756981748
ComfyUI_1756982012

Reviews

There are no reviews yet.

Be the first to review “Изменения по описанию или референсу. Inpaint”