выводы

Сразу, что бы вы не тратили своё время на чтение, скажу следующее: Если Вы по каким-то религиозным и прочим соображениям не можете использовать IP-adapter (который делает всё в разы лучше) то вам следует придерживаться правила максимального совпадения описания в подсказке с референсом. Описание можете подгрузить из Intrerrogater. Лучше всего накладывается референс предмета на предмет.

настройки referance

Reference - это один из способов скопировать стиль с подгруженной в ControlNet картинки. Сразу скажу - этот метод, на момент написания материала, работает хуже чем IP-Adapter. Но, тем не менее для осознания применения лучше десять раз проверить, авось пригодится...

Итак, Referance - набор препроцессоров в с отсутствующей управляющей моделью.

Есть 3 препроцессора: Reference adain и Reference only отличаются методами работы, в принципе тут можно насыпать кучу умных слов, но лучше рассмотреть на примере. И Reference adain+attn - совокупность этих двух методов.

Ползунок Style Fidelity (only for "Balanced" mode) - управляет балансом между Prompt и стилем с подгруженной картинки, при условии выбора режима Control Mode – Balanced. 

Так же нам понадобятся регулировки Control Weight - сила с которой будет копироваться стиль, Starting Control Step и Ending Control Step - Начальный шаг и конечный шаг включения в работу модели ControlNet.

Есть картинка, нет описания, как скопировать стиль?

Копируем стиль и вставляем в позу

tmps5ter4ua reference_only

Поза и оригинал

  • Закидываете Референс в первую вкладку ControlNet, выбираем из группы Referance препроцессор например reference_only.
  • Если Вам нужна определённая поза, действуйте согласно материалу о позах во второй вкладке. Я для примера использовал готовую позу.
  • Обязательно правите описание- не можете сами, поставьте Interrogator (описание полученное из этого расширения будет ниже)
  • Выбираете основную модель которая может воспроизвести стиль с референса, чем точнее подберёте, тем чётче будет результат.

Начальный Prompt

Что бы было удобнее сравнивать различные варианты работы препроцессоров, заставим генерацию принять позу пользуясь  OpenPose. А в подсказку запихнём результат interrogatora - расширения позволяющего получить приблизительную подсказку.

Описание предложенное Interrogator:

a woman with orange hair and a fire, swirly body painting, photoreal render, splash art, full - body artwork, realistic painting style, splashes of liquid, flying scarlet phoenix, molten plastic, tattooed pinup, lava and smoke, drenched clothing, body paint

a woman with orange hair and a fire, swirly body painting, photoreal render, splash art, full - body artwork, realistic painting style, splashes of liquid, flying scarlet phoenix, molten plastic, tattooed pinup, lava and smoke, drenched clothing, body paint

Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 4, Size: 512x768, Model hash: ec41bd2a82, Model: photon_v1, Style Selector Enabled: True, Style Selector Randomize: False, Style Selector Style: base, ControlNet 0: "Module: reference_only, Model: None, Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Threshold A: 0.5, Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced", ControlNet 1: "Module: dw_openpose_full, Model: controlnet11Models_openpose [73c2b67d], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Processor Res: 512, Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced", Version: v1.6.0

сравнение препроцессоров

Собственный Prompt  сравниваем с описанием полученным из Iterrogator.

photon_v1-referance photon_v1

Референс VS Описание из Interrogator
Модель совпадает с референсной - что бы понять на сколько точно описание также используется поза в Openpose

Если референс и центральный объект композиции в подсказке согласуются - то всё работает без проблем.

Референс
Исходник без ControlNet (Модель Photon1)

Porsche
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 7, Size: 768x512, Model hash: ec41bd2a82, Model: photon_v1, Style Selector Enabled: True, Style Selector Randomize: False, Style Selector Style: base, Version: v1.6.0

photon_v1-Porsche-7-Time_20231031092851 photon_v1-Porsche-6-Time_20231031094003

Reference VS ip-adapter

Возьмём для теста пример в котором референс предмет, описание от предмета, а нам нужен человек в качестве центрального объекта композиции. Дополним описание человеком и во вторую вкладку ControlNet закидываем позу человека - без позы никак, т.к. писание нужно править более тщательно, а не как в примере добавляя свои хотелки к уже существующей подсказке, тем не менее посмотрим что выйдет. Ещё раз, это тестовый пример, поэтому добавляем объект человека к уже готовому варианту описания автомобиля. Так делать не надо! Для этого эти тесты и сделаны. 

1people, (full body:1.4), side view, full-length image,
smiling at camera, skin_details, perfect teeth, (detailed face), blushing, detailed glossy eyes, sharp, details, 8k, absurdes, pov, hi res, highly intricate details, analog, raw, cinestill, volumetric lighting, deep rich colors, ((zoomout)),
bugatti bugatti bugatti bugatti bugatti bugatti bugatti bugatti bugatti bugatti bugatt, in an arena in movie dune-2021, made of liquid metal, by Ben Enwonwu, hiper detailed, metabaron, qirex, black gold light blue, parking in the street, photo render, wet climate, mercedez benz, future!!

Negative prompt: (worst quality:2), (low quality:2), (normal quality:2), dot, mole, lowres, cropped, jpeg artifacts, ugly, duplicate, morbid, mutilated, out of frame, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 4, Size: 512x768, Model hash: 9aba26abdf, Model: deliberate_v2, Style Selector Enabled: True, Style Selector Randomize: False, Style Selector Style: base, ControlNet 0: "Module: ip-adapter_clip_sd15, Model: ip-adapter_sd15_plus [32cd8f7f], Weight: 0.5, Resize Mode: Crop and Resize, Low Vram: False, Processor Res: 512, Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced", ControlNet 1: "Module: dw_openpose_full, Model: controlnet11Models_openpose [73c2b67d], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Processor Res: 512, Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced", Version: v1.6.0

Добавить комментарий