Loopback Scaler

Назначение

Loopback Scaler - добавляет детальки, цвет, контраст и яркость, добавляет размытие и сглаживание. немного увеличивает изображение - но не предназначен для кратного увеличения. Основное назначение - сделать качественным исходник для последующего увеличения в других Upscaler. Так же подходит для сценария переделки картинки в определённой стилистике согласно возможностям основной модели. Работает только в img2img с готовой картинкой. Исходный Prompt - очень многое решает в img2img, поэтому крайне рекомендуется оставить исходную подсказку и негатив от оригинальной генерации. Не подходит для увеличения лиц реальных людей - вносит изменения искажающие черты.

[Scarlett Johansson : Sailor Moon :0.1]

Negative prompt: (worst quality:2), (low quality:2), (normal quality:2), dot, mole, lowres, cropped, jpeg artifacts, ugly, duplicate, morbid, mutilated, out of frame, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 123123128, Size: 768x768, Model hash: d37263937f, Model: epicphotogasm_z, Style Selector Enabled: True, Style Selector Randomize: False, Style Selector Style: base, Version: v1.6.0-2-g4afaaf8a

Краткие выводы
  • Чем хуже исходник - тем больше смысла в использовании скрипта. Назначение скрипта - сделать из говна конфетку.
  • Наряду с используемой основной моделью, так же очень важен Prompt. Внимательно прочтите подсказку и негатив, пропишите то что хотите увидеть, укажите на что обратить внимание при генерации, хотя бы просто перечислив элементы.
  • Если хотим сохранить само изображение, важно взять подсказку от оригинала и поменьше выставить
  • Результат как и параметры очень сильно разнятся от модели выставленной вами для генерации. В материале я рассмотрел лишь одну конкретную модель.

Результат на вкус и цвет товарища нет.

Настройки для тестов

Внимание!! Настройки, как и результат будут зависеть конкретно от Вашей модели, в данном случае рассматривается пример с моделью epicphotogasm_z. Однако концепт выводов в среднем справедлив для всех моделей. 

Sampling steps = 30-40, увеличение шагов положительно сказывается на качестве. Я рекомендую 2-3 шага на каждый Loops.

Sampler = DDIM, лучше всего выходят детали волос

CFG Scale = 6-8, чем меньше тем более реалистичный результат.

Denoising strength = 0.2-0.4, большее значение позволяет больше изменять оригинал. 0.1 - для сохранения оригинала

Loops = 4 - 10 количество итераций подмешивания шума на протяжении всех шагов. Чем больше, тем больше вероятность появления деталей, но и выше появление артефактов. Однако при небольшом DS и увеличении шагов на 2-3 для каждого Loops вероятность дефектов минимальна, а результат более выразительный.

Denoise Change = 1.03-1.07, уровень шума добавляемый в каждом Loop цикле. В среднем 1.05 даёт неплохой результат.

Add Detail = high, добавляем детальки, то ради чего тут и собрались.

Maximum Image Width и Maximum Image Height = оставляем по умолчанию (в примере ниже 1024-1024, несмотря на соотношение сторон, если выставить больше - жрёт ресурсов много, очень много - это не апскейлер!) 

Все остальные крутиляторы понятны исходя из их названия.

Установка

Ссылка на скрипт: github

Жмякаем на зелёную кнопичку Code. В открывшейся области выбираем Download ZIP, распаковываем по пути stable-diffusion-webui\scripts\

В режиме img2img, в самом низу, в перечне выбора скриптов должен появиться Loopback Scaler

Основные тесты

тест с исходным prompt

Допустим у нас есть исходный Prompt и мы хотим повысить качество картинки. Под качеством будем понимать увеличение детализации и натуральности.

Исходник и настройки возьмём из шапки материала. Проведём тесты:

Тест шагов
768на768 20 768 40
1024 - 20 1024 - 40

Тест на Maximum Image Width и Maximum Image Height 768-768 и 1024-1024 при 20 и 40 шагах в сравнении

Выводы
  • шаги нужно увеличивать, разница между 20 и 40 очевидна невооружённым взглядом. Кашу маслом не испортишь.
  • исходное изображение должно быть меньше чем указано в настройках ширины и высоты самого скрипта.
Тест Denoising strength
Выводы
  • Чем больше Loops тем меньше должен быть Denoising strength, т.к. каждый loop будет подмешивать шум с силой DS и при большом количестве получим большое изменение исходника. Для сохранения исходника рекомендуется держаться в пределах 0.1 - 0.15
Тест Loops
Выводы
  • Чем больше Loops на меньшем Denoise Change тем лучше. Лучше чаще мешать кашу по чуть-чуть, чем пару раз хорошо промешать и забыть.
  • Чем меньше Denoising strength (0.1-0.15), Loops (до 10), Denoise Change (до 1,05) и больше шагов (2 умножить на Loops) - тем ближе результат к исходнику.

тест с неизвестным prompt

Допустим у нас нет исходного Prompt и мы хотим повысить качество картинки. Под качеством будем понимать увеличение детализации и натуральности.

Настройки такие же как и при отсутствии Prompt, отличие только в подсказке.

Тест Loops
epicphotogasm_z-scarlett-johansson-sailor-moon-0-1-123123128-time_20231203171653 epicphotogasm_z-RAW analog detailed face blushing detailed glossy eyes-1-Time_20231205215535

Сравнение Оригинала с придуманным описанием

Выводы

Очень и очень неплохо, при условии что это без исходника, а подсказка на отшибись. Внимание: черты лица при таком подходе меняются, не помогает даже controlnet с несколькими вкладками (tile/blur - не работает корректно)

Вот подсказка, кидать в img2img (или перекинуть картинку слева прям в Автоматик):

(RAW,analog), (detailed face), blushing, detailed glossy eyes, sharp, details, 8k, absurdes, pov, hi res, highly intricate details, analog, raw, cinestill, volumetric lighting, deep rich colors, ((zoomout)), lighting, shadows, expressive view of the camera, a light smile, ajar mouth, black eyebrows, long_eyelashes

Negative prompt: (worst quality:1.4), (low quality:1.4), (normal quality:1.4), (disfigured:1.3)

Steps: 60, Sampler: DDIM, CFG scale: 7, Seed: 10, Size: 1024x1024, Model hash: d37263937f, Model: epicphotogasm_z, Denoising strength: 0.1, Denoising strength change factor: 1.05, Dimension increment factor: Linear, Add Detail: High, Add Blur: None, Smoothing: None, Contour: False, Sharpness: 1, Brightness: 1, Color Strength: 1, Contrast: 1, Style Selector Enabled: True, Style Selector Randomize: False, Style Selector Style: base, Version: v1.6.0-2-g4afaaf8a

Тест с неизвестными данными

Допустим у нас есть только картинка. Сравним перерисовку с разными моделями, а так же с применением скрипта LOOPBACK SCALER и без него.

Если забежать вперёд и сделать пару выводов - то применение скрипта явно положительно сказывается на детализации которая помимо настроек будет зависеть как от подсказки, так и основной модели.

Исходники
Настройки для тестов

Prompt не претендует на гениальность, тупа набросал не задумываясь. Это лишь пример.

(RAW,analog), (detailed face), blushing, detailed glossy eyes, sharp, details, 8k, absurdes, pov, hi res, highly intricate details, analog, raw, cinestill, volumetric lighting, deep rich colors, ((zoomout)), lighting, shadows, expressive view of the camera, a light smile, ajar mouth, black eyebrows, long_eyelashes

Negative prompt: (worst quality:1.4), (low quality:1.4), (normal quality:1.4), (disfigured:1.3)

Steps: 60, Sampler: DDIM, CFG scale: 7, Seed: 19, Size: 512x1024, Model hash: d37263937f, Model: epicphotogasm_z, Denoising strength: 0.2, Denoising strength change factor: 1.05, Dimension increment factor: Linear, Add Detail: High, Add Blur: None, Smoothing: None, Contour: False, Sharpness: 1, Brightness: 1, Color Strength: 1, Contrast: 1, Style Selector Enabled: True, Style Selector Randomize: False, Style Selector Style: base, Version: v1.6.0-2-g4afaaf8a

Тест на разных моделях
Выводы

Не все реалистичные модели справляются с реалистичной картинкой, да и настройки будут зависеть конкретно от Вашей модели. Хотя некие модели из другой категории могут неплохо придать стиль - что открывает простор для творчества. Ведь теперь можно взять фотку дивчины и запилить анимеху в пару кликов с одновременным увеличением детализации. Потом апскейл, печать и в рамку, чай вино, потанцуем, полежим...

Применение стиля

Если задача сделать анимешку, то и описание должно включать аниме стиль

meinamix_meinaV11-RAW analog detailed face blushing detailed glossy eyes-10-Time_20231205234535 meinamix_meinaV11-anime artwork anime style key visual vibrant studio-19-Time_20231206091932

Реализм VS Аниме

Тест сравнения с обычной перерисовкой в img2img
meinamix_meinaV11-realistic 1girl blue hair horns multicolored eyes glowing-2936873199-Time_20231205230249 epicphotogasm_z-RAW analog detailed face blushing detailed glossy eyes-10-Time_20231205230641
meinamix_meinaV11-realistic 1girl blue hair horns multicolored eyes glowing-2936873199-Time_20231205230249 epicphotogasm_z-RAW analog detailed face blushing detailed glossy eyes-10-Time_20231206001440

Сравнение оригинала со скриптом VS сравнение оригинала с перегенерацией в img2img без скрипта.

Выводы

Несмотря на то, что оригинал был создан на анимешной модели, а мы хотим добиться реализма (я хочу по крайней мере), в режиме без скрипта выходит явно невзрачненько. Таким образом, для подготовки исходника для последующего апскейла, применение скрипта явно оправдано.

Добавить комментарий