PuLID — замена лица

Идеальный, универсальный рецепт состоит из одной, двух или всех трёх частей:

1. Получение формы черепа соответствующей референсу (ip-adapter)
2. Наложение грима на полученный череп (FaceswapLab и ReActor)
3. Увеличение изображения с устранением косяков.

Результат будет зависеть от того что вы хотите:

1. Сгенерировать картину с новым лицом
2. Сгенерировать окружение вокруг лица
3. заменить лицо на существующем изображении, при этом у Вас может иметься исходный Prompt, так и не быть его.

При этом следует придерживаться следующих моментов: 

• Подсказка не должна конфликтовать с референсом. Подсказка служит для согласования стиля референса и генерируемого изображения, она должна включать не только то что вы хотите сгенерировать, но и описание референса, если не можете описать то воспользуйтесь расширением interrogator. Подсказка меняет референс, вплоть до того что может всё испортить - поэтому не стоит писать отсебятину, пишем только конкретику согласующуюся с референсом. В данном случае лучше не дописать чем переписать. В режиме img2img подсказку можете не писать, лору прописывать обязательно при использовании FaceID.
• В Controlnet закидываем референс - от него многое зависит, можно и на первом этапе получить отличный результат, особенно на XL модели. Если используем маску то желательно что бы референс имел как можно больше общего с исходником. Стиль референса лица (цвета, эффекты и прочее) в любом случае будут оказывать влияние на исходник. Control Weight = 1.3 постепенно можно увеличить до 2, в зависимости от используемой модели для генерации. Во вкладку Multi-input можно помещать несколько референсов - актуально если есть несколько фоток с небольшим изменением ракурса лица или освещением. Рядом с препроцессором щёлкаем солнышко, не должно быть ошибок в консоли, иначе меняем референс. face_id и PuLID препроцессор более привередлив к лицу на референсе, нежели другие, иногда требует более отдалённый портрет нежели обрезанное лицо. Preprocessor и Model Подбираем согласно таблице и используемой модели для генерации, в последних версиях Controlnet появилась возможность автоматического выбора Preprocessor если выставить ip-adapter-auto. XL - требует ресурсов больше, но результат лучше чем SD1.5 уже на первом этапе.
• Другие настройки:
  CFG=1 для lighting моделей, и CFG=7 для обычной XL или SD1.5
  Разрешение выбираем согласно рекомендациям к модели и вашего соотношения.
  Семплер опять-таки выбираем исходя из рекомендаций к моделям, Неплохо отрабатывает Sampler=DPM++ SDE Karras или DPM++ SDE SGM Uniform (обязательны для lighting/Turbo моделей).
  Количество шагов так же подбираем исходя из модели, для Lighting (Turbo)=4-12, для обычных моделей 20 или чуть больше.
• Если итоговый результат с одним только применением ip-adapter нас не устраивает (и перепробовали все референсные фотки с лицом), тогда включаем FaceSwapLab и ReActor в каждый из которых по возможности засовываем немного отличающиеся референсы. Решающий референс будет FaceSwapLab, т.к. он отрабатывает последним. В этом случае задача ip-adapter сводится к формированию правильной формы черепа, не более.
  Последовательность запуска расширений для замены лиц играет решающую роль. при желании последовательность можно поменять в настройках SD. Дело в том, что по умолчанию сначала запускается IP-Adapter, а уже на полученный результат накладывается ReActor, и уже затем в FaceSwapLab - это при их одновременной активации. Ещё точнее, IP-Adapter получает позу лица (форму черепа, ориентацию лица относительно камеры, и мимику), а уже затем с каждым шагом накладывает лицо и стиль с референса на генерацию. После получения некоего результата, это изображение отправляется в ReActor и только затем уже в FaceSwapLab. И чем лучше будет результат на каждом этапе, тем лучше будет общий результат. Решающее значение будет иметь референс лица помещённый в последнее включенное расширение, (IP-Adapter, ReActor или FaceSwapLab). В этом же последнем расширении нужно включить Restore face выбрав из списка CodeFormer или GFPGAN, тем самым мы устраним размытость при замене лица.
• Для сохранения исходной композиции оригинала - нужно использовать маску в режиме img2img в inpaint вкладке, DS ставим 0.75, и постепенно понижаем до 0.5 - особенно актуально для сложной эмоции на оригинале. На этой же вкладке можно менять часть лица, лицо человека на нечеловеческое, одежду, тело или его часть на референсное (FaceID модели подойдут только для лица человека).
• Для передачи стиля из подсказки необходимо понизить параметр в controlnet под названием Control Weight в район 0.5-0.8 и прервать влияние Controlnet на определённом этапе используя параметр Ending Control Step - попробовать интервал 0.25-0.4. Так же для передачи стиля рекомендуется использовать модель ip-adapter_pulid_sdxl_fp16 и тогда можно меньше заморачиваться с дополнительными параметрами, т.к. эта модель хорошо передаёт стиль.
• Для замены на нечеловеческие лица, отлично подходит XL связка препроцессора ip-adapter_clip_sdxl и модели ip-adapter-plus_sdxl_vit-h на разрешении 1024-1024 px.
• Вместо ip-adapter Вы можете воспользоваться Instant_ID. В этом случае Lora не понадобится, но нужно использовать 2 вкладки Controlnet. С второй вкладки будет браться только расположение лица по глазам и рту, можно подсовывать любое изображение. При этом на вкладках нужно выбрать соответствующие препроцессоры и заранее скачанные модели (см. таблицу). Этот вариант актуален для большей стилизации вставляемого лица под описание или согласование в режиме img2img. Но также, данный вариант более требователен к видеопамяти, поэтому в Controlnet рекомендую включать галочку Low_RAM если видео памяти менее 12ГБ.

Внимание: для увеличения изображения с одновременным улучшением на заключительном этапе можно воспользоваться программкой из серии Topaz - работает быстро, но качество для заменённых лиц заметно выше всё же в SD если внимательно ознакомиться с пунктом "увеличение изображения после замены лица"