Блог
Опубликовано

Ускоряем Flux!

Ускорение связано с использованием:
1) nunchaku — система управления ускорением нейросетей, использующая современные методы оптимизации.

2) svdq-int4-flux — специальная сжатая версия модели Flux, использующая формат INT4 (четырехбитное квантование), который уменьшает размер модели в несколько раз без заметной потери качества.