Diffusers documentation
SD3Transformer2D
SD3Transformer2D
Этот класс полезен, когда только загружаются веса в SD3Transformer2DModel. Если вам нужно загрузить веса в текстовый энкодер или в текстовый энкодер и SD3Transformer2DModel, используйте вместо этого класс SD3LoraLoaderMixin.
Класс SD3Transformer2DLoadersMixin на данный момент загружает только веса IP-Adapter, но в будущем будет использоваться для сохранения весов и загрузки LoRA.
Чтобы узнать больше о том, как загрузить веса LoRA, см. руководство по загрузке LoRA.
SD3Transformer2DLoadersMixin
Загрузите IP-Adapters и слои LoRA в [SD3Transformer2DModel].
_load_ip_adapter_weights
< source >( state_dict: dictlow_cpu_mem_usage: bool = True )
Параметры
- state_dict (
Dict) — Словарь состояний с ключами “ip_adapter”, содержащим параметры для процессоров внимания, и “image_proj”, содержащим параметры для сети проекции изображений. - low_cpu_mem_usage (
bool, необязательный, по умолчаниюTrue, если версия torch >= 1.9.0, иначеFalse) — Ускоряет загрузку модели, загружая только предобученные веса и не инициализируя их. Это также позволяет не использовать более 1x размера модели в оперативной памяти CPU (включая пиковое потребление) при загрузке модели. Поддерживается только для PyTorch >= 1.9.0. Если вы используете более старую версию PyTorch, установка этого аргумента вTrueвызовет ошибку.
Устанавливает процессоры внимания IP-Adapter, проекцию изображения и загружает state_dict.