Diffusers

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

HiDreamImageTransformer2DModel

Um modelo Transformer para dados semelhantes a imagens do HiDream-I1.

O modelo pode ser carregado com o seguinte trecho de código.

from diffusers import HiDreamImageTransformer2DModel

transformer = HiDreamImageTransformer2DModel.from_pretrained("HiDream-ai/HiDream-I1-Full", subfolder="transformer", dtype=torch.bfloat16)

Carregando checkpoints quantizados GGUF para HiDream-I1

Os checkpoints GGUF para o HiDreamImageTransformer2DModel podem ser carregados usando ~FromOriginalModelMixin.from_single_file

import torch
from diffusers import GGUFQuantizationConfig, HiDreamImageTransformer2DModel

ckpt_path = "https://huggingface.co/city96/HiDream-I1-Dev-gguf/blob/main/hidream-i1-dev-Q2_K.gguf"
transformer = HiDreamImageTransformer2DModel.from_single_file(
    ckpt_path,
    quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16),
    dtype=torch.bfloat16
)

HiDreamImageTransformer2DModel

classe diffusers.HiDreamImageTransformer2DModel

< source >

( patch_size: int | None = Nonein_channels: int = 64out_channels: int | None = Nonenum_layers: int = 16num_single_layers: int = 32attention_head_dim: int = 128num_attention_heads: int = 20caption_channels: list[int] = Nonetext_emb_dim: int = 2048num_routed_experts: int = 4num_activated_experts: int = 2axes_dims_rope: tuple[int, int] = (32, 32)max_resolution: tuple[int, int] = (128, 128)llama_layers: list[int] = Noneforce_inference_output: bool = False )

forward

< source >

( hidden_states: Tensortimesteps: LongTensor = Noneencoder_hidden_states_t5: Tensor = Noneencoder_hidden_states_llama3: Tensor = Nonepooled_embeds: Tensor = Noneimg_ids: typing.Optional[torch.Tensor] = Noneimg_sizes: list[tuple[int, int]] | None = Nonehidden_states_masks: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parâmetros

hidden_states (torch.Tensor de forma (batch_size, in_channels, height, width) ou (batch_size, patch_height * patch_width, patch_size * patch_size * channels)) — hidden_states de entrada.
timesteps (torch.LongTensor) — Usado para indicar o passo de desruido.
encoder_hidden_states_t5 (torch.Tensor) — Incorporações condicionais calculadas a partir do codificador de texto T5.
encoder_hidden_states_llama3 (torch.Tensor) — Incorporações condicionais calculadas a partir do codificador de texto Llama3.
pooled_embeds (torch.Tensor) — Incorporações de texto agregadas usadas para condicionamento adicional.
img_ids (torch.Tensor, opcional) — ids de posição das imagens para os estados ocultos em patches.
img_sizes (list de tuple de int, opcional) — Tamanhos da grade de patches por amostra usados para despatchificar a saída.
hidden_states_masks (torch.Tensor, opcional) — Máscara sobre hidden_states com patches.
attention_kwargs (dict, opcional) — Um dicionário de kwargs que, se especificado, é passado ao AttentionProcessor conforme definido em self.processor em diffusers.models.attention_processor.
return_dict (bool, opcional, padrão True) — Se deve ou não retornar um ~models.transformer_2d.Transformer2DModelOutput em vez de uma tupla simples.

O método forward do HiDreamImageTransformer2DModel.

Transformer2DModelOutput

classe diffusers.models.modeling_outputs.Transformer2DModelOutput

< source >

( sample: torch.Tensor )

Parâmetros

sample (torch.Tensor de forma (batch_size, num_channels, height, width) ou (batch size, num_vector_embeds - 1, num_latent_pixels) se Transformer2DModel for discreto) — A saída dos estados ocultos condicionada à entrada encoder_hidden_states. Se discreto, retorna distribuições de probabilidade para os pixels latentes sem ruído.

A saída de Transformer2DModel.

Update on GitHub

←HeliosTransformer3DModel HunyuanDiT2DModel→