Hugging Face's logo

Diffusers documentation

HunyuanVideoTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.43.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanVideoTransformer3DModel

Model Diffusion Transformer untuk data video 3D diperkenalkan dalam HunyuanVideo: A Systematic Framework For Large Video Generative Models oleh Tencent.

Model dapat dimuat dengan potongan kode berikut.

from diffusers import HunyuanVideoTransformer3DModel

transformer = HunyuanVideoTransformer3DModel.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder="transformer", dtype=torch.bfloat16)

HunyuanVideoTransformer3DModel

kelas diffusers.HunyuanVideoTransformer3DModel

< >

( in_channels: int = 16out_channels: int = 16num_attention_heads: int = 24attention_head_dim: int = 128num_layers: int = 20num_single_layers: int = 40num_refiner_layers: int = 2mlp_ratio: float = 4.0patch_size: int = 2patch_size_t: int = 1qk_norm: str = 'rms_norm'guidance_embeds: bool = Truetext_embed_dim: int = 4096pooled_projection_dim: int = 768rope_theta: float = 256.0rope_axes_dim: tuple[int, ...] = (16, 56, 56)image_condition_type: str | None = None )

Parameter

  • in_channels (int, defaultnya 16) — Jumlah channel pada input.
  • out_channels (int, defaultnya 16) — Jumlah channel pada output.
  • num_attention_heads (int, defaultnya 24) — Jumlah head yang digunakan untuk multi-head attention.
  • attention_head_dim (int, defaultnya 128) — Jumlah saluran di setiap head.
  • num_layers (int, defaultnya 20) — Jumlah lapisan blok dual-stream yang akan digunakan.
  • num_single_layers (int, defaultnya 40) — Jumlah lapisan blok single-stream yang akan digunakan.
  • num_refiner_layers (int, defaultnya 2) — Jumlah lapisan blok refiner yang akan digunakan.
  • mlp_ratio (float, defaultnya 4.0) — Rasio ukuran lapisan tersembunyi terhadap ukuran input dalam jaringan feedforward.
  • patch_size (int, defaultnya 2) — Ukuran patch spasial yang akan digunakan di lapisan patch embedding.
  • patch_size_t (int, defaultnya 1) — Ukuran patch temporal yang digunakan di lapisan patch embedding.
  • qk_norm (str, defaultnya rms_norm) — Normalisasi yang digunakan untuk proyeksi query dan key pada lapisan attention.
  • guidance_embeds (bool, defaultnya True) — Apakah akan menggunakan guidance embeddings dalam model.
  • text_embed_dim (int, defaultnya 4096) — Dimensi input dari text embeddings yang berasal dari text encoder.
  • pooled_projection_dim (int, defaultnya 768) — Dimensi dari pooled projection dari text embeddings.
  • rope_theta (float, defaultnya 256.0) — Nilai theta yang digunakan di lapisan RoPE.
  • rope_axes_dim (tuple[int], defaultnya (16, 56, 56)) — Dimensi sumbu yang akan digunakan di lapisan RoPE.
  • image_condition_type (str, opsional, defaultnya None) — Jenis pengkondisian gambar yang akan digunakan. Jika None, tidak ada pengkondisian gambar yang digunakan. Jika latent_concat, gambar digabungkan ke aliran laten. Jika token_replace, gambar digunakan untuk mengganti token bingkai pertama di aliran laten dan menerapkan pengkondisian.

Model Transformer untuk data mirip video yang digunakan dalam HunyuanVideo.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: Tensorpooled_projections: Tensorguidance: Tensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch_size, num_channels, num_frames, height, width)) — hidden_states masukan.
  • timestep (torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, sequence_len, embed_dims)) — Embedding kondisional (embedding yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
  • encoder_attention_mask (torch.Tensor) — Mask yang diterapkan pada encoder_hidden_states selama attention.
  • pooled_projections (torch.Tensor dengan bentuk (batch_size, projection_dim)) — Embedding yang diproyeksikan dari embedding kondisi input.
  • guidance (torch.Tensor, opsional) — Embedding skala panduan yang digunakan untuk varian model yang telah melalui distilasi panduan.
  • attention_kwargs (dict, opsional) — Kamus kwargs yang jika ditentukan akan diteruskan ke AttentionProcessor seperti yang didefinisikan di bawah self.processor dalam diffusers.models.attention_processor.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.

Metode forward dari HunyuanVideoTransformer3DModel.

Transformer2DModelOutput

kelas diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) — Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk latent pixels yang tidak berisik.

Output dari Transformer2DModel.

Update on GitHub

←HunyuanVideo15Transformer3DModel Ideogram4Transformer2DModel→