Diffusers documentation
MotifVideoTransformer3DModel
MotifVideoTransformer3DModel
Motif Technologies 团队在 Motif-Video 中提出了一种用于 3D 类视频数据的 Diffusion Transformer 模型。
该模型采用三阶段架构，包含 12 层双流 + 16 层单流 + 8 层 DDT 解码器层，并使用旋转位置编码（RoPE）进行视频生成。
可以使用以下代码片段加载该模型。
from diffusers import MotifVideoTransformer3DModel
transformer = MotifVideoTransformer3DModel.from_pretrained("Motif-Technologies/Motif-Video-2B", subfolder="transformer", dtype=torch.bfloat16)MotifVideoTransformer3DModel
类 diffusers.MotifVideoTransformer3DModel
< source >( in_channels: int = 33out_channels: int = 16num_attention_heads: int = 24attention_head_dim: int = 128num_layers: int = 20num_single_layers: int = 40num_decoder_layers: int = 0mlp_ratio: float = 4.0patch_size: int = 2patch_size_t: int = 1qk_norm: str = 'rms_norm'norm_type: str = 'layer_norm'text_embed_dim: int = 4096image_embed_dim: int | None = Nonerope_theta: float = 256.0rope_axes_dim: typing.Tuple[int, ...] = (16, 56, 56)enable_text_cross_attention_dual: bool = Falseenable_text_cross_attention_single: bool = False )
参数
- in_channels (
int，默认为33) — 输入数据的通道数。 - out_channels (
int，默认为16) — 输出中的通道数。 - num_attention_heads (
int，默认为24) — 多头注意力机制中使用的注意力头数量。 - attention_head_dim (
int，默认为128) — 每个头中的通道数。 - num_layers (
int，默认为20) — 要使用的双流块层数。 - num_single_layers (
int，默认为40) — 要使用的单流块层数。 - num_decoder_layers (
int，默认为0) — 单流块中解码器层的数量。 - mlp_ratio (
float，默认为4.0) — 前馈网络中隐藏层大小与输入大小的比率。 - patch_size (
int，默认为2) — 用于 patch 嵌入层的空间 patch 大小。 - patch_size_t (
int，默认为1) — 用于 patch 嵌入层的时间 patch 大小。 - qk_norm (
str，默认为rms_norm) — 注意力层中查询和键投影所使用的归一化方法。 - text_embed_dim (
int，默认为4096) — 来自文本编码器的文本嵌入的输入维度。 - image_embed_dim (
int, 可选) — 来自视觉编码器的图像嵌入的输入维度。如果提供，则启用图像条件。 - rope_theta (
float，默认为256.0) — RoPE 层中使用的 theta 值。 - rope_axes_dim (
Tuple[int]，默认为(16, 56, 56)) — RoPE 层中使用的各轴维度。
用于 Motif-Video 模型的、处理类视频数据的 Transformer 模型。
forward
< source >( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: typing.Optional[torch.Tensor] = Noneimage_embeds: typing.Optional[torch.Tensor] = Noneattention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple
参数
- hidden_states (
torch.Tensor) — 形状为(batch_size, channels, num_frames, height, width)的输入潜在张量。 - timestep (
torch.LongTensor) — 形状为(batch_size,)的扩散时间步。 - encoder_hidden_states (
torch.Tensor) — 形状为(batch_size, sequence_length, embed_dim)的文本条件。 - encoder_attention_mask (
torch.Tensor) — 用于文本条件化的掩码，形状为(batch_size, sequence_length)。 - image_embeds (
torch.Tensor, 可选) — 来自视觉编码器的图像嵌入，形状为(batch_size, num_tokens, embed_dim)。 - attention_kwargs (
dict, 可选) — 注意力处理器的额外参数。 - return_dict (
bool，默认为True) — 是否返回 Transformer2DModelOutput。
返回值
Transformer2DModelOutput 或 tuple
预测的样本。
MotifVideoTransformer3DModel 的前向传播。
Transformer2DModelOutput
类 diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
参数
- sample（形状为
(batch_size, num_channels, height, width)的torch.Tensor，或者如果 Transformer2DModel 是离散的，则为(batch size, num_vector_embeds - 1, num_latent_pixels)）— 以encoder_hidden_states输入为条件的隐藏状态输出。如果是离散的，则返回未加噪潜在像素的概率分布。
Transformer2DModel 的输出。