Diffusers documentation

MiniMaxMusic3Transformer1DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

MiniMaxMusic3Transformer1DModel

MiniMax Music 3 的 2.4B 流匹配 Diffusion Transformer。它以模型自回归语言模型阶段逐帧隐藏状态为条件,对 128 通道的 Flow-VAE 音频潜变量进行去噪,并将流匹配时间步作为额外的序列 token 前置(这是一个 Stable-Audio 谱系的连续 Transformer,采用部分旋转注意力和 GLU 前馈网络)。

MiniMaxMusic3Transformer1DModel

class diffusers.MiniMaxMusic3Transformer1DModel

< >

( in_channels: int = 128condition_dim: int = 2048num_layers: int = 36num_attention_heads: int = 32attention_head_dim: int = 64ff_inner_dim: int = 8192rotary_dim: int = 32fourier_embedding_dim: int = 256 )

MiniMax Music 3 的流匹配扩散 Transformer。它以自回归语言模型阶段生成的逐帧隐藏状态为条件,对 Flow-VAE 音频潜变量进行去噪。

输入是形状为 (batch, in_channels, length) 的一维潜在序列。条件信号(encoder_hidden_states,形状为 (batch, length, condition_dim))必须已经与潜在时间轴对齐——参见 MiniMaxMusic3ConditionEncoder。流匹配的 timestep 从 0(噪声)变化到 1(数据)。

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorreturn_dict: bool = True )

参数

  • hidden_states(形状为 (batch, in_channels, length) 的 torch.Tensor)— 带噪声的 Flow-VAE 潜变量。
  • timestep(形状为 (batch,) 的 torch.Tensor)— [0, 1] 区间内的流匹配时间,其中 0 表示纯噪声,1 表示数据。
  • encoder_hidden_states(形状为 (batch, length, condition_dim) 的 torch.Tensor)— 来自 MiniMaxMusic3ConditionEncoder 的帧对齐条件。对于无分类器自由引导的无条件分支,请传入零。
  • return_dict (bool,默认为 True) — 是否返回 Transformer2DModelOutput 而不是普通元组。
Update on GitHub