Diffusers documentation
StableAudioDiTModel
StableAudioDiTModel
Mô hình Transformer cho dạng sóng âm thanh từ Stable Audio Open.
StableAudioDiTModel
lớp diffusers.StableAudioDiTModel
< source >( sample_size: int = 1024in_channels: int = 64num_layers: int = 24attention_head_dim: int = 64num_attention_heads: int = 24num_key_value_attention_heads: int = 12out_channels: int = 64cross_attention_dim: int = 768time_proj_dim: int = 256global_states_input_dim: int = 1536cross_attention_input_dim: int = 768 )
Tham số
- sample_size (
int, tùy chọn, mặc định là 1024) — Kích thước của mẫu đầu vào. - in_channels (
int, tùy chọn, mặc định là 64) — Số lượng kênh trong đầu vào. - num_layers (
int, tùy chọn, mặc định là 24) — Số lượng lớp khối Transformer cần sử dụng. - attention_head_dim (
int, tùy chọn, mặc định là 64) — Số lượng kênh trong mỗi head. - num_attention_heads (
int, tùy chọn, mặc định là 24) — Số lượng đầu (heads) được sử dụng cho các trạng thái truy vấn (query states). - num_key_value_attention_heads (
int, tùy chọn, mặc định là 12) — Số lượng đầu (heads) được sử dụng cho các trạng thái key và value. - out_channels (
int, mặc định là 64) — Số lượng kênh đầu ra. - cross_attention_dim (
int, tùy chọn, mặc định là 768) — Kích thước của phép chiếu cross-attention. - time_proj_dim (
int, tùy chọn, mặc định là 256) — Kích thước của phép chiếu nội bộ cho bước thời gian. - global_states_input_dim (
int, tuỳ chọn, mặc định là 1536) — Kích thước đầu vào của phép chiếu trạng thái ẩn toàn cục. - cross_attention_input_dim (
int, tùy chọn, mặc định là 768) — Kích thước đầu vào của phép chiếu cross-attention
Mô hình Diffusion Transformer được giới thiệu trong Stable Audio.
Tham khảo: https://github.com/Stability-AI/stable-audio-tools
forward
< source >( hidden_states: FloatTensortimestep: LongTensor = Noneencoder_hidden_states: FloatTensor = Noneglobal_hidden_states: FloatTensor = Nonerotary_embedding: FloatTensor = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.LongTensor] = Noneencoder_attention_mask: typing.Optional[torch.LongTensor] = None )
Tham số
- hidden_states (
torch.FloatTensorcó hình dạng(batch size, in_channels, sequence_len)) —hidden_statesđầu vào. - timestep (
torch.LongTensor) — Dùng để chỉ bước khử nhiễu. - encoder_hidden_states (
torch.FloatTensorcó hình dạng(batch size, encoder_sequence_len, cross_attention_input_dim)) — Các embedding điều kiện (các embedding được tính toán từ các điều kiện đầu vào như prompts) cần sử dụng. - global_hidden_states (
torch.FloatTensorcó hình dạng(batch size, global_sequence_len, global_states_input_dim)) — Các embedding toàn cục sẽ được nối vào trước các hidden states. - rotary_embedding (
torch.Tensor) — Các embedding xoay (rotary embeddings) được áp dụng lên các tensor query và key trong quá trình tính toán attention. - return_dict (
bool, tùy chọn, mặc định làTrue) — Có nên trả về một~models.transformer_2d.Transformer2DModelOutputthay vì một tuple thông thường hay không. - attention_mask (
torch.Tensorcó shape(batch_size, sequence_len), tùy chọn) — Mặt nạ để tránh thực hiện attention trên các chỉ số token padding, được tạo bằng cách nối các attention mask của hai text encoder lại với nhau. Các giá trị mask được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- encoder_attention_mask (
torch.Tensorcó shape(batch_size, sequence_len), tùy chọn) — Mặt nạ để tránh thực hiện attention trên các chỉ số cross-attention của token padding, được tạo bằng cách nối các mặt nạ attention của hai text encoder lại với nhau. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
Phương thức forward của StableAudioDiTModel.
Tắt các bộ xử lý chú ý tùy chỉnh và đặt cài đặt chú ý mặc định.