Diffusers documentation
PAN2Transformer3DModel
PAN2Transformer3DModel
محوّل الانتشار (Diffusion Transformer) الخاص بـ PAN 2. يعمل بانتباه مشترك (joint attention) على رموز الفيديو ورموز النص، مع إسقاطات وشبكات أمامية (feed-forward networks) منفصلة لكل تدفق.
يجمع مدخل الفيديو بين الكمونيات الضجيجية والكمونيات الشرطية وقناع ترميزي بقناة واحدة، بحيث يخدم النموذج نفسه كلًا من توليد الفيديو من النص وتوليد الفيديو من الصورة.
import torch
from diffusers import PAN2Transformer3DModel
transformer = PAN2Transformer3DModel.from_pretrained("IFM/PAN2", subfolder="transformer", dtype=torch.bfloat16)PAN2Transformer3DModel
فئة diffusers.PAN2Transformer3DModel
< source >( patch_size: tuple[int, int, int] = (1, 2, 2)in_channels: int = 97out_channels: int = 48num_attention_heads: int = 32attention_head_dim: int = 128num_layers: int = 44num_refiner_layers: int = 4mlp_ratio: float = 8.0context_mlp_ratio: float = 4.0refiner_mlp_ratio: float = 4.0text_embed_dim: int = 4096rope_axes_dim: tuple[int, int, int] = (16, 56, 56)rope_theta: float = 256.0rope_temporal_scale: float = 0.6666666666666666 )
المعاملات
- patch_size (
tuple[int, int, int])، القيمة الافتراضية(1, 2, 2)) — حجم الباتش(t, h, w)لتضمين الباتش. - in_channels (
int، القيمة الافتراضية97) — عدد قنوات الإدخال: الكامنات الضجيج، الكامنات الشرطية، وقناة واحدة لقناع الشرط. - out_channels (
int)، القيمة الافتراضية48) — عدد قنوات الإخراج. - num_attention_heads (
int، القيمة الافتراضية32) — عدد رؤوس الانتباه. - attention_head_dim (
int، القيمة الافتراضية128) — عدد القنوات في كل رأس انتباه. - num_layers (
int، القيمة الافتراضية44) — عدد كتل الانتباه المشترك. - num_refiner_layers (
int، القيمة الافتراضية4) — عدد كتل تحسين الرموز المطبقة على تمثيلات النص. - mlp_ratio (
float، القيمة الافتراضية8.0) — نسبة البُعد الداخلي لشبكة التغذية الأمامية في الفيديو إلى البُعد المخفي. - context_mlp_ratio (
float، القيمة الافتراضية4.0) — نسبة البُعد الداخلي لشبكة التغذية الأمامية للنص إلى البُعد المخفي. - refiner_mlp_ratio (
float، القيمة الافتراضية4.0) — نسبة البُعد الداخلي لشبكة التغذية الأمامية في مُحسّن الرموز إلى البُعد المخفي. - text_embed_dim (
int، القيمة الافتراضية4096) — بعد حالات المخفية لمشفّر النص. - rope_axes_dim (
tuple[int, int, int]، القيمة الافتراضية(16, 56, 56)) — عدد القنوات لكل محور من محاور(t, h, w)في التضمين الدوّاري. - rope_theta (
float، القيمة الافتراضية256.0) — الأساس للتضمين الدوراني. - rope_temporal_scale (
float، القيمة الافتراضية16 / 24) — المعامل الذي تُضرب فيه مواضع الإطارات من التضمين الدوّاري: وهو معدل الإطارات المرجعي للتضمين الدوّاري مقسوماً على معدل إطارات مقاطع الفيديو (16 مقابل 24 إطاراً في الثانية).
محوّل الانتشار الخاص بـ PAN 2.
مكدّس من كتل الانتباه المشترك فوق دمج كامنات الفيديو المقطّعة مع رموز النص المُحسَّنة. تحمل مدخلات الفيديو كامنات ضجيجية وكامنات شرطية وقناعاً شرطياً مكدّساً على محور القناة، بحيث يخدم النموذج نفسه توليد الفيديو من النص وتوليد الفيديو من الصورة.
forward
< source >( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple
المعاملات
- hidden_states (
torch.Tensorمن الشكل(batch_size, in_channels, num_frames, height, width)) — اللاتنتات الضجيجية، واللاتنتات الشرطية، وقناع الشرط، مدمجة على طول القنوات. - timestep (
torch.Tensorمن الشكل(batch_size,)) — خطوة إزالة الضوضاء في[0, 1000]. - encoder_hidden_states (
torch.Tensorمن الشكل(batch_size, text_seq_len, text_embed_dim)) — حالات المخفية لمشفّر النص. - attention_kwargs (
dict، اختياري) — قاموس kwargs يُمرَّر إلىAttentionProcessor؛ يُستخدم فقط لمقياس LoRA. - return_dict (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب إرجاع Transformer2DModelOutput بدلاً من tuple عادي.
يعيد
Transformer2DModelOutput أو tuple
السرعة المتوقعة للشكل (batch_size, out_channels, num_frames, height, width).
طريقة PAN2Transformer3DModel الأمامية.