Diffusers documentation
HeliosTransformer3DModel
HeliosTransformer3DModel
تم تقديم نموذج Helios وهو نموذج تحويل انتشار ذاتي التوليد في الوقت الفعلي بحجم 14 مليار معامل (يدعم T2V و I2V و V2V) للبيانات المشابهة للفيديو ثلاثي الأبعاد، في Helios: Real Real-Time Long Video Generation Model من جامعة بكين و ByteDance وغيرهما.
يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.
from diffusers import HeliosTransformer3DModel
# Best Quality
transformer = HeliosTransformer3DModel.from_pretrained("BestWishYsh/Helios-Base", subfolder="transformer", dtype=torch.bfloat16)
# Intermediate Weight
transformer = HeliosTransformer3DModel.from_pretrained("BestWishYsh/Helios-Mid", subfolder="transformer", dtype=torch.bfloat16)
# Best Efficiency
transformer = HeliosTransformer3DModel.from_pretrained("BestWishYsh/Helios-Distilled", subfolder="transformer", dtype=torch.bfloat16)HeliosTransformer3DModel
فئة diffusers.HeliosTransformer3DModel
< source >( patch_size: tuple[int, ...] = (1, 2, 2)num_attention_heads: int = 40attention_head_dim: int = 128in_channels: int = 16out_channels: int = 16text_dim: int = 4096freq_dim: int = 256ffn_dim: int = 13824num_layers: int = 40cross_attn_norm: bool = Trueqk_norm: str | None = 'rms_norm_across_heads'eps: float = 1e-06added_kv_proj_dim: int | None = Nonerope_dim: tuple[int, ...] = (44, 42, 42)rope_theta: float = 10000.0guidance_cross_attn: bool = Truezero_history_timestep: bool = Truehas_multi_term_memory_patch: bool = Trueis_amplify_history: bool = Falsehistory_scale_mode: str = 'per_head' )
المعاملات
- patch_size (
tuple[int]، القيمة الافتراضية(1, 2, 2)) — أبعاد الباتش ثلاثية الأبعاد لتضمين الفيديو (t_patch, h_patch, w_patch). - num_attention_heads (
int، القيمة الافتراضية40) — طول ثابت لتضمينات النص. - attention_head_dim (
int، القيمة الافتراضية128) — عدد القنوات في كل رأس. - in_channels (
int)، القيمة الافتراضية16— عدد القنوات في المدخلات. - out_channels (
int، القيمة الافتراضية16) — عدد القنوات في المخرجات. - text_dim (
int، القيمة الافتراضية512) — البُعد المدخل لتضمينات النص. - freq_dim (
int، القيمة الافتراضية256) — البُعد الخاص بالتضمينات الزمنية الجيبية. - ffn_dim (
int، القيمة الافتراضية13824) — البُعد الوسيط في الشبكة الأمامية. - num_layers (
int، القيمة الافتراضية40) — عدد طبقات كتل التحويل (transformer blocks) المستخدمة. - window_size (
tuple[int]، القيمة الافتراضية(-1, -1)) — حجم النافذة للانتباه المحلي (القيمة -1 تشير إلى الانتباه العام). - cross_attn_norm (
bool، القيمة الافتراضيةTrue) — تفعيل تطبيع الانتباه المتقاطع. - qk_norm (
bool، القيمة الافتراضيةTrue) — تفعيل تطبيع الاستعلام/المفتاح. - eps (
float، القيمة الافتراضية1e-6) — قيمة إبسيلون لطبقات التطبيع. - add_img_emb (
bool، القيمة الافتراضيةFalse) — ما إذا كان سيتم استخدام img_emb. - added_kv_proj_dim (
int، اختياري، القيمة الافتراضيةNone) — عدد القنوات المستخدمة في إسقاطات المفتاح والقيمة المضافة. إذا كانتNone، فلا يُستخدم أي إسقاط.
نموذج Transformer لبيانات تشبه الفيديو يُستخدم في نموذج Helios.
forward
< source >( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorindices_hidden_states = Noneindices_latents_history_short = Noneindices_latents_history_mid = Noneindices_latents_history_long = Nonelatents_history_short = Nonelatents_history_mid = Nonelatents_history_long = Nonereturn_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None )
المعاملات
- hidden_states (
torch.Tensorمن الشكل(batch_size, num_channels, num_frames, height, width)) — مدخلاتhidden_states. - timestep (
torch.LongTensor) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء. - encoder_hidden_states (
torch.Tensorمن الشكل(batch_size, sequence_len, embed_dims)) — تضمينات شرطية (تضمينات محسوبة من الشروط المدخلة مثل الأوامر النصية) للاستخدام. - indices_hidden_states (
torch.Tensor، اختياري) — فهارس الإطارات لـhidden_statesالمستخدمة لحساب التضمينات الموضعية الدوارة. - indices_latents_history_short (
torch.Tensor، اختياري) — فهارس الإطارات للقيم الكامنة للتاريخ القصير. - indices_latents_history_mid (
torch.Tensor، اختياري) — فهارس الإطارات للقيم الكامنة في التاريخ الأوسط. - indices_latents_history_long (
torch.Tensor، اختياري) — فهارس الإطارات للقيم الكامنة في التاريخ الطويل. - latents_history_short (
torch.Tensor، اختياري) — شرطية لقيم الكامنة ذات التاريخ القصير. - latents_history_mid (
torch.Tensor، اختياري) — شرطية لمتغيرات التاريخ الوسطى. - latents_history_long (
torch.Tensor، اختياري) — شرطية على تاريخ طويل من الكمونيات. - return_dict (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب إرجاع~models.transformer_2d.Transformer2DModelOutputبدلاً من tuple عادي. - attention_kwargs (
dict، اختياري) — قاموس kwargs يُمرَّر إلىAttentionProcessorإذا تم تحديده، كما هو معرَّف تحتself.processorفي diffusers.models.attention_processor.
طريقة HeliosTransformer3DModel الأمامية.
Transformer2DModelOutput
فئة diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
المعاملات
- sample (
torch.Tensorمن الشكل(batch_size, num_channels, height, width)أو(batch size, num_vector_embeds - 1, num_latent_pixels)إذا كان Transformer2DModel منفصلاً) — مخرجات الحالات المخفية المشروطة على مدخلencoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.
مخرجات Transformer2DModel.