Diffusers documentation
HiDreamImageTransformer2DModel
HiDreamImageTransformer2DModel
نموذج Transformer لبيانات تشبه الصور من HiDream-I1.
يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.
from diffusers import HiDreamImageTransformer2DModel
transformer = HiDreamImageTransformer2DModel.from_pretrained("HiDream-ai/HiDream-I1-Full", subfolder="transformer", dtype=torch.bfloat16)تحميل نقاط التفتيش الكمّية بصيغة GGUF لنموذج HiDream-I1
يمكن تحميل نقاط التفتيش بصيغة GGUF لنموذج HiDreamImageTransformer2DModel باستخدام ~FromOriginalModelMixin.from_single_file
import torch
from diffusers import GGUFQuantizationConfig, HiDreamImageTransformer2DModel
ckpt_path = "https://huggingface.co/city96/HiDream-I1-Dev-gguf/blob/main/hidream-i1-dev-Q2_K.gguf"
transformer = HiDreamImageTransformer2DModel.from_single_file(
ckpt_path,
quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16),
dtype=torch.bfloat16
)HiDreamImageTransformer2DModel
فئة diffusers.HiDreamImageTransformer2DModel
< source >( patch_size: int | None = Nonein_channels: int = 64out_channels: int | None = Nonenum_layers: int = 16num_single_layers: int = 32attention_head_dim: int = 128num_attention_heads: int = 20caption_channels: list[int] = Nonetext_emb_dim: int = 2048num_routed_experts: int = 4num_activated_experts: int = 2axes_dims_rope: tuple[int, int] = (32, 32)max_resolution: tuple[int, int] = (128, 128)llama_layers: list[int] = Noneforce_inference_output: bool = False )
forward
< source >( hidden_states: Tensortimesteps: LongTensor = Noneencoder_hidden_states_t5: Tensor = Noneencoder_hidden_states_llama3: Tensor = Nonepooled_embeds: Tensor = Noneimg_ids: typing.Optional[torch.Tensor] = Noneimg_sizes: list[tuple[int, int]] | None = Nonehidden_states_masks: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )
المعاملات
- hidden_states (
torch.Tensorمن الشكل(batch_size, in_channels, height, width)أو(batch_size, patch_height * patch_width, patch_size * patch_size * channels)) — مدخلاتhidden_states. - timesteps (
torch.LongTensor) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء. - encoder_hidden_states_t5 (
torch.Tensor) — تضمينات مشروطة محسوبة من مُشفِّر النص T5. - encoder_hidden_states_llama3 (
torch.Tensor) — تضمينات شرطية محسوبة من مُشفِّر النص Llama3. - pooled_embeds (
torch.Tensor) — تضمينات نصية مجمّعة تُستخدم للتكييف الإضافي. - img_ids (
torch.Tensor، اختياري) — معرّفات مواضع الصور للحالات المخفية المُرقّعة. - img_sizes (
listمنtupleمنint، اختياري) — أحجام شبكة الباتشات لكل عينة المستخدمة لإزالة ترميز الباتشات من المخرجات. - hidden_states_masks (
torch.Tensor، اختياري) — قناع فوقhidden_statesالمقسّمة إلى قطع. - attention_kwargs (
dict، اختياري) — قاموس kwargs يُمرَّر إلىAttentionProcessorإذا تم تحديده، كما هو معرَّف تحتself.processorفي diffusers.models.attention_processor. - return_dict (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب إرجاع~models.transformer_2d.Transformer2DModelOutputبدلاً من tuple عادي.
طريقة HiDreamImageTransformer2DModel الأمامية.
Transformer2DModelOutput
فئة diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
المعاملات
- sample (
torch.Tensorمن الشكل(batch_size, num_channels, height, width)أو(batch size, num_vector_embeds - 1, num_latent_pixels)إذا كان Transformer2DModel منفصلاً) — مخرجات الحالات المخفية المشروطة على مدخلencoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.
مخرجات Transformer2DModel.