Diffusers documentation
LongCatImageTransformer2DModel
LongCatImageTransformer2DModel
Le modèle peut être chargé à l'aide du fragment de code suivant.
from diffusers import LongCatImageTransformer2DModel
transformer = LongCatImageTransformer2DModel.from_pretrained("meituan-longcat/LongCat-Image ", subfolder="transformer", dtype=torch.bfloat16)LongCatImageTransformer2DModel
classe diffusers.LongCatImageTransformer2DModel
< source >( patch_size: int = 1in_channels: int = 64num_layers: int = 19num_single_layers: int = 38attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 3584pooled_projection_dim: int = 3584axes_dims_rope: list[int] = [16, 56, 56] )
Le modèle Transformer introduit dans Longcat-Image.
forward
< source >( hidden_states: Tensorencoder_hidden_states: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Noneguidance: Tensor = Nonereturn_dict: bool = True )
Paramètres
- hidden_states (
torch.FloatTensorde forme(batch size, channel, height, width)) —hidden_statesd'entrée. - encoder_hidden_states (
torch.FloatTensorde forme(batch size, sequence_len, embed_dims)) — Embeddings conditionnels (embeddings calculés à partir des conditions d’entrée telles que les prompts) à utiliser. - timestep (
torch.LongTensor) — Utilisé pour indiquer l'étape de débruitage. - img_ids (
torch.Tensor) — Identifiants de position des images utilisés pour calculer les embeddings positionnels rotatifs. - txt_ids (
torch.Tensor) — Identifiants de position du texte utilisés pour calculer les embeddings positionnels rotatifs. - guidance (
torch.Tensor, facultatif) — Embedding d'échelle guidance utilisé pour les variantes du modèle distillées par guidance. - return_dict (
bool, facultatif, par défautTrue) — Indique s'il faut retourner un~models.transformer_2d.Transformer2DModelOutputplutôt qu'un simple tuple.
La méthode forward.