Hugging Face's logo

Diffusers documentation

OvisImageTransformer2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

OvisImageTransformer2DModel

Модель можно загрузить с помощью следующего фрагмента кода.

from diffusers import OvisImageTransformer2DModel

transformer = OvisImageTransformer2DModel.from_pretrained("AIDC-AI/Ovis-Image-7B", subfolder="transformer", dtype=torch.bfloat16)

OvisImageTransformer2DModel

класс diffusers.OvisImageTransformer2DModel

< >

( patch_size: int = 1in_channels: int = 64out_channels: int | None = 64num_layers: int = 6num_single_layers: int = 27attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 2048axes_dims_rope: tuple[int, int, int] = (16, 56, 56) )

Параметры

  • patch_size (int, по умолчанию 1) — Размер патча для разбиения входных данных на небольшие патчи.
  • in_channels (int, по умолчанию 64) — Количество каналов на входе.
  • out_channels (int, необязательный, по умолчанию None) — Количество каналов на выходе. Если не указано, по умолчанию равно in_channels.
  • num_layers (int, по умолчанию 6) — Количество используемых блоков dual stream DiT.
  • num_single_layers (int, по умолчанию 27) — Количество слоев однопоточных блоков DiT, которые следует использовать.
  • attention_head_dim (int, по умолчанию 128) — Количество измерений, используемых для каждой головы внимания.
  • num_attention_heads (int, по умолчанию 24) — Количество используемых голок внимания.
  • joint_attention_dim (int, по умолчанию 2048) — Количество измерений, используемых для совместного внимания (размерность встраивания/канала для encoder_hidden_states).
  • axes_dims_rope (tuple[int], по умолчанию (16, 56, 56)) — Размерности, используемые для вращательных позиционных эмбеддингов.

Модель Transformer, представленная в Ovis-Image.

Ссылка: https://github.com/AIDC-AI/Ovis-Image

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Nonejoint_attention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Параметры

  • hidden_states (torch.Tensor формы (batch_size, image_sequence_length, in_channels)) — Входные hidden_states.
  • encoder_hidden_states (torch.Tensor формы (batch_size, text_sequence_length, joint_attention_dim)) — Условные эмбеддинги (эмбеддинги, вычисленные на основе входных условий, таких как промпты), которые следует использовать.
  • timestep (torch.LongTensor) — Используется для указания шага денойзинга.
  • img_ids — (torch.Tensor): Позиционные идентификаторы для токенов изображений.
  • txt_ids (torch.Tensor) — Позиционные идентификаторы для текстовых токенов.
  • joint_attention_kwargs (dict, необязательный) — Словарь kwargs, который при указании передается в AttentionProcessor, определенный в self.processor в модуле diffusers.models.attention_processor.
  • return_dict (bool, необязательный, по умолчанию True) — Определяет, следует ли возвращать ~models.transformer_2d.Transformer2DModelOutput вместо обычного кортежа.

Метод forward модели OvisImageTransformer2DModel.

Update on GitHub

←OmniGenTransformer2DModel PAN2Transformer3DModel→