# Motif-Video

[Технический отчёт](https://arxiv.org/abs/2604.16503)

Motif-Video — это диффузионный трансформер с 2 млрд параметров, предназначенный для генерации видео по тексту и по изображению. Он использует трёхэтапную архитектуру, включающую 12 слоёв dual-stream + 16 слоёв single-stream + 8 слоёв декодера DDT, механизм Shared Cross-Attention для стабильного выравнивания текста и видео в длинных последовательностях, текстовый энкодер T5Gemma2 и rectified flow matching для предсказания скорости.

  

## Генерация видео по тексту

Используйте `MotifVideoPipeline` для генерации видео по тексту:

```python
import torch
from diffusers import MotifVideoPipeline
from diffusers.utils import export_to_video

pipe = MotifVideoPipeline.from_pretrained(
    "Motif-Technologies/Motif-Video-2B",
    dtype=torch.bfloat16,
)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

prompt = "A woman with long brown hair and light skin smiles at another woman with long blonde hair."
negative_prompt = "worst quality, inconsistent motion, blurry, jittery, distorted"

video = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=1280,
    height=736,
    num_frames=121,
    num_inference_steps=50,
).frames[0]
export_to_video(video, "output.mp4", fps=24)
```

## Генерация видео по изображению

Используйте `MotifVideoImage2VideoPipeline` для генерации видео по изображению:

```python
import torch
from diffusers import MotifVideoImage2VideoPipeline
from diffusers.utils import export_to_video, load_image

pipe = MotifVideoImage2VideoPipeline.from_pretrained(
    "Motif-Technologies/Motif-Video-2B",
    dtype=torch.bfloat16,
)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

image = load_image("input_image.png")
prompt = "A cinematic scene with vivid colors."
negative_prompt = "worst quality, blurry, jittery, distorted"

video = pipe(
    image=image,
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=1280,
    height=736,
    num_frames=121,
    num_inference_steps=50,
).frames[0]
export_to_video(video, "i2v_output.mp4", fps=24)
```

### Эффективный по памяти вывод

Для GPU с менее чем 30 ГБ видеопамяти (например, RTX 4090) используйте выгрузку модели на CPU:

```bash
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
```

```python
import torch
from diffusers import MotifVideoPipeline
from diffusers.utils import export_to_video

pipe = MotifVideoPipeline.from_pretrained(
    "Motif-Technologies/Motif-Video-2B",
    dtype=torch.bfloat16,
)
pipe.enable_model_cpu_offload()

prompt = "A woman with long brown hair and light skin smiles at another woman with long blonde hair."
negative_prompt = "worst quality, inconsistent motion, blurry, jittery, distorted"

video = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=1280,
    height=736,
    num_frames=121,
    num_inference_steps=50,
).frames[0]
export_to_video(video, "output.mp4", fps=24)
```

## MotifVideoPipeline[[diffusers.MotifVideoPipeline]]

#### diffusers.MotifVideoPipeline[[diffusers.MotifVideoPipeline]]

```python
diffusers.MotifVideoPipeline(scheduler: SchedulerMixin, vae: AutoencoderKLWan, text_encoder: T5Gemma2Encoder, tokenizer: PreTrainedTokenizerBase, transformer: MotifVideoTransformer3DModel, guider: BaseGuidance, feature_extractor: typing.Optional[transformers.models.siglip.image_processing_pil_siglip.SiglipImageProcessorPil] = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/motif_video/pipeline_motif_video.py#L148)

**Параметры:**

transformer ([MotifVideoTransformer3DModel](/docs/diffusers/main/ru/api/models/motif_video_transformer_3d#diffusers.MotifVideoTransformer3DModel)) : Условная архитектура Transformer для удаления шума из закодированных латентных представлений видео.

scheduler ([SchedulerMixin](/docs/diffusers/main/ru/api/schedulers/overview#diffusers.SchedulerMixin)) : планировщик, используемый в сочетании с `transformer` для удаления шума из закодированных латентных представлений видео. Должен быть экземпляром класса, наследующегося от `SchedulerMixin`, например [DPMSolverMultistepScheduler](/docs/diffusers/main/ru/api/schedulers/multistep_dpm_solver#diffusers.DPMSolverMultistepScheduler). Если не указан, используется планировщик, привязанный к предобученной модели.

vae ([AutoencoderKLWan](/docs/diffusers/main/ru/api/models/autoencoder_kl_wan#diffusers.AutoencoderKLWan)) : Модель вариационного автоэнкодера (VAE) для кодирования и декодирования видео в латентные представления и обратно.

text_encoder (`T5Gemma2Encoder`) : Основной текстовый энкодер для кодирования текстовых подсказок в эмбеддинги.

tokenizer (`PreTrainedTokenizerBase`) : Токенизатор, соответствующий основному текстовому энкодеру.

guider ([BaseGuidance](/docs/diffusers/main/ru/api/modular_diffusers/guiders#diffusers.BaseGuidance)) : Метод guidance, который следует использовать. Должно быть экземпляром класса, наследующегося от `BaseGuidance`, например [ClassifierFreeGuidance](/docs/diffusers/main/ru/api/modular_diffusers/guiders#diffusers.ClassifierFreeGuidance), [AdaptiveProjectedGuidance](/docs/diffusers/main/ru/api/modular_diffusers/guiders#diffusers.AdaptiveProjectedGuidance) или [SkipLayerGuidance](/docs/diffusers/main/ru/api/modular_diffusers/guiders#diffusers.SkipLayerGuidance). Если не указано, по умолчанию используется `ClassifierFreeGuidance`.

Пайплайн для генерации видео из текста с использованием Motif-Video.

Эта модель наследуется от [DiffusionPipeline](/docs/diffusers/main/ru/api/pipelines/overview#diffusers.DiffusionPipeline). Общую документацию по методам, реализованным для всех пайплайнов (загрузка, сохранение, запуск на конкретном устройстве и т. д.), см. в документации родительского класса.

#### __call__[[diffusers.MotifVideoPipeline.__call__]]

```python
__call__(prompt: typing.Union[str, typing.List[str], NoneType] = None, negative_prompt: typing.Union[str, typing.List[str], NoneType] = None, height: int = 736, width: int = 1280, num_frames: int = 121, num_inference_steps: int = 50, timesteps: typing.Optional[typing.List[int]] = None, num_videos_per_prompt: typing.Optional[int] = 1, generator: typing.Union[torch.Generator, typing.List[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, prompt_attention_mask: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_attention_mask: typing.Optional[torch.Tensor] = None, output_type: typing.Optional[str] = 'pil', return_dict: bool = True, attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None, callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'], max_sequence_length: int = 512, vae_batch_size: int | None = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/motif_video/pipeline_motif_video.py#L492)

**Параметры:**

prompt (`str` или `List[str]`, *необязательный*) : Промпт или промпты для управления генерацией видео. Если не задан, необходимо передать `prompt_embeds`.

negative_prompt (`str` или `List[str]`, *необязательный*) : Промпт или промпты, которые не должны направлять генерацию видео. Если не задан, необходимо передать `negative_prompt_embeds`. Игнорируется, если не используется направляющая.

height (`int`, по умолчанию `736`) : Высота генерируемого видео в пикселях.

width (`int`, по умолчанию `1280`) : Ширина генерируемого видео в пикселях.

num_frames (`int`, по умолчанию `121`) : Количество кадров видео для генерации.

num_inference_steps (`int`, *optional*, по умолчанию 50) : Количество шагов денойзинга. Как правило, большее число шагов денойзинга приводит к более высокому качеству видео, но за счёт более медленного вывода.

timesteps (`List[int]`, *необязательный*) : Пользовательские шаги для процесса удаления шума.

num_videos_per_prompt (`int`, *необязательный*, по умолчанию 1) : Количество видео, генерируемых на один промпт.

generator (`torch.Generator` или `List[torch.Generator]`, *необязательно*) : Объект(ы) PyTorch Generator для детерминированной генерации.

latents (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные зашумленные латенты.

prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги.

prompt_attention_mask (`torch.Tensor`, *необязательный*) : Предварительно сгенерированная маска внимания для текстовых эмбеддингов.

negative_prompt_embeds (`torch.FloatTensor`, *необязательный*) : Предварительно сгенерированные отрицательные текстовые эмбеддинги.

negative_prompt_attention_mask (`torch.FloatTensor`, *необязательный*) : Предварительно сгенерированная маска внимания для отрицательных текстовых эмбеддингов.

output_type (`str`, *необязательный*, по умолчанию `"pil"`) : Формат вывода сгенерированного видео. Выберите один из вариантов: `"pil"`, `"np"` или `"latent"`.

return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли [~MotifVideoPipelineOutput](/docs/diffusers/main/ru/api/pipelines/motif_video#diffusers.MotifVideoPipelineOutput) вместо обычного кортежа.

attention_kwargs (`dict`, *необязательный*) : Аргументы, передаваемые в процессор внимания.

callback_on_step_end (`Callable`, *необязательный*) : функция или подкласс `PipelineCallback` или `MultiPipelineCallbacks`, вызываемая в конце каждого шага денойзинга.

callback_on_step_end_tensor_inputs (`List`, *необязательный*) : Список тензорных входных данных для функции `callback_on_step_end`.

max_sequence_length (`int`, по умолчанию `512`) : Максимальная длина последовательности для токенизатора.

vae_batch_size (`int`, *optional*) : Размер батча для декодирования VAE. Если указано, а размер батча латентов больше, декодирование VAE выполняется частями.

**Возвращает:** [~MotifVideoPipelineOutput](/docs/diffusers/main/ru/api/pipelines/motif_video#diffusers.MotifVideoPipelineOutput) или `tuple`

Если `return_dict` равно `True`, возвращается [~MotifVideoPipelineOutput](/docs/diffusers/main/ru/api/pipelines/motif_video#diffusers.MotifVideoPipelineOutput), иначе возвращается `tuple`, где первый элемент — это список сгенерированных кадров видео.

Функция вызова pipeline для генерации видео по тексту.

Примеры:
```python
>>> import torch
>>> from diffusers import MotifVideoPipeline
>>> from diffusers.utils import export_to_video

>>> # Load the Motif-Video pipeline
>>> motif_video_model_id = "Motif-Technologies/Motif-Video-2B"
>>> pipe = MotifVideoPipeline.from_pretrained(motif_video_model_id, torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")

>>> prompt = "A woman with long brown hair and light skin smiles at another woman with long blonde hair. The woman with brown hair wears a black jacket and has a small, barely noticeable mole on her right cheek. The camera angle is a close-up, focused on the woman with brown hair's face. The lighting is warm and natural, likely from the setting sun, casting a soft glow on the scene. The scene appears to be real-life footage"
>>> negative_prompt = "worst quality, inconsistent motion, blurry, jittery, distorted"

>>> video = pipe(
...     prompt=prompt,
...     negative_prompt=negative_prompt,
...     width=1280,
...     height=736,
...     num_frames=121,
...     num_inference_steps=50,
... ).frames[0]
>>> export_to_video(video, "output.mp4", fps=24)
```

#### encode_prompt[[diffusers.MotifVideoPipeline.encode_prompt]]

```python
encode_prompt(prompt: typing.Union[str, typing.List[str]], negative_prompt: typing.Union[str, typing.List[str], NoneType] = None, num_videos_per_prompt: int = 1, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, prompt_attention_mask: typing.Optional[torch.Tensor] = None, negative_prompt_attention_mask: typing.Optional[torch.Tensor] = None, max_sequence_length: int = 512, device: typing.Optional[torch.device] = None, dtype: typing.Optional[torch.dtype] = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/motif_video/pipeline_motif_video.py#L247)

**Параметры:**

prompt (`str` или `List[str]`, *необязательный*) : Промпт или промпты для кодирования.

negative_prompt (`str` или `List[str]`, *необязательный*) : Промпт или промпты, которые не должны направлять генерацию изображения. Если не задан, необходимо передать `negative_prompt_embeds`. Игнорируется, если не используется направляющее влияние (то есть игнорируется, если `guidance_scale` меньше `1`).

num_videos_per_prompt (`int`, *необязательный*, по умолчанию 1) : Количество видео, генерируемых на один запрос.

prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги.

negative_prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные отрицательные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, *например* для взвешивания промпта. Если не предоставлены, negative_prompt_embeds будут сгенерированы из входного аргумента `negative_prompt`.

prompt_attention_mask (`torch.Tensor`, *необязательный*) : Предварительно сгенерированная маска внимания для текстовых эмбеддингов.

negative_prompt_attention_mask (`torch.Tensor`, *необязательный*) : Предварительно сгенерированная маска внимания для отрицательных текстовых эмбеддингов.

max_sequence_length (`int`, по умолчанию 512) : Максимальная длина последовательности для токенизатора.

device (`torch.device`, *необязательный*) : Устройство, на котором размещаются тензоры.

dtype (`torch.dtype`, *необязательный*) : Тип данных для тензоров.

**Возвращает:** `tuple[torch.Tensor, torch.Tensor, torch.Tensor, torch.Tensor]`

Кортеж, содержащий:
- `prompt_embeds`: Векторы текста для положительного промпта
- `negative_prompt_embeds`: Текстовые эмбеддинги для негативного промпта (None, если не используется guidance)
- `prompt_attention_mask`: маска внимания для положительного промпта
- `negative_prompt_attention_mask`: маска внимания для негативного промпта (None, если не используется guidance)

Кодирует промпт в скрытые состояния текстового энкодера.

## MotifVideoImage2VideoPipeline[[diffusers.MotifVideoImage2VideoPipeline]]

#### diffusers.MotifVideoImage2VideoPipeline[[diffusers.MotifVideoImage2VideoPipeline]]

```python
diffusers.MotifVideoImage2VideoPipeline(scheduler: SchedulerMixin, vae: AutoencoderKLWan, text_encoder: T5Gemma2Encoder, tokenizer: PreTrainedTokenizerBase, transformer: MotifVideoTransformer3DModel, guider: BaseGuidance, feature_extractor: SiglipImageProcessorPil)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/motif_video/pipeline_motif_video_image2video.py#L157)

**Параметры:**

transformer ([MotifVideoTransformer3DModel](/docs/diffusers/main/ru/api/models/motif_video_transformer_3d#diffusers.MotifVideoTransformer3DModel)) : Условная архитектура Transformer для удаления шума из закодированных латентных представлений видео.

scheduler ([SchedulerMixin](/docs/diffusers/main/ru/api/schedulers/overview#diffusers.SchedulerMixin)) : планировщик, используемый в сочетании с `transformer` для удаления шума из закодированных латентных представлений видео. Должен быть экземпляром класса, наследующегося от `SchedulerMixin`, например [DPMSolverMultistepScheduler](/docs/diffusers/main/ru/api/schedulers/multistep_dpm_solver#diffusers.DPMSolverMultistepScheduler). Если не указан, используется планировщик, привязанный к предобученной модели.

vae ([AutoencoderKLWan](/docs/diffusers/main/ru/api/models/autoencoder_kl_wan#diffusers.AutoencoderKLWan)) : Модель вариационного автоэнкодера (VAE) для кодирования и декодирования видео в латентные представления и обратно.

text_encoder (`T5Gemma2Encoder`) : Основной текстовый энкодер для кодирования текстовых подсказок в эмбеддинги.

tokenizer (`PreTrainedTokenizerBase`) : Токенизатор, соответствующий основному текстовому энкодеру.

feature_extractor (`SiglipImageProcessor`) : Обработчик изображений для визуального энкодера SigLIP.

guider ([BaseGuidance](/docs/diffusers/main/ru/api/modular_diffusers/guiders#diffusers.BaseGuidance)) : Метод guidance, который следует использовать. Должно быть экземпляром класса, наследующегося от `BaseGuidance`, например [ClassifierFreeGuidance](/docs/diffusers/main/ru/api/modular_diffusers/guiders#diffusers.ClassifierFreeGuidance), [AdaptiveProjectedGuidance](/docs/diffusers/main/ru/api/modular_diffusers/guiders#diffusers.AdaptiveProjectedGuidance) или [SkipLayerGuidance](/docs/diffusers/main/ru/api/modular_diffusers/guiders#diffusers.SkipLayerGuidance). Если не указано, по умолчанию используется `ClassifierFreeGuidance`.

Пайплайн для генерации видео из изображения с использованием Motif-Video и условием на первый кадр.

Эта модель наследуется от [DiffusionPipeline](/docs/diffusers/main/ru/api/pipelines/overview#diffusers.DiffusionPipeline). Общую документацию по методам, реализованным для всех пайплайнов (загрузка, сохранение, запуск на конкретном устройстве и т. д.), см. в документации родительского класса.

#### __call__[[diffusers.MotifVideoImage2VideoPipeline.__call__]]

```python
__call__(image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]], prompt: typing.Union[str, typing.List[str]], negative_prompt: typing.Union[str, typing.List[str], NoneType] = None, height: int = 736, width: int = 1280, num_frames: int = 121, num_inference_steps: int = 50, timesteps: typing.Optional[typing.List[int]] = None, num_videos_per_prompt: typing.Optional[int] = 1, generator: typing.Union[torch.Generator, typing.List[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, prompt_attention_mask: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_attention_mask: typing.Optional[torch.Tensor] = None, output_type: typing.Optional[str] = 'pil', return_dict: bool = True, attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None, callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'], max_sequence_length: int = 512)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/motif_video/pipeline_motif_video_image2video.py#L620)

**Параметры:**

image (`PipelineImageInput`) : входное изображение, используемое в качестве первого кадра для генерации видео.

prompt (`str` или `List[str]`) : Промпт или промпты для управления генерацией видео.

negative_prompt (`str` или `List[str]`, *необязательный*) : Промпт или промпты, которые не следует использовать для управления генерацией видео.

height (`int`, по умолчанию `736`) : Высота генерируемого видео в пикселях.

width (`int`, по умолчанию `1280`) : Ширина генерируемого видео в пикселях.

num_frames (`int`, по умолчанию `121`) : Количество кадров видео для генерации.

num_inference_steps (`int`, *optional*, по умолчанию 50) : Количество шагов денойзинга.

timesteps (`List[int]`, *необязательный*) : Пользовательские шаги для процесса удаления шума.

num_videos_per_prompt (`int`, *необязательный*, по умолчанию 1) : Количество видео, генерируемых на один промпт.

generator (`torch.Generator` или `List[torch.Generator]`, *необязательно*) : Объект(ы) PyTorch Generator для детерминированной генерации.

latents (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные зашумленные латенты.

prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги.

prompt_attention_mask (`torch.Tensor`, *необязательный*) : Предварительно сгенерированная маска внимания для текстовых эмбеддингов.

negative_prompt_embeds (`torch.FloatTensor`, *необязательный*) : Предварительно сгенерированные отрицательные текстовые эмбеддинги.

negative_prompt_attention_mask (`torch.FloatTensor`, *необязательный*) : Предварительно сгенерированная маска внимания для отрицательных текстовых эмбеддингов.

output_type (`str`, *необязательный*, по умолчанию `"pil"`) : Формат вывода сгенерированного видео.

return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли [~MotifVideoPipelineOutput](/docs/diffusers/main/ru/api/pipelines/motif_video#diffusers.MotifVideoPipelineOutput) вместо обычного кортежа.

attention_kwargs (`dict`, *необязательный*) : Аргументы, передаваемые в процессор внимания.

callback_on_step_end (`Callable`, *необязательный*) : функция или подкласс `PipelineCallback`, вызываемый в конце каждого шага денойзинга.

callback_on_step_end_tensor_inputs (`List`, *необязательный*) : Список тензорных входных данных для функции `callback_on_step_end`.

max_sequence_length (`int`, по умолчанию `512`) : Максимальная длина последовательности для токенизатора.

**Возвращает:** [~MotifVideoPipelineOutput](/docs/diffusers/main/ru/api/pipelines/motif_video#diffusers.MotifVideoPipelineOutput) или `tuple`

Если `return_dict` равно `True`, возвращается [~MotifVideoPipelineOutput](/docs/diffusers/main/ru/api/pipelines/motif_video#diffusers.MotifVideoPipelineOutput), иначе возвращается `tuple`, где первый элемент — это список сгенерированных кадров видео.

Функция вызова pipeline для генерации видео по изображению.

Примеры:
```python
>>> import torch
>>> from PIL import Image
>>> from diffusers import MotifVideoImage2VideoPipeline
>>> from diffusers.utils import export_to_video, load_image

>>> # Load the Motif-Video image-to-video pipeline
>>> motif_video_model_id = "Motif-Technologies/Motif-Video-2B"
>>> pipe = MotifVideoImage2VideoPipeline.from_pretrained(motif_video_model_id, torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")

>>> # Load an image
>>> image = load_image(
...     "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/astronaut.png"
... )

>>> prompt = "An astronaut is walking on the moon surface, kicking up dust with each step"
>>> negative_prompt = "worst quality, inconsistent motion, blurry, jittery, distorted"

>>> video = pipe(
...     image=image,
...     prompt=prompt,
...     negative_prompt=negative_prompt,
...     width=1280,
...     height=736,
...     num_frames=121,
...     num_inference_steps=50,
... ).frames[0]
>>> export_to_video(video, "output.mp4", fps=24)
```

#### encode_prompt[[diffusers.MotifVideoImage2VideoPipeline.encode_prompt]]

```python
encode_prompt(prompt: typing.Union[str, typing.List[str]], negative_prompt: typing.Union[str, typing.List[str], NoneType] = None, num_videos_per_prompt: int = 1, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, prompt_attention_mask: typing.Optional[torch.Tensor] = None, negative_prompt_attention_mask: typing.Optional[torch.Tensor] = None, max_sequence_length: int = 512, device: typing.Optional[torch.device] = None, dtype: typing.Optional[torch.dtype] = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/motif_video/pipeline_motif_video_image2video.py#L259)

**Параметры:**

prompt (`str` или `List[str]`, *необязательный*) : Промпт или промпты для кодирования.

negative_prompt (`str` или `List[str]`, *необязательный*) : Промпт или промпты, которые не должны направлять генерацию изображения. Если не задан, необходимо передать `negative_prompt_embeds`. Игнорируется, если не используется направляющее влияние (то есть игнорируется, если `guidance_scale` меньше `1`).

num_videos_per_prompt (`int`, *необязательный*, по умолчанию 1) : Количество видео, генерируемых на один запрос.

prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные текстовые эмбеддинги.

negative_prompt_embeds (`torch.Tensor`, *необязательный*) : Предварительно сгенерированные отрицательные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, *например* для взвешивания промпта. Если не предоставлены, negative_prompt_embeds будут сгенерированы из входного аргумента `negative_prompt`.

prompt_attention_mask (`torch.Tensor`, *необязательный*) : Предварительно сгенерированная маска внимания для текстовых эмбеддингов.

negative_prompt_attention_mask (`torch.Tensor`, *необязательный*) : Предварительно сгенерированная маска внимания для отрицательных текстовых эмбеддингов.

max_sequence_length (`int`, по умолчанию 512) : Максимальная длина последовательности для токенизатора.

device (`torch.device`, *необязательный*) : Устройство, на котором размещаются тензоры.

dtype (`torch.dtype`, *необязательный*) : Тип данных для тензоров.

**Возвращает:** `tuple[torch.Tensor, torch.Tensor, torch.Tensor, torch.Tensor]`

Кортеж, содержащий:
- `prompt_embeds`: Векторы текста для положительного промпта
- `negative_prompt_embeds`: Текстовые эмбеддинги для негативного промпта (None, если не используется guidance)
- `prompt_attention_mask`: маска внимания для положительного промпта
- `negative_prompt_attention_mask`: маска внимания для негативного промпта (None, если не используется guidance)

Кодирует промпт в скрытые состояния текстового энкодера.

## MotifVideoPipelineOutput[[diffusers.MotifVideoPipelineOutput]]

#### diffusers.MotifVideoPipelineOutput[[diffusers.MotifVideoPipelineOutput]]

```python
diffusers.MotifVideoPipelineOutput(frames: Tensor)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/motif_video/pipeline_output.py#L9)

**Параметры:**

frames (`torch.Tensor`, `np.ndarray` или List[List[PIL.Image.Image]]) : Список видеовыходов — может представлять собой вложенный список длины `batch_size,` где каждый подсписок содержит последовательности денойзированных изображений PIL длины `num_frames.` Также может быть массивом NumPy или тензором Torch формы `(batch_size, num_frames, channels, height, width)`.

Класс вывода для конвейеров Motif-Video.