AutoencoderKLKVAEVideo

O modelo de autoencoder variacional 3D (VAE) com perda KL.

O modelo pode ser carregado com o seguinte trecho de código.

import torch
from diffusers import AutoencoderKLKVAEVideo

vae = AutoencoderKLKVAEVideo.from_pretrained("kandinskylab/KVAE-3D-1.0", subfolder="diffusers", dtype=torch.float16)

AutoencoderKLKVAEVideo

classe diffusers.AutoencoderKLKVAEVideo

< source >

( ch: int = 128ch_mult: typing.Tuple[int, ...] = (1, 2, 4, 8)num_res_blocks: int = 2in_channels: int = 3out_ch: int = 3z_channels: int = 16temporal_compress_times: int = 4 )

Parâmetros

ch (int, opcional, padrão 128) — Número base de canais.
ch_mult (Tuple[int], opcional, padrão (1, 2, 4, 8)) — Multiplicadores de canais por nível.
num_res_blocks (int, opcional, padrão 2) — Número de blocos residuais por nível.
in_channels (int, opcional, padrão 3) — Número de canais de entrada.
out_ch (int, opcional, padrão 3) — Número de canais de saída.
z_channels (int, opcional, padrão 16) — Número de canais latentes.
temporal_compress_times (int, opcional, padrão 4) — Fator de compressão temporal.

Um modelo VAE com perda KL para codificar vídeos em latentes e decodificar representações latentes em vídeos. Usado no KVAE.

Este modelo herda de ModelMixin. Consulte a documentação da superclasse para seus métodos genéricos implementados para todos os modelos (como download ou salvamento).

decode

< source >

( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parâmetros

z (torch.Tensor) — Lote de entrada de vetores latentes com forma (B, C, T, H, W).
return_dict (bool, opcional, padrão True) — Se deve retornar um ~models.vae.DecoderOutput em vez de uma tupla simples.

Retorna

~models.vae.DecoderOutput ou tuple

Vídeo decodificado.

Decodifique um lote de vídeos.

disable_slicing

< source >

( )

Desative a decodificação de VAE fatiado.

enable_slicing

< source >

( )

Ative a decodificação de VAE fatiado.

encode

< source >

( x: Tensorreturn_dict: bool = True )

Parâmetros

x (torch.Tensor) — Lote de entrada de vídeos com forma (B, C, T, H, W).
return_dict (bool, opcional, padrão True) — Se deve retornar um ~models.autoencoder_kl.AutoencoderKLOutput em vez de uma tupla simples.

Codifique um lote de vídeos em latentes.

forward

< source >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple

Parâmetros

sample (torch.Tensor) — Amostra de entrada.
sample_posterior (bool, opcional, padrão False) — Se deve amostrar da posterior.
return_dict (bool, opcional, padrão True) — Se deve ou não retornar um DecoderOutput em vez de uma tupla simples.
generator (torch.Generator, opcional) — Um torch.Generator para tornar a amostragem determinística.

Retorna

~models.vae.DecoderOutput ou tuple

Se return_dict for True, um ~models.vae.DecoderOutput é retornado; caso contrário, uma tuple simples é retornada.

Update on GitHub

Diffusers

AutoencoderKLKVAEVideo