import gradio as gr import torch import numpy as np import random import os import yaml from pathlib import Path import imageio import tempfile from PIL import Image from huggingface_hub import hf_hub_download import shutil import sys # --- SETUP INICIAL: GARANTIR QUE A BIBLIOTECA LTX-VIDEO ESTEJA ACESSÍVEL --- # O Dockerfile deve clonar o repositório para /opt/LTX-Video LTX_REPO_PATH = Path("/data/LTX-Video") if not LTX_REPO_PATH.exists(): # Fallback se o Dockerfile não clonou, tenta clonar agora. print(f"Diretório {LTX_REPO_PATH} não encontrado. Tentando clonar...") try: subprocess.run(["git", "clone", "--depth", "1", "https://github.com/Lightricks/LTX-Video.git", str(LTX_REPO_PATH)], check=True) except Exception as e: print(f"ERRO FATAL: Falha ao clonar o repositório LTX-Video. {e}") raise if str(LTX_REPO_PATH) not in sys.path: # Adiciona o diretório clonado ao sys.path para permitir os imports sys.path.insert(0, str(LTX_REPO_PATH)) print(f"Adicionado '{LTX_REPO_PATH}' ao sys.path.") # Agora, importa as funções e classes do repositório LTX-Video try: from ltx_video.inference import ( create_ltx_video_pipeline, create_latent_upsampler, seed_everething, calculate_padding, ) from ltx_video.pipelines.pipeline_ltx_video import ConditioningItem, LTXMultiScalePipeline from ltx_video.utils.skip_layer_strategy import SkipLayerStrategy from diffusers.utils import export_to_video, load_image, load_video from ltx_video.pipelines.pipeline_ltx_condition import LTXVideoCondition except ImportError as e: print(f"ERRO FATAL: Falha ao importar módulos do LTX-Video. Verifique a instalação do repositório. Erro: {e}") raise # --- CARREGAMENTO GLOBAL DOS MODELOS E CONFIGURAÇÕES --- APP_HOME = Path(os.environ.get("APP_HOME", "/app")) CONFIG_FILE_PATH = APP_HOME / "configs" / "ltxv-13b-0.9.8-distilled-fp8.yaml" MODELS_DIR = Path("/data/ltx_models_official") MODELS_DIR.mkdir(parents=True, exist_ok=True) print("Lendo arquivo de configuração YAML...") with open(CONFIG_FILE_PATH, "r") as file: PIPELINE_CONFIG_YAML = yaml.safe_load(file) DEVICE = "cuda" if torch.cuda.is_available() else "cpu" DTYPE = torch.bfloat16 if DEVICE == "cuda" and torch.cuda.is_bf16_supported() else torch.float16 # --- Baixa os modelos necessários (idempotente) --- print(f"Verificando e baixando arquivos de modelo para '{MODELS_DIR}'...") # 1. Baixa os arquivos de pesos principais for key in ["checkpoint_path", "spatial_upscaler_model_path"]: filename = PIPELINE_CONFIG_YAML.get(key) if filename and not (MODELS_DIR / filename).exists(): print(f"Baixando {filename}...") hf_hub_download(repo_id="Lightricks/LTX-Video", filename=filename, local_dir=str(MODELS_DIR), token=os.getenv("HF_TOKEN")) # 2. Baixa os componentes de apoio (VAE, Text Encoder, etc.) snapshot_download(repo_id="Lightricks/LTX-Video", local_dir=str(MODELS_DIR), allow_patterns=["text_encoder/*", "tokenizer/*", "vae/*", "scheduler/*"], token=os.getenv("HF_TOKEN")) print("Arquivos de modelo verificados/baixados.") # --- Monta as Pipelines (uma única vez, mantendo-as "quentes") --- print("Montando pipelines LTX-Video na memória...") # Modifica a config em memória para usar o caminho local dos componentes PIPELINE_CONFIG_YAML["text_encoder_model_name_or_path"] = str(MODELS_DIR) pipeline_instance = create_ltx_video_pipeline( ckpt_path=str(MODELS_DIR / PIPELINE_CONFIG_YAML["checkpoint_path"]), precision=PIPELINE_CONFIG_YAML["precision"], text_encoder_model_name_or_path=PIPELINE_CONFIG_YAML["text_encoder_model_name_or_path"], sampler=PIPELINE_CONFIG_YAML["sampler"], device="cpu", # Carrega na CPU primeiro para economizar VRAM durante a inicialização ) latent_upsampler_instance = create_latent_upsampler( latent_upsampler_model_path=str(MODELS_DIR / PIPELINE_CONFIG_YAML["spatial_upscaler_model_path"]), device="cpu" ) print(f"Movendo pipelines para o dispositivo: {DEVICE}...") pipeline_instance.to(DEVICE) latent_upsampler_instance.to(DEVICE) pipeline_instance.vae.enable_tiling() print("✅ Pipelines montadas e prontas na GPU.") # --- FUNÇÃO DE GERAÇÃO PRINCIPAL (CALLBACK DO GRADIO) --- def round_to_nearest_resolution(height, width): ratio = pipeline_instance.vae.spatial_compression_ratio height = height - (height % ratio) width = width - (width % ratio) return int(height), int(width) def generate( prompt: str, image_input: Optional[str], target_height: int, target_width: int, num_frames: int, seed: int, guidance_scale: float, num_inference_steps: int, denoise_strength: float, progress=gr.Progress(track_tqdm=True) ): if not image_input and not prompt: raise gr.Error("Por favor, forneça uma imagem de entrada ou um prompt de texto.") seed_everething(seed) generator = torch.Generator(device=DEVICE).manual_seed(seed) conditions = None if image_input: progress(0.1, desc="Preparando imagem de condição...") image = load_image(image_input) video_condition_input = load_video(export_to_video([image])) condition = ConditioningItem(video_condition_input.to(DEVICE), 0, 1.0) conditions = [condition] # --- LÓGICA MULTI-ESCALA --- multi_scale_pipeline = LTXMultiScalePipeline(pipeline_instance, latent_upsampler_instance) # Prepara os argumentos com base no YAML e na UI first_pass_args = PIPELINE_CONFIG_YAML.get("first_pass", {}).copy() second_pass_args = PIPELINE_CONFIG_YAML.get("second_pass", {}).copy() # Sobrescreve com os valores da UI onde faz sentido # Se o YAML tiver uma lista para guidance_scale, respeitamos isso. Se não, usamos o valor da UI. if not isinstance(first_pass_args.get("guidance_scale"), list): first_pass_args["guidance_scale"] = guidance_scale if not isinstance(second_pass_args.get("guidance_scale"), list): second_pass_args["guidance_scale"] = guidance_scale first_pass_args["num_inference_steps"] = num_inference_steps second_pass_args["denoise_strength"] = denoise_strength call_kwargs = { "prompt": prompt, "negative_prompt": "worst quality, inconsistent motion, blurry, jittery, distorted", "height": target_height, "width": target_width, "num_frames": num_frames, "generator": generator, "output_type": "pt", "conditioning_items": conditions, "decode_timestep": PIPELINE_CONFIG_YAML["decode_timestep"], "decode_noise_scale": PIPELINE_CONFIG_YAML["decode_noise_scale"], "downscale_factor": PIPELINE_CONFIG_YAML["downscale_factor"], "first_pass": first_pass_args, "second_pass": second_pass_args, } print("[LTX App] Executando pipeline multi-escala...") progress(0.3, desc="Gerando vídeo (pode levar alguns minutos)...") result_tensor = multi_scale_pipeline(**call_kwargs).images # --- ETAPA FINAL: Exportar para vídeo --- progress(0.9, desc="Exportando para arquivo de vídeo...") output_video_path = tempfile.mktemp(suffix=".mp4") video_np = result_tensor[0].permute(1, 2, 3, 0).cpu().float().numpy() video_np = np.clip(video_np * 255, 0, 255).astype("uint8") export_to_video(video_np, str(output_video_path), fps=24) print(f"Vídeo gerado com sucesso em: {output_video_path}") return output_video_path # --- UI GRADIO --- with gr.Blocks(title="LTX-Video (Correto)", theme=gr.themes.Soft()) as demo: gr.HTML("
Implementação final usando a API nativa do LTX-Video.
") with gr.Row(): with gr.Column(scale=1): image_in = gr.Image(type="filepath", label="Imagem de Entrada (Opcional para txt2vid)") prompt_in = gr.Textbox(label="Prompt", lines=4, placeholder="Ex: a cinematic shot of a majestic lion walking in the savanna, 4k, high quality") with gr.Accordion("Parâmetros Principais", open=True): with gr.Row(): height_in = gr.Slider(label="Altura Final (Height)", minimum=256, maximum=1024, step=32, value=480) width_in = gr.Slider(label="Largura Final (Width)", minimum=256, maximum=1280, step=32, value=832) with gr.Row(): frames_in = gr.Slider(label="Número de Frames", minimum=17, maximum=161, step=8, value=97, info="Deve ser um múltiplo de 8 + 1.") seed_in = gr.Number(label="Seed", value=42, precision=0) with gr.Accordion("Parâmetros Avançados", open=False): num_inference_steps_in = gr.Slider(label="Passos de Inferência (Etapa 1)", minimum=4, maximum=50, step=1, value=30) guidance_scale_in = gr.Slider(label="Força do Guia (Guidance)", minimum=1.0, maximum=10.0, step=0.5, value=1.0, info="Para modelos 'distilled', o valor recomendado é 1.0.") denoise_strength_in = gr.Slider(label="Força do Refinamento (Denoise)", minimum=0.1, maximum=1.0, step=0.05, value=0.5, info="Controla a intensidade da Etapa 3 (refinamento).") run_button = gr.Button("Gerar Vídeo", variant="primary") with gr.Column(scale=1): video_out = gr.Video(label="Vídeo Gerado") run_button.click( fn=generate, inputs=[prompt_in, image_in, height_in, width_in, frames_in, seed_in, guidance_scale_in, num_inference_steps_in, denoise_strength_in], outputs=[video_out], ) if __name__ == "__main__": demo.queue().launch( server_name=os.getenv("GRADIO_SERVER_NAME", "0.0.0.0"), server_port=int(os.getenv("GRADIO_SERVER_PORT", "7861")), show_error=True, )