Lumina-T2X

Lumina-Next: Membuat Lumina-T2X Lebih Kuat dan Lebih Cepat dengan Next-DiT dari Alpha-VLLM, OpenGVLab, Shanghai AI Laboratory.

Abstrak dari makalah tersebut adalah:

Lumina-T2X adalah keluarga awal dari Flow-based Large Diffusion Transformers (Flag-DiT) yang menetapkan kerangka kerja terpadu untuk mengubah noise menjadi berbagai modalitas, seperti gambar dan video, yang dikondisikan oleh instruksi teks. Meskipun memiliki kemampuan yang menjanjikan, Lumina-T2X masih menghadapi tantangan termasuk ketidakstabilan pelatihan, inferensi yang lambat, dan artefak ekstrapolasi. Dalam makalah ini, kami menyajikan Lumina-Next, versi yang ditingkatkan dari Lumina-T2X, yang menampilkan kinerja generasi yang lebih kuat dengan efisiensi pelatihan dan inferensi yang lebih tinggi. Kami memulai dengan analisis komprehensif arsitektur Flag-DiT dan mengidentifikasi beberapa komponen yang tidak optimal, yang kami tangani dengan memperkenalkan arsitektur Next-DiT dengan 3D RoPE dan normalisasi sandwich. Untuk memungkinkan ekstrapolasi resolusi yang lebih baik, kami membandingkan secara menyeluruh berbagai metode ekstrapolasi konteks yang diterapkan pada generasi teks-ke-gambar dengan 3D RoPE, dan mengusulkan Frequency- and Time-Aware Scaled RoPE yang disesuaikan untuk diffusion transformers. Selain itu, kami memperkenalkan jadwal diskretisasi waktu sigmoid untuk mengurangi langkah sampling dalam menyelesaikan Flow ODE dan metode Context Drop untuk menggabungkan token visual yang redundan untuk evaluasi jaringan yang lebih cepat, secara efektif meningkatkan kecepatan sampling keseluruhan. Berkat peningkatan-peningkatan ini, Lumina-Next tidak hanya meningkatkan kualitas dan efisiensi generasi teks-ke-gambar dasar, tetapi juga menunjukkan kemampuan ekstrapolasi resolusi yang unggul dan generasi multibahasa menggunakan decoder-based LLMs sebagai text encoder, semuanya secara zero-shot. Untuk lebih memvalidasi Lumina-Next sebagai kerangka kerja generatif yang serbaguna, kami menginstansiasikannya pada tugas-tugas beragam termasuk pengenalan visual, multi-view, audio, musik, dan generasi point cloud, menampilkan kinerja yang kuat di domain-domain ini. Dengan merilis semua kode dan bobot model di https://github.com/Alpha-VLLM/Lumina-T2X, kami bertujuan untuk memajukan pengembangan AI generatif generasi berikutnya yang mampu pemodelan universal.

Highlight: Lumina-Next adalah Diffusion Transformer generasi berikutnya yang secara signifikan meningkatkan generasi teks-ke-gambar, generasi multibahasa, dan kinerja multitugas dengan memperkenalkan arsitektur Next-DiT, 3D RoPE, dan RoPE yang sadar frekuensi dan waktu, di antara peningkatan lainnya.

Lumina-Next memiliki komponen-komponen berikut:

• Itu meningkatkan efisiensi sampling dengan langkah-langkah yang lebih sedikit dan lebih cepat.
• Model ini menggunakan Next-DiT sebagai tulang punggung transformer dengan Sandwichnorm 3D RoPE, dan Grouped-Query Attention.
• Itu menggunakan Frequency- and Time-Aware Scaled RoPE.

Lumina-T2X: Mengubah Teks Menjadi Modality, Resolusi, dan Durasi Apa Pun melalui Flow-based Large Diffusion Transformers dari Alpha-VLLM, OpenGVLab, Shanghai AI Laboratory.

Abstrak dari makalah tersebut adalah:

Sora mengungkapkan potensi penskalaan Diffusion Transformer untuk menghasilkan gambar dan video fotorealistis pada resolusi, rasio aspek, dan durasi yang sewenang-wenangnya, namun masih kekurangan detail implementasi yang memadai. Dalam laporan teknis ini, kami memperkenalkan keluarga Lumina-T2X - serangkaian Flow-based Large Diffusion Transformers (Flag-DiT) yang dilengkapi dengan zero-initialized attention, sebagai kerangka kerja terpadu yang dirancang untuk mengubah noise menjadi gambar, video, objek 3D multi-view, dan klip audio yang dikondisikan oleh instruksi teks. Dengan melakukan tokenisasi ruang spasial-temporal laten dan mengintegrasikan placeholder yang dapat dipelajari seperti token [nextline] dan [nextframe], Lumina-T2X menyatukan representasi berbagai modalitas secara mulus di berbagai resolusi spasial-temporal. Pendekatan terpadu ini memungkinkan pelatihan dalam satu kerangka kerja untuk berbagai modalitas dan memungkinkan generasi data multimodal yang fleksibel pada resolusi, rasio aspek, dan panjang apa pun selama inferensi. Teknik-teknik canggih seperti RoPE, RMSNorm, dan flow matching meningkatkan stabilitas, fleksibilitas, dan skalabilitas Flag-DiT, sehingga memungkinkan model-model Lumina-T2X untuk diskalakan hingga 7 miliar parameter dan memperluas jendela konteks hingga 128K token. Hal ini sangat bermanfaat untuk membuat gambar ultra-tinggi definisi dengan model Lumina-T2I kami dan video 720p panjang dengan model Lumina-T2V kami. Yang menakjubkan, Lumina-T2I, yang didukung oleh Flag-DiT dengan 5 miliar parameter, hanya membutuhkan 35% dari biaya komputasi pelatihan DiT naif dengan 600 juta parameter. Analisis komprehensif lebih lanjut kami menegaskan kemampuan awal Lumina-T2X dalam ekstrapolasi resolusi, pengeditan resolusi tinggi, menghasilkan tampilan 3D yang konsisten, dan mensintesis video dengan transisi yang mulus. Kami berharap bahwa open-sourcing Lumina-T2X akan lebih memupuk kreativitas, transparansi, dan keberagaman dalam komunitas AI generatif.

Anda dapat menemukan basis kode asli di Alpha-VLLM dan semua checkpoint yang tersedia di Alpha-VLLM Lumina Family.

Highlight: Lumina-T2X mendukung modality, resolusi, dan durasi apa pun.

Lumina-T2X memiliki komponen-komponen berikut:

• Menggunakan Flow-based Large Diffusion Transformer sebagai backbone
• It mendukung berbagai modalitas dengan satu backbone dan encoder, decoder yang sesuai.

Pipeline ini disumbangkan oleh PommesPeter. Basis kode asli dapat ditemukan di sini. Bobot asli dapat ditemukan di hf.co/Alpha-VLLM.

Pastikan untuk melihat panduan Schedulers untuk mempelajari cara mengeksplorasi tradeoff antara kecepatan dan kualitas scheduler, serta lihat bagian reuse components across pipelines untuk mempelajari cara memuat komponen yang sama secara efisien ke dalam beberapa pipeline.

Inferensi (Teks-ke-Gambar)

Gunakan torch.compile untuk mengurangi latensi inferensi.

Pertama, muat pipeline:

from diffusers import LuminaPipeline
import torch

pipeline = LuminaPipeline.from_pretrained(
	"Alpha-VLLM/Lumina-Next-SFT-diffusers", dtype=torch.bfloat16
).to("cuda")  # or "mps", "xpu", "cpu"

Lalu ubah tata letak memori komponen transformer dan vae menjadi torch.channels-last:

pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.vae.to(memory_format=torch.channels_last)

Terakhir, kompilasi komponen dan jalankan inferensi:

pipeline.transformer = torch.compile(pipeline.transformer, mode="max-autotune", fullgraph=True)
pipeline.vae.decode = torch.compile(pipeline.vae.decode, mode="max-autotune", fullgraph=True)

image = pipeline(prompt="Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background shows an industrial revolution cityscape with smoky skies and tall, metal structures").images[0]

Kuantisasi

Quantization membantu mengurangi kebutuhan memori untuk model yang sangat besar dengan menyimpan bobot model dalam tipe data presisi yang lebih rendah. Namun, quantization dapat memiliki dampak yang bervariasi terhadap kualitas video tergantung pada model video yang digunakan.

Lihat ringkasan Kuantisasi untuk mempelajari lebih lanjut tentang backend kuantisasi yang didukung dan memilih backend kuantisasi yang mendukung kasus penggunaan Anda. Contoh di bawah ini menunjukkan cara memuat LuminaPipeline terkuantisasi untuk inferensi dengan bitsandbytes.

import torch
from diffusers import BitsAndBytesConfig as DiffusersBitsAndBytesConfig, Transformer2DModel, LuminaPipeline
from transformers import BitsAndBytesConfig as BitsAndBytesConfig, T5EncoderModel

quant_config = BitsAndBytesConfig(load_in_8bit=True)
text_encoder_8bit = T5EncoderModel.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    subfolder="text_encoder",
    quantization_config=quant_config,
    dtype=torch.float16,
)

quant_config = DiffusersBitsAndBytesConfig(load_in_8bit=True)
transformer_8bit = Transformer2DModel.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    subfolder="transformer",
    quantization_config=quant_config,
    dtype=torch.float16,
)

pipeline = LuminaPipeline.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    text_encoder=text_encoder_8bit,
    transformer=transformer_8bit,
    dtype=torch.float16,
    device_map="balanced",
)

prompt = "a tiny astronaut hatching from an egg on the moon"
image = pipeline(prompt).images[0]
image.save("lumina.png")

LuminaPipeline

>>> import torch
>>> from diffusers import LuminaPipeline

>>> pipe = LuminaPipeline.from_pretrained("Alpha-VLLM/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16)
>>> # Enable memory optimizations.
>>> pipe.enable_model_cpu_offload()

>>> prompt = "Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background shows an industrial revolution cityscape with smoky skies and tall, metal structures"
>>> image = pipe(prompt).images[0]