Diffusers documentation
DPMSolverMultistepScheduler
DPMSolverMultistepScheduler
DPMSolverMultistepScheduler هو مجدول متعدد الخطوات من DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps و DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models من تأليف تشينغ لو، ويهاو تشو، فان باو، جيانفي تشن، تشونغشوان لي، وجون تشو.
DPMSolver (والنسخة المحسّنة DPMSolver++) هو محلل سريع مخصص من الرتبة العالية لمعادلات التفاضلية العادية للانتشار، مع ضمان لرتبة التقارب. عملياً، يمكن لعينة DPMSolver باستخدام 20 خطوة فقط أن تولّد عينات عالية الجودة، كما يمكنها توليد عينات جيدة جداً حتى في 10 خطوات.
نصائح
يُوصى بإعداد solver_order إلى 2 لعينة الدليل، وsolver_order=3 للعينة غير الشرطية.
يُؤيَّد استخدام العتبة الديناميكية من Imagen، ولنماذج الانتشار في فضاء البكسلات، يمكنك ضبط كل من algorithm_type="dpmsolver++" وthresholding=True لاستخدام العتبة الديناميكية. ومن غير المناسب استخدام طريقة العتبات هذه لنماذج الانتشار في فضاء الكمون مثل Stable Diffusion.
يُؤيَّد أيضاً المتغير SDE من DPMSolver و DPM-Solver++، ولكن فقط لحلّات الرتبة الأولى والثانية. هذا حلّ SDE سريع لسلسلة SDE الانتشار العكسي. يُوصى باستخدام حلّ الرتبة الثانية sde-dpmsolver++.
DPMSolverMultistepScheduler
فئة diffusers.DPMSolverMultistepScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: str = 'linear'trained_betas: numpy.ndarray | list[float] | None = Nonesolver_order: int = 2prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver', 'sde-dpmsolver++'] = 'dpmsolver++'solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint'lower_order_final: bool = Trueeuler_at_final: bool = Falseuse_karras_sigmas: bool = Falseuse_exponential_sigmas: bool = Falseuse_beta_sigmas: bool = Falseuse_lu_lambdas: bool = Falseuse_flow_sigmas: bool = Falseflow_shift: float = 1.0final_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero'lambda_min_clipped: float = -infvariance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = Nonetimestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace'steps_offset: int = 0rescale_betas_zero_snr: bool = Falseuse_dynamic_shifting: bool = Falsetime_shift_type: typing.Literal['exponential'] = 'exponential' )
المعاملات
- num_train_timesteps (
int، القيمة الافتراضية 1000) — عدد خطوات الانتشار لتدريب النموذج. - beta_start (
float، القيمة الافتراضية 0.0001) — قيمةbetaالابتدائية للاستدلال. - beta_end (
float، القيمة الافتراضية 0.02) — قيمةbetaالنهائية. - beta_schedule (
"linear"، أو"scaled_linear"، أو"squaredcos_cap_v2"، الافتراضي هو"linear") — جدول بيتا، وهو إسقاط من نطاق بيتا إلى تسلسل من قيم بيتا لخطوات النموذج. - trained_betas (
np.ndarray، اختياري) — مرر مصفوفة من قيم بيتا مباشرةً إلى منشئ الكائن لتجاوزbeta_startوbeta_end. - solver_order (
int، القيمة الافتراضية 2) — ترتيب DPMSolver الذي يمكن أن يكون1أو2أو3. يُوصى باستخدامsolver_order=2للعينة الموجَّهة، وsolver_order=3للعينة غير المشروطة. - prediction_type (
"epsilon"،"sample"،"v_prediction"، أو"flow_prediction"، الافتراضي هو"epsilon") — نوع التنبؤ لدالة المجدول. يتنبأepsilonبالضوضاء في عملية الانتشار، ويتنبأsampleمباشرةً بالعينة الضوضائية، ويتنبأv_predictionبالسرعة (انظر القسم 2.4 من ورقة Imagen Video)، ويتنبأflow_predictionبالتدفق. - thresholding (
bool، الافتراضيFalse) — ما إذا كان سيتم استخدام طريقة “العتبة الديناميكية”. هذه الطريقة غير مناسبة لنماذج الانتشار في الفضاء الكامن مثل Stable Diffusion. - dynamic_thresholding_ratio (
float) — النسبة المستخدمة في طريقة العتبة الديناميكية. تكون صالحة فقط عندما يكونthresholding=True. - sample_max_value (
float، القيمة الافتراضية 1.0) — القيمة العتبة للتعتيب الديناميكي. صالحة فقط عندما يكونthresholding=Trueوalgorithm_type="dpmsolver++". - algorithm_type (
"dpmsolver"،"dpmsolver++"،"sde-dpmsolver"، أو"sde-dpmsolver++"، الافتراضي هو"dpmsolver++") — نوع الخوارزمية للمُحلِّل. يُنفِّذ النوعdpmsolverالخوارزميات الواردة في ورقة DPMSolver، بينما يُنفِّذ النوعdpmsolver++الخوارزميات الواردة في ورقة DPMSolver++. يُوصى باستخدامdpmsolver++أوsde-dpmsolver++معsolver_order=2لأخذ العينات الموجَّهة كما في Stable Diffusion. - solver_type (
"midpoint"أو"heun"، الافتراضي هو"midpoint") — نوع المُحلِّل لمُحلِّل الرتبة الثانية. يؤثر نوع المُحلِّل قليلاً على جودة العينة، خاصةً عند استخدام عدد صغير من الخطوات. يُوصى باستخدام مُحلِّلاتmidpoint. - lower_order_final (
bool، القيمة الافتراضيةTrue) — ما إذا كان سيتم استخدام محللات من رتبة أدنى في الخطوات النهائية. صالح فقط لعدد خطوات الاستدلال < 15. يمكن أن يثبّت أخذ العينات في DPMSolver للخطوات < 15، خاصةً للخطوات <= 10. - euler_at_final (
bool، القيمة الافتراضيةFalse) — ما إذا كان سيتم استخدام طريقة أويلر في الخطوة الأخيرة. إنها موازنة بين الاستقرار العددي وغنى التفاصيل. يمكن أن يثبّت هذا عملية أخذ العينات لنسخة DPMSolver المعتمدة على المعادلات التفاضلية العشوائية (SDE) عند استخدام عدد صغير من خطوات الاستدلال، لكنه قد يؤدي أحياناً إلى ضبابية في الصورة. - use_karras_sigmas (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم استخدام Karras sigmas لحجم الخطوات في جدول الضوضاء أثناء عملية أخذ العينات. إذا كانتTrue، فإن قيم sigmas تُحدَّد وفقاً لسلسلة من مستويات الضوضاء {σi}. - use_exponential_sigmas (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم استخدام قيم sigmas أسّية لحجم الخطوات في جدول الضوضاء أثناء عملية أخذ العينات. - use_beta_sigmas (
bool, optional, defaults toFalse) — Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to Beta Sampling is All You Need for more information. - use_lu_lambdas (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم استخدام uniform-logSNR لحجم الخطوات المقترح بواسطة DPM-Solver الخاص بـ Lu في جدول الضوضاء أثناء عملية أخذ العينات. إذا كانتTrue، يتم تحديد قيم sigmas وخطوات الوقت وفقاً لسلسلة منlambda(t). - use_flow_sigmas (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم استخدام قيم flow sigmas لحساب أحجام الخطوات في جدول الضوضاء أثناء عملية أخذ العينات. - flow_shift (
float، اختياري، القيمة الافتراضية 1.0) — قيمة الإزاحة لجدول خطوات الزمن (timestep schedule) في مطابقة التدفق (flow matching). - final_sigmas_type (
"zero"أو"sigma_min"، اختياري، القيمة الافتراضية"zero") — قيمةsigmaالنهائية لجدول الضوضاء أثناء عملية أخذ العينات. إذا كانت"sigma_min"، فإن قيمة sigma النهائية هي نفسها آخر قيمة sigma في جدول التدريب. أما إذا كانت"zero"، فتُضبط قيمة sigma النهائية على 0. - lambda_min_clipped (
float، القيمة الافتراضية-inf) — حدّ القصّ للقيمة الدنيا لـlambda(t)من أجل الاستقرار العددي. وهذا أمر بالغ الأهمية لجدول الضوضاء الجيبية (squaredcos_cap_v2). - variance_type (
"learned"أو"learned_range"، اختياري) — يُضبط على"learned"أو"learned_range"لنماذج الانتشار التي تتنبأ بالتباين. إذا تم ضبطه، فإن مخرجات النموذج تتضمن التباين الغاوسي المتوقع. - timestep_spacing (
"linspace"،"leading"، أو"trailing"، الافتراضي هو"linspace") — طريقة توسيع خطوات الزمن. راجع الجدول 2 في جداول ضوضاء الانتشار الشائعة وخطوات العينة معيبة لمزيد من المعلومات. - steps_offset (
int، القيمة الافتراضية 0) — إزاحة تُضاف إلى خطوات الاستدلال، كما تتطلبها بعض عائلات النماذج. - rescale_betas_zero_snr (
bool، القيمة الافتراضيةFalse) — ما إذا كان يجب إعادة مقياس معاملات بيتا (betas) بحيث تكون نسبة الإشارة إلى الضوضاء النهائية (terminal SNR) صفرًا. يتيح هذا للنموذج توليد عينات ساطعة جدًا ومظلمة جدًا بدلاً من تقييده بتوليد عينات بإضاءة متوسطة. يرتبط ارتباطًا فضفاضًا بـ--offset_noise. - use_dynamic_shifting (
bool، القيمة الافتراضيةFalse) — ما إذا كان سيتم استخدام الإزاحة الديناميكية لجدول خطوات الزمن. - time_shift_type (
"exponential"، الافتراضي"exponential") — نوع إزاحة الوقت الذي يُطبَّق عند استخدام الإزاحة الديناميكية.
DPMSolverMultistepScheduler هو محلل سريع مخصص من الرتبة العالية لمعادلات التفاضلية العادية في النماذج الانتشارية.
يرث هذا النموذج من SchedulerMixin و ConfigMixin. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع مجدوليات الوقت مثل التحميل والحفظ.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
أضف الضوضاء إلى العينات الأصلية وفقًا لجدول الضوضاء عند خطوات الزمن المحددة.
convert_model_output
< source >( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
تحويل مخرجات النموذج إلى النوع المقابل الذي يحتاجه خوارزمية DPMSolver/DPMSolver++. صُمِّم DPM-Solver لتقطيع تكامل نموذج التنبؤ بالضوضاء، بينما صُمِّم DPM-Solver++ لتقطيع تكامل نموذج التنبؤ بالبيانات.
> خوارزمية ونوع النموذج منفصلان. يمكنك استخدام DPMSolver أو DPMSolver++ لكلٍّ من نماذج التنبؤ بالضوضاء ونماذج التنبؤ بالبيانات.
dpm_solver_first_order_update
< source >( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
خطوة واحدة لحلّ DPMSolver من الدرجة الأولى (المكافئ لـ DDIM).
index_for_timestep
< source >( timestep: typing.Union[int, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int
حدد فهرس خطوة زمنية معينة في الجدول الزمني.
multistep_dpm_solver_second_order_update
< source >( model_output_list: list[torch.Tensor]*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
المعاملات
- model_output_list (
list[torch.Tensor]) — المخرجات المباشرة من نموذج الانتشار المُتعلَّم عند خطوات الزمن الحالية واللاحقة. - sample (
torch.Tensor, اختياري) — نسخة حالية من عينة أنشأتها عملية الانتشار. - noise (
torch.Tensor، اختياري) — ضوضاء عشوائية تُستخدم في متغيرات المُحلِّل العشوائي (sde-*). يُشترط توفيره عند ضبطalgorithm_typeعلى أحد هذه المتغيرات، ولا يُستخدم في الحالات الأخرى.
يعيد
torch.Tensor
المصفوفة العينة عند خطوة الزمن السابقة.
خطوة واحدة لحلّ DPMSolver متعدد الخطوات من الدرجة الثانية.
multistep_dpm_solver_third_order_update
< source >( model_output_list: list[torch.Tensor]*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
المعاملات
- model_output_list (
list[torch.Tensor]) — المخرجات المباشرة من نموذج الانتشار المُتعلَّم عند خطوات الزمن الحالية واللاحقة. - sample (
torch.Tensor، اختياري) — نسخة حالية من عينة تم إنشاؤها بواسطة عملية الانتشار. - noise (
torch.Tensor، اختياري) — مصفوفة الضوضاء.
يعيد
torch.Tensor
المصفوفة العينة عند خطوة الزمن السابقة.
خطوة واحدة لحلّ DPMSolver متعدد الخطوات من الرتبة الثالثة.
scale_model_input
< source >( sample: Tensor*args**kwargs ) → torch.Tensor
يضمن قابلية الاستبدال مع المجدولات التي تحتاج إلى تحجيم مدخلات نموذج إزالة الضوضاء اعتمادًا على خطوة الزمن الحالية.
set_begin_index
< source >( begin_index: int = 0 )
يحدد الفهرس الابتدائي للمجدول. يجب تشغيل هذه الدالة من خط الأنابيب قبل الاستدلال.
set_timesteps
< source >( num_inference_steps: int = Nonedevice: typing.Union[str, torch.device] = Nonemu: float | None = Nonetimesteps: list[int] | None = None )
المعاملات
- num_inference_steps (
int, اختياري) — عدد خطوات الانتشار المستخدمة عند توليد العينات باستخدام نموذج مُدرَّب مسبقًا. - device (
strأوtorch.device، اختياري) — الجهاز الذي يجب نقل خطوات الزمن (timesteps) إليه. إذا كانNone، فلن يتم نقل خطوات الزمن. - mu (
float، اختياري) — أسّ للإزاحة الديناميكية للزمن. يتطلبuse_dynamic_shiftingوقيمةtime_shift_typeتساوي"exponential"؛ عند تمريره، يُضبطflow_shiftعلىexp(mu). - timesteps (
list[int]، اختياري) — خطوات زمنية مخصصة تُستخدم لدعم جدول خطوات زمنية تعسفي. إذا كانتNone، فسيتم توليد الخطوات الزمنية بناءً على خاصيةtimestep_spacing. إذا تم تمريرtimesteps، فيجب أن تكونnum_inference_stepsوsigmasمساويةً لـNone، وسيتم تجاهل خاصيةtimestep_spacing.
يحدد الخطوات الزمنية المنفصلة المستخدمة لسلسلة الانتشار (لتُنفَّذ قبل الاستدلال).
خطوة
< source >( model_output: Tensortimestep: typing.Union[int, torch.Tensor]sample: Tensorgenerator: typing.Optional[torch.Generator] = Nonevariance_noise: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → SchedulerOutput or tuple
المعاملات
- model_output (
torch.Tensor) — المخرجات المباشرة من نموذج الانتشار المُتعلَّم. - timestep (
intأوtorch.Tensor) — خطوة الزمن المنفصلة الحالية في سلسلة الانتشار. - sample (
torch.Tensor) — نسخة حالية من العينة التي أنشأها عملية الانتشار. - generator (
torch.Generator، اختياري) — مولّد أرقام عشوائية. - variance_noise (
torch.Tensor, اختياري) — بديل لتوليد الضوضاء باستخدامgeneratorمن خلال تقديم الضوضاء مباشرةً للتباين نفسه. مفيد لطرق مثلLEdits++. - return_dict (
bool، القيمة الافتراضيةTrue) — ما إذا كان يجب إرجاع SchedulerOutput أوtuple.
يعيد
SchedulerOutput أو tuple
إذا كان return_dict هو True، يُعاد SchedulerOutput، وإلا يُعاد tuple حيث يكون العنصر الأول هو tensor العينة.
تنبّأ بالعيّنة من خطوة الزمن السابقة عن طريق عكس معادلة ستوكستك التفاضلية (SDE). تنقل هذه الدالة العيّنة باستخدام multistep DPMSolver.
SchedulerOutput
فئة diffusers.schedulers.scheduling_utils.SchedulerOutput
< source >( prev_sample: Tensor )
الفئة الأساسية لمخرجات دالة step في المجدول.