VeRA: Adaptación de matrices aleatorias basada en vectores

VeRA es una técnica de ajuste fino eficiente en parámetros que es similar a LoRA, pero que requiere aún menos parámetros adicionales mientras promete un rendimiento similar o incluso mejor. Por lo tanto, es especialmente útil cuando el presupuesto de parámetros es muy limitado, por ejemplo, al escalar a modelos muy grandes. La reducción del número de parámetros entrenables se logra compartiendo las mismas matrices de bajo rango entre todas las capas y entrenando solo dos vectores adicionales por capa.

Cómo funciona VeRA

LoRA actualiza un modelo base congelado aprendiendo dos matrices pequeñas de bajo rango para cada capa adaptada. El rango es la dimensión interna de estas matrices y controla la capacidad del adaptador. En LoRA, aumentar r o adaptar más capas aumenta rápidamente el número de parámetros entrenables porque cada capa adaptada aprende su propio par de matrices de bajo rango.

VeRA mantiene la misma idea de adaptación de bajo rango, pero cambia qué parámetros se entrenan. En lugar de aprender matrices de bajo rango separadas para cada capa, VeRA utiliza un par de matrices de bajo rango congeladas e inicializadas aleatoriamente, A y B, que se comparten entre capas. Cada capa adaptada solo aprende dos vectores de escalado, vera_lambda_d y vera_lambda_b, que reescalan las matrices compartidas para producir una actualización específica de la capa. Dado que vera_lambda_d tiene tamaño r, la cantidad de parámetros entrenables de VeRA sigue aumentando con r y con el número de capas adaptadas. Sin embargo, crece mucho más lentamente que la de LoRA, porque las matrices grandes A y B se comparten y se congelan en lugar de aprenderse por separado para cada capa.

Por eso VeRA puede usar menos parámetros entrenables que LoRA. En el recuento simplificado de parámetros del artículo, LoRA escala con 2 * L_tuned * d_model * r, donde L_tuned es el número de capas adaptadas, d_model es la dimensión del modelo y r es el rango. VeRA escala con L_tuned * (d_model + r) porque las matrices de bajo rango grandes se comparten y se mantienen congeladas, mientras que solo se entrenan los vectores más pequeños por capa.

Al guardar los parámetros del adaptador, es posible evitar el almacenamiento de las matrices de bajo rango estableciendo save_projection=False en VeraConfig. En ese caso, estas matrices se restaurarán en función de la semilla aleatoria fija del argumento projection_prng_key. Esto reduce el tamaño del punto de control, pero no podemos garantizar la reproducibilidad en todos los dispositivos ni en todas las versiones futuras de PyTorch. Si deseas asegurar la reproducibilidad, establece save_projection=True (que es el valor predeterminado).

Para manejar diferentes formas de las capas adaptadas, VeRA inicializa las matrices compartidas A y B con el tamaño máximo requerido para cada dimensión. Durante la pasada hacia adelante, las submatrices A y B para una capa dada se extraen de estas matrices compartidas y se utilizan tal como se describe en el artículo. Por ejemplo, adaptar dos capas lineales de formas (100, 20) y (80, 50) creará matrices A y B de formas (rank, 50) y (100, rank) respectivamente. Luego, para adaptar una capa de forma (100, 20), se extraerán submatrices A y B de formas (rank, 20) y (100, rank).

VeRA tiene actualmente la siguiente restricción:

• Solo se admiten capas nn.Linear.

El resumen del artículo es:

La adaptación de bajo rango (LoRA) es un método popular que reduce el número de parámetros entrenables al realizar el ajuste fino de modelos de lenguaje grandes, pero aún enfrenta desafíos agudos de almacenamiento al escalar a modelos aún más grandes o al desplegar numerosos modelos adaptados por usuario o por tarea. En este trabajo, presentamos la Adaptación de Matrices Aleatorias Basada en Vectores (VeRA), que reduce significativamente el número de parámetros entrenables en comparación con LoRA, pero mantiene el mismo rendimiento. Lo logra utilizando un único par de matrices de bajo rango compartido entre todas las capas y aprendiendo vectores de escalado pequeños en su lugar. Demostramos su efectividad en los benchmarks GLUE y E2E, en tareas de clasificación de imágenes, y mostramos su aplicación en el ajuste de instrucciones de modelos de lenguaje de 7B y 13B.

Cuándo usar VeRA

VeRA es una buena opción cuando:

• Desea minimizar el número de parámetros entrenables manteniendo un rendimiento comparable al de LoRA.
• Necesita almacenar o desplegar muchos adaptadores específicos para cada tarea, donde los puntos de control de adaptadores más pequeños reducen los requisitos de almacenamiento.
• Estás ajustando modelos de lenguaje muy grandes con presupuestos estrictos de memoria o parámetros.

Cuándo no usar VeRA

VeRA puede no ser la mejor opción cuando:

• Se requieren matrices de bajo rango independientes para cada capa adaptada, lo que proporciona mayor flexibilidad en los parámetros del adaptador aprendido.
• Su modelo requiere adaptar tipos de módulos distintos de nn.Linear, ya que VeRA actualmente solo admite capas lineales.
• Su modelo contiene capas lineales adaptadas con dimensiones de entrada y salida muy diferentes. Dado que VeRA comparte un único par de matrices de proyección entre todas las capas adaptadas, estas matrices deben dimensionarse para la forma más grande. Por lo tanto, los modelos con una gran variación en las formas de las capas (por ejemplo, las capas de proyección ascendente y descendente de un transformer) pueden requerir una sobreprovisión de las matrices de proyección compartidas, lo que reduce parte de la ventaja de eficiencia de parámetros de VeRA.

Resumen de las pruebas de rendimiento

API

VeRAConfig

VeRAModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import VeraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = VeraConfig(r=128)
>>> model = get_peft_model(base_model, config)