# IA3 > [!TIP] > IA3 — отличный выбор, когда требуется минимально возможный размер адаптера: он использует обучаемые векторы вместо матриц низкого ранга, что делает его одним из самых параметрически эффективных доступных методов. Если ваш приоритет — минимальный размер на диске/в памяти и быстрая тренировка, IA3 является сильным кандидатом. IA3 вводит три вектора, lv, lk и lff, для масштабирования активаций value, key и feed-forward (источник изображения). Infused Adapter by Inhibiting and Amplifying Inner Activations, or [IA3](https://hf.co/papers/2205.05638), is a method that adds three learned vectors to rescale the keys and values of the self-attention and encoder-decoder attention layers, and the intermediate activation of the position-wise feed-forward network. Аннотация из статьи: *Обучение с несколькими примерами в контексте (Few-shot in-context learning, ICL) позволяет предобученным языковым моделям выполнять ранее не встречавшуюся задачу без обучения на основе градиентов, передавая небольшое количество обучающих примеров в качестве части входных данных. ICL требует значительных вычислительных, энергетических и затрат на хранение, поскольку предполагает обработку всех обучающих примеров при каждом выполнении предсказания. Эффективное по параметрам дообучение (Parameter-efficient fine-tuning, PEFT) (например, адаптерные модули, prompt tuning, методы разреженного обновления и т. д.) предлагает альтернативный подход, при котором обучается небольшой набор параметров, чтобы модель могла выполнять новую задачу. В данной статье мы строго сравниваем few-shot ICL и PEFT и показываем, что второй вариант обеспечивает более высокую точность, а также значительно меньшие вычислительные затраты. По ходу работы мы представляем новый метод PEFT, названный (IA)^3, который масштабирует активации с помощью обучаемых векторов, достигая более высоких результатов при введении относительно небольшого количества новых параметров. Мы также предлагаем простой рецепт на основе модели T0, названный T-Few, который можно применять к новым задачам без настройки или модификаций, специфичных для конкретной задачи. Мы подтверждаем эффективность T-Few на полностью новых задачах, применив его к бенчмарку RAFT, впервые достигнув сверхчеловеческих результатов и превзойдя текущий уровень (state-of-the-art) на 6% в абсолютном выражении. Весь код, использованный в наших экспериментах, доступен публично*. To make fine-tuning more efficient, IA3 (Infused Adapter by Inhibiting and Amplifying Inner Activations) rescales inner activations with learned vectors. These learned vectors are injected in the attention and feedforward modules in a typical transformer-based architecture. These learned vectors are the only trainable parameters during fine-tuning, and thus the original weights remain frozen. Dealing with learned vectors (as opposed to learned low-rank updates to a weight matrix like LoRA) keeps the number of trainable parameters much smaller. Похоже на [LoRA](./lora), IA3 обладает многими преимуществами: * IA3 делает дообучение более эффективным, значительно сокращая количество обучаемых параметров. (Для T0 модель IA3 содержит лишь около 0,01% обучаемых параметров, тогда как даже у LoRA их больше 0,1%) * Исходные предобученные веса остаются замороженными, что позволяет создавать множество лёгких и переносимых моделей IA3 для различных задач, построенных на их основе. * Производительность моделей, дообученных с использованием IA3, сопоставима с производительностью полностью дообученных моделей. * IA3 не увеличивает задержку вывода, так как веса адаптера можно объединить с базовой моделью. В принципе, IA3 можно применять к любому подмножеству матриц весов в нейронной сети для уменьшения количества обучаемых параметров. В соответствии с реализацией авторов, веса IA3 добавляются к слоям key, value и feedforward в модели Transformer. Конкретнее, для моделей Transformer веса IA3 добавляются к выходам слоёв key и value, а также ко входу второго feedforward-слоя в каждом блоке Transformer. Зная целевые слои для внедрения параметров IA3, количество обучаемых параметров можно определить на основе размеров матриц весов. ## Использование > [!TIP] > Для авторегрессионных моделей нацельтесь на `k_proj`, `v_proj` и `down_proj` — это слои, которые авторы признали наиболее эффективными. Установите `feedforward_modules=["down_proj"]`, чтобы IA3 понимал, какие модули являются слоями прямой передачи, и мог применять правильное масштабирование. Для задачи классификации последовательности конфигурацию IA3 для модели Llama можно инициализировать следующим образом: ```py from peft import IA3Config, TaskType, get_peft_model from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("HuggingFaceTB/SmolLM-135M") peft_config = IA3Config( task_type=TaskType.CAUSAL_LM, target_modules=["k_proj", "v_proj", "down_proj"], feedforward_modules=["down_proj"], ) model = get_peft_model(model, peft_config) model.print_healthcheck() ``` ### Когда использовать IA3, а когда LoRA IA3 особенно эффективна, когда вам нужны адаптеры минимального размера для развёртывания с ограниченным хранилищем или когда требуется быстрая сходимость при меньшем количестве обучаемых параметров. LoRA может быть предпочтительнее, если вам нужен более широкий набор вариантов LoRA (DoRA, QLoRA и т. д.) или если вы хотите использовать наиболее протестированный подход с обширной поддержкой сообщества. ## Обзор бенчмарков