Словарь ИИ
Что такое PEFT
Коротко
PEFT (parameter-efficient fine-tuning, параметрически эффективное дообучение) это семейство методов, которые настраивают большую модель под задачу, обучая лишь малую долю параметров.
Языковые модели · parameter-efficient fine-tuning
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь большого робота из конструктора, который уже умеет ходить и говорить. Чтобы он поливал цветы, не нужно разбирать его целиком. Достаточно прикрутить маленькую лейку и чуть поменять пару деталей. Робот остался тем же, но научился новому делу. Так и умные программы учат новому, меняя совсем немного.
Простыми словами
В большой модели миллиарды настроек, и менять их все долго и дорого. Эти методы оставляют основную часть модели как есть и учат только маленький кусочек: добавленные слои, особые подсказки в виде чисел или небольшие матрицы рядом с основными. Такой кусочек занимает мало места, обучается на обычном сервере и легко меняется на другой. Для одной модели можно держать много насадок: под поддержку, под юристов, под отчеты.
Для бизнеса
Для компании такие методы означают, что своя настройка модели перестает быть большим проектом. Одна базовая модель обслуживает несколько отделов, а под каждый хранится маленький адаптер, который подключают по запросу. Затраты: видеокарта или аренда на время обучения, подготовка примеров, тестирование. Риски похожи на любое дообучение: плохие данные портят поведение, лицензия базовой модели распространяется на результат, а при выходе новой версии модели адаптеры приходится обучать заново. Прежде чем решать, держать модель у себя или пользоваться облаком, прикиньте, сколько таких настроек вам реально понадобится.
Для специалиста
PEFT (parameter-efficient fine-tuning) объединяет методы, которые замораживают веса предобученной модели и обучают небольшое число новых или выбранных параметров. Основные группы: адаптеры (adapters), то есть маленькие слои внутри блоков трансформера; обучаемые мягкие подсказки (soft prompts) на входе, как в prompt tuning и prefix tuning; низкоранговые обновления весов, к которым относятся LoRA и QLoRA; выборочное обучение части весов. Houlsby и соавторы (2019) показали, что адаптеры, добавляя около 3,6% параметров на задачу, отстают от полного дообучения на GLUE всего на 0,4 пункта. Lester, Al-Rfou и Constant (2021) обнаружили, что prompt tuning догоняет полное дообучение, когда модель превышает миллиарды параметров. Реализации собраны в библиотеке PEFT от Hugging Face, которая интегрирована с Transformers, Diffusers и Accelerate. Методы сочетают с квантизацией и дистилляцией.
Пример
Юридическая фирма держит одну открытую модель на своем сервере и несколько адаптеров к ней: для договоров, для претензий и для внутренних регламентов. Переключение между ними быстрое, а хранить копии большой модели не нужно.
Связанные термины
Вопросы и ответы
Чем PEFT отличается от LoRA?
Хуже ли PEFT полного дообучения?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений