Словарь ИИ
Что такое LoRA
Коротко
LoRA (Low-Rank Adaptation) это способ дешево дообучить большую нейросеть: основные веса не меняют, а обучают маленькую добавку, которая подстраивает модель под задачу или стиль.
Изображения, видео, звук · low-rank adaptation
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь толстую энциклопедию, в которой нельзя ничего стирать. Чтобы добавить свои знания, ты клеишь на страницы маленькие цветные листочки с заметками. Книга остается прежней, а с листочками рассказывает уже по-твоему. Листочки легко снять и заменить другими. Нейросеть тоже можно так дополнить, не переписывая ее целиком.
Простыми словами
Большая модель состоит из миллиардов чисел, и переучивать их все долго и дорого. Хитрость в том, чтобы заморозить исходные числа и добавить рядом небольшой набор новых, во много раз меньше. Учат только его. Получается отдельный легкий файл, его подключают к модели как насадку. У одной модели может быть много таких насадок: одна рисует в фирменном стиле компании, другая отвечает тоном вашей поддержки, третья знает отраслевые термины.
Для бизнеса
Метод делает собственную настройку модели доступной компании без своего дата-центра: дообучение идет на одной или нескольких видеокартах, а результат весит мало и хранится отдельно от базовой модели. Так получают модель, которая пишет в стиле бренда, понимает внутренние термины или рисует ваш товар и персонажа. Цена зависит от размера модели, объема примеров и того, как часто придется переобучать при изменениях. Риски: адаптер наследует лицензию и слабости базовой модели, плохие примеры закрепляют ошибки, а сторонние адаптеры из интернета могут нарушать чужие права. Сначала проверяют, не решает ли задачу RAG или хорошая инструкция, и только потом платят за обучение. Такие адаптеры обычно держат на собственных серверах компании.
Для специалиста
Low-Rank Adaptation предложили Hu и др. (2021): веса предобученной модели W замораживают, а обновление представляют произведением двух матриц низкого ранга, ΔW = BA, где ранг r намного меньше размерности слоя. Обучаются только A и B, обычно в проекциях внимания трансформера. По данным авторов, для GPT-3 175B число обучаемых параметров сократилось примерно в 10 000 раз, а потребность в памяти GPU втрое по сравнению с полным дообучением, при сопоставимом качестве. После обучения произведение BA вливают в исходные веса, поэтому задержки при выводе нет, в отличие от адаптерных слоев. QLoRA (Dettmers и др., 2023) обучает такие адаптеры поверх модели, квантизованной до 4 бит (формат NF4), что позволило дообучить модель на 65 млрд параметров на одной видеокарте с 48 ГБ памяти. В диффузионных моделях низкоранговые адаптеры ставят в слои внимания денойзера, включая перекрестное, для стилей и персонажей. Метод входит в семейство PEFT.
Пример
Студия интерьеров обучила адаптер на сотне своих проектов. Теперь генератор изображений рисует эскизы в узнаваемом фирменном стиле, а дизайнеры дорабатывают удачные варианты.
Связанные термины
Вопросы и ответы
Что такое LoRA в нейросети?
Чем LoRA отличается от полного дообучения?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений