Словарь ИИ
Что такое дистилляция
Коротко
Дистилляция это способ обучить небольшую модель повторять ответы большой, чтобы получить почти тот же результат дешевле и быстрее.
Языковые модели · distillation
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Старший брат долго учился решать задачи и знает много хитростей. Ему некогда пересказывать всю науку, поэтому он показывает младшему, как сам решает примеры, и подсказывает, какие ответы почти верные. Младший схватывает быстрее, чем по толстому учебнику. Маленькая нейросеть учится у большой точно так же.
Простыми словами
Большие нейросети умные, но медленные и дорогие. Дистилляция переносит их знания в маленькую модель. Большую называют учителем, маленькую учеником. Учитель отвечает на тысячи вопросов, а ученик тренируется отвечать так же. Важно, что ученик видит не только итоговый ответ, но и насколько учитель уверен в каждом варианте. Из этого он узнает больше, чем из голого списка правильных ответов. В итоге получается компактная модель, которая работает быстрее и почти не уступает учителю на нужных задачах.
Для бизнеса
Такой прием снижает стоимость каждого ответа. Большая модель нужна один раз, чтобы разметить примеры, а потом работает маленькая: она быстрее отвечает клиентам и помещается на недорогой сервер. Это удобно, когда задача узкая и повторяется тысячи раз в день: классификацияклассификация. Классификация это задача машинного обучения, в которой модель относит объект к одному из заранее известных классов: спам или не спам, жалоба или вопрос, брак или норма. обращений, извлечение полей из документов, короткие ответы поддержки. Затраты складываются из генерации обучающих примеров, самого обучения и проверки. Риски: ученик наследует ошибки учителя, а за пределами своей задачи отвечает заметно хуже. Отдельно прочитайте условия использования модели-учителя: они могут ограничивать обучение других моделей на ее ответах. Окупаемость такой связки считают по цене токенатокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель. на своем сервере.
Для специалиста
Дистилляция знаний (knowledge distillation) обучает компактную модель-ученика (student) воспроизводить распределение выходов модели-учителя (teacher). Хинтон, Виньялс и Дин (2015) предложили учить ученика на мягких вероятностях учителя, сглаженных температурой в softmaxsoftmax. Softmax это функция, которая превращает набор произвольных чисел в вероятности: все значения становятся от нуля до единицы и в сумме дают единицу.: в них есть сведения о сходстве классов, которых нет в жестких метках. Функция потерьфункция потерь. Функция потерь это формула, которая превращает ошибку модели в одно число: чем оно меньше, тем ближе ответы модели к правильным. обычно сочетает расхождение Кульбака-Лейблера с выходами учителя и кросс-энтропию с истинными метками. Варианты: по логитам, по промежуточным представлениям, на уровне последовательностей (sequence-level) по сгенерированным учителем текстам. DistilBERT (Sanh и др., 2019) уменьшил BERT на 40%, сохранил около 97% качества понимания языка и ускорил работу на 60%. Авторы DeepSeek-R1 (2025) показали, что так можно перенести в малые модели и навыки рассуждения крупной. Метод сочетают с квантизацией и прунингом (pruning).
Не путать. Не путать с дистилляцией в химии: там так называют перегонку жидкостей.
Пример
Интернет-магазин получает десятки тысяч писем в день. Сначала большая модель размечает несколько тысяч обращений по темам, затем на этой разметке обучают маленькую. Она сортирует почту на сервере магазина за доли секунды.
Связанные термины
Вопросы и ответы
Чем дистилляция отличается от дообучения?
Можно ли дистиллировать модель под свою задачу?
Источники
- Hinton, Vinyals, Dean, Distilling the Knowledge in a Neural Network, 2015arxiv.org
- Sanh, Debut, Chaumond, Wolf, DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter, 2019arxiv.org
- DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 2025arxiv.org
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений