Словарь ИИ
Что такое дистилляция
Коротко
Дистилляция это способ обучить небольшую модель повторять ответы большой, чтобы получить почти тот же результат дешевле и быстрее.
Языковые модели · distillation
Михаил МозгПроверено: 1 минута чтения
Ребенку
Старший брат долго учился решать задачи и знает много хитростей. Ему некогда пересказывать всю науку, поэтому он показывает младшему, как сам решает примеры, и подсказывает, какие ответы почти верные. Младший схватывает быстрее, чем по толстому учебнику. Маленькая нейросеть учится у большой точно так же.
Простыми словами
Большие нейросети умные, но медленные и дорогие. Дистилляция переносит их знания в маленькую модель. Большую называют учителем, маленькую учеником. Учитель отвечает на тысячи вопросов, а ученик тренируется отвечать так же. Важно, что ученик видит не только итоговый ответ, но и насколько учитель уверен в каждом варианте. Из этого он узнает больше, чем из голого списка правильных ответов. В итоге получается компактная модель, которая работает быстрее и почти не уступает учителю на нужных задачах.
Для бизнеса
Такой прием снижает стоимость каждого ответа. Большая модель нужна один раз, чтобы разметить примеры, а потом работает маленькая: она быстрее отвечает клиентам и помещается на недорогой сервер. Это удобно, когда задача узкая и повторяется тысячи раз в день: классификация обращений, извлечение полей из документов, короткие ответы поддержки. Затраты складываются из генерации обучающих примеров, самого обучения и проверки. Риски: ученик наследует ошибки учителя, а за пределами своей задачи отвечает заметно хуже. Отдельно прочитайте условия использования модели-учителя: они могут ограничивать обучение других моделей на ее ответах. Окупаемость такой связки считают по цене токена на своем сервере.
Для специалиста
Дистилляция знаний (knowledge distillation) обучает компактную модель-ученика (student) воспроизводить распределение выходов модели-учителя (teacher). Хинтон, Виньялс и Дин (2015) предложили учить ученика на мягких вероятностях учителя, сглаженных температурой в softmax: в них есть сведения о сходстве классов, которых нет в жестких метках. Функция потерь обычно сочетает расхождение Кульбака-Лейблера с выходами учителя и кросс-энтропию с истинными метками. Варианты: по логитам, по промежуточным представлениям, на уровне последовательностей (sequence-level) по сгенерированным учителем текстам. DistilBERT (Sanh и др., 2019) уменьшил BERT на 40%, сохранил около 97% качества понимания языка и ускорил работу на 60%. Авторы DeepSeek-R1 (2025) показали, что так можно перенести в малые модели и навыки рассуждения крупной. Метод сочетают с квантизацией и прунингом (pruning).
Не путать. Не путать с дистилляцией в химии: там так называют перегонку жидкостей.
Пример
Интернет-магазин получает десятки тысяч писем в день. Сначала большая модель размечает несколько тысяч обращений по темам, затем на этой разметке обучают маленькую. Она сортирует почту на сервере магазина за доли секунды.
Связанные термины
Вопросы и ответы
Чем дистилляция отличается от дообучения?
Можно ли дистиллировать модель под свою задачу?
Источники
- Hinton, Vinyals, Dean, Distilling the Knowledge in a Neural Network, 2015arxiv.org
- Sanh, Debut, Chaumond, Wolf, DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter, 2019arxiv.org
- DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 2025arxiv.org
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений