Словарь ИИ
Что такое смесь экспертов
Коротко
Смесь экспертов (mixture of experts, MoE) это устройство нейросети, в котором на каждое слово работает только небольшая часть модели, выбранная распределителем.
Языковые модели · mixture of experts
Михаил МозгПроверено: 1 минута чтения
Ребенку
В школе есть учитель математики, учитель музыки и учитель рисования. Когда у тебя вопрос про ноты, ты идешь к музыканту, а не ко всем сразу. Дежурный у входа подсказывает, к кому идти. Некоторые нейросети устроены так же: внутри много учителей, и на каждый вопрос отвечают только двое подходящих.
Простыми словами
Обычная нейросеть на каждое слово задействует все свои части. В модели со смесью экспертов внутри много отдельных блоков, их называют экспертами, и есть распределитель. Он смотрит на очередное слово и отправляет его к нескольким подходящим блокам, остальные в этот момент отдыхают. Модель получается огромной по объему знаний, но на каждый шаг тратит вычислений как небольшая. Похоже на больницу: врачей много, но пациента осматривают только нужные специалисты, поэтому прием идет быстро.
Для бизнеса
Такая архитектура дает качество крупной нейросети при меньших затратах на вычисления; по этой схеме устроены и открытые модели, например Mixtral. Подвох в памяти: отдыхающие эксперты все равно должны лежать в видеопамяти, иначе модель не ответит. Значит, сервер под нее нужен по полному размеру, а скорость ответа ближе к маленькой модели. Цена владения зависит от общего числа параметров, нагрузки и того, сколько пользователей работает параллельно. До закупки проверьте, сколько памяти займет модель целиком после сжатия и выдержит ли сервер пики. Конфигурации серверов под разные модели удобно сравнить заранее.
Для специалиста
Смесь экспертов (mixture of experts, MoE) заменяет плотный слой нейросети набором параллельных подсетей-экспертов и обучаемым маршрутизатором (router, gating network), который для каждого токена выбирает k экспертов из N и взвешивает их выходы. Это условное вычисление (conditional computation): число параметров растет, а затраты на токен почти не меняются. Shazeer и др. (2017) показали разреженный слой с тысячами экспертов и общим объемом до 137 млрд параметров между слоями LSTM. В трансформерах эксперты обычно заменяют блок прямого распространения (feed-forward). Mixtral 8x7B (Jiang и др., 2024): 8 экспертов в каждом слое, маршрутизатор выбирает 2 на токен, доступно 47 млрд параметров, активно 13 млрд. Инженерные вопросы: балансировка нагрузки между экспертами через вспомогательную функцию потерь, ограничение емкости эксперта, экспертный параллелизм при распределенном обучении.
Пример
Компания выбирает открытую модель для своего сервера. Модель со смесью экспертов отвечает быстро, как небольшая, но требует столько видеопамяти, сколько нужно всем ее экспертам, и это решает, какой сервер покупать.
Связанные термины
Вопросы и ответы
Почему модель со смесью экспертов работает быстрее обычной того же размера?
Нужно ли меньше памяти для модели MoE?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений