Словарь ИИ

Что такое эмерджентные способности

Коротко

Эмерджентные способности это навыки языковой модели, которых нет у небольших моделей и которые появляются у крупных, причем их не удавалось предсказать по результатам моделей поменьше.

Языковые модели · emergent abilities

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Ты долго учишься кататься на велосипеде, падаешь, и кажется, что ничего не выходит. А потом однажды едешь сам, будто умение пришло сразу. С нейросетями ученые видели похожее: маленькая совсем не решает задачку, а большая вдруг справляется. Правда, некоторые считают, что умение росло понемногу, просто это было незаметно.

Простыми словами

Когда модели делают все больше, они обычно становятся точнее понемногу. Но на некоторых заданиях картина другая: модели поменьше отвечают почти наугад, а начиная с какого-то размера резко начинают справляться. Это касается, например, задач в несколько шагов. Такие навыки назвали эмерджентными, от слова «возникающий». Позже часть ученых показала, что скачок часто создает способ подсчета: если ставить балл только за полностью верный ответ, плавный рост выглядит как внезапный.

Для бизнеса

Для бизнеса из этого спора следует осторожность с прогнозами. Нельзя надежно предсказать, научится ли следующая версия модели вашей задаче, и нельзя считать, что навык, показанный на демонстрации, держится стабильно. Обратная сторона тоже важна: небольшая модель может не справиться с задачей совсем, а не просто чуть хуже. Поэтому размер модели выбирают по проверке на ваших реальных случаях, с порогом качества, который согласован заранее. Такая проверка стоит немного по сравнению с ценой ошибки в работе. После смены модели тесты повторяют, потому что умения могут и появиться, и пропасть.

Для специалиста

Эмерджентные способности (emergent abilities) Wei и соавторы (2022) определили как способности, которых нет у меньших моделей и которые есть у больших, так что их нельзя предсказать экстраполяцией качества малых моделей. На графике точности от вычислений при обучении такие задачи выглядят как резкий переход от случайного уровня к заметно более высокому. К ним авторы отнесли и приемы подсказок, например рассуждение по шагам (chain-of-thought), которое помогает лишь начиная с определенного масштаба. Schaeffer, Miranda и Koyejo (2023) возразили: эффект часто создает выбор метрики исследователем. Разрывные или нелинейные метрики вроде точного совпадения (exact match) дают ступеньку, а непрерывные показывают плавный и предсказуемый рост. Они проверили это на InstructGPT и GPT-3, метаанализе BIG-Bench и задачах зрения. Вывод для оценки: смотреть на непрерывные метрики и вероятности ответов, а не только на долю полностью верных.

Пример

Компания проверила две модели разного размера на разборе сложных претензий. Меньшая почти всегда путала порядок действий, крупная справлялась, поэтому для этого процесса оставили крупную, а для простых писем меньшую.

Связанные термины

Вопросы и ответы

Эмерджентные способности существуют на самом деле?

Вопрос спорный. Скачки качества наблюдали на многих задачах, но часть исследователей показала, что при плавных метриках рост выглядит постепенным. Для практики важно другое: навык модели нужно проверять на своей задаче.

Почему эмерджентные способности важны для бизнеса?

Они напоминают, что маленькая модель может не уметь задачу вовсе, а не делать ее чуть хуже. Поэтому размер модели выбирают по тестам на реальных примерах, а не по общим рейтингам.

Источники

Где это применяют в компании

Как работает ИИ в компании: данные, связь систем, анализ и действие

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений