Словарь ИИ
Что такое zero-shot
Коротко
Zero-shot это способ работы с нейросетью, когда задачу описывают словами и не дают ни одного готового примера решения.
Промпты · zero-shot prompting
Михаил МозгПроверено: 1 минута чтения
Ребенку
Тебе дарят новую настольную игру и только читают правила вслух. Никто не показывает, как ходить, ты сразу играешь сам. Если правила понятные, получится с первого раза. Нейросеть умеет так же: ей объясняют задачу словами, без образца, и она пробует справиться. Иногда она ошибается, и тогда ей показывают, как надо.
Простыми словами
Поставить задачу нейросети можно двумя способами: показать пару образцов или просто описать, что нужно. Второй способ называют zero-shot, по-русски «без примеров». Например, вы пишете «Определи, жалоба это или благодарность» и прикладываете отзыв. Модель справляется, потому что за время обучения на огромном объеме текстов уже встречала похожие задачи. Это быстро и удобно, но на редких или хитрых форматах ответ может уйти в сторону, и тогда добавляют образцы.
Для бизнеса
Для компании этот режим означает запуск задачи за час: не нужно собирать размеченные данные и обучать свою модель. С него начинают сортировку обращений, извлечение реквизитов из писем, черновики ответов. Расход ниже, чем у запросов с образцами, потому что инструкция короче и токенов меньше. Риск в нестабильности: на нетипичных входах модель путает категории или меняет вид ответа. Поэтому сначала сравнивают такой вариант с вариантом на образцах на одном наборе реальных данных и выбирают по доле верных ответов и цене. Такие сравнения делают при разборе задачи, до внедрения.
Для специалиста
Zero-shot prompting это постановка задачи модели только инструкцией на естественном языке, без демонстраций в контексте. Brown и др. (2020) в работе о GPT-3 развели три режима оценки, все без обновления весов: только описание задачи, одна демонстрация (one-shot) и несколько (few-shot). Режим без демонстраций авторы назвали наиболее удобным и наиболее трудным: иногда даже человеку непонятен формат задачи без образца. Kojima и др. (2022) показали, что одна фраза, побуждающая рассуждать по шагам (zero-shot chain-of-thought), подняла точность text-davinci-002 на MultiArith с 17,7% до 78,7%, на GSM8K с 10,4% до 40,7%. Способность работать без примеров усиливает инструктивное дообучение (instruction tuning). Само название пришло из машинного обучения, где zero-shot learning означает распознавание классов, которых не было в обучающей выборке.
Пример
Отдел продаж отправляет модели письмо клиента с просьбой «Выпиши ИНН, сумму и срок поставки». Образцов нет, но модель возвращает три поля, и менеджер только сверяет цифры.
Связанные термины
Вопросы и ответы
Чем zero-shot отличается от few-shot?
Когда хватает запроса без примеров?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений