Словарь ИИ

Что такое самосогласованность

Коротко

Самосогласованность (self-consistency) это прием, при котором языковая модель решает одну задачу несколько раз разными путями, а итоговым считают ответ, к которому пришло большинство решений.

Промпты · self-consistency

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь, что вы с друзьями считаете, сколько конфет в большой банке. Каждый считает сам и называет число. У одного вышло сорок, у троих сорок два, у последнего сорок пять. Скорее всего, правильный ответ сорок два, ведь так получилось у большинства. Компьютер иногда поступает так же: решает задачку несколько раз и выбирает ответ, который повторился чаще.

Простыми словами

Нейросеть отвечает не по жесткому правилу: в каждом ответе есть доля случайности. Поэтому на задачу с расчетом она может один раз ответить верно, а в другой раз ошибиться. Этот прием превращает недостаток в пользу. Модель просят решить задачу по шагам не один раз, а много, и каждый раз рассуждение идет своим путем. Потом смотрят только на итоговые числа и берут то, которое встречается чаще. Ошибки обычно разные, а верный ответ повторяется. Похоже на то, как смету независимо пересчитывают несколько бухгалтеров и доверяют цифре, на которой сошлось большинство.

Для бизнеса

Метод повышает точность там, где у задачи один правильный ответ: расчет суммы по договору, выбор категории обращения, проверка заявки на соответствие правилам. Плата прямая: каждый дополнительный прогон оплачивается отдельно, и ответ приходит позже. Поэтому его включают не везде, а там, где ошибка дорого обходится. Есть польза и для контроля: если ответы сильно расходятся, система не уверена, и такой случай сразу отдают сотруднику. Для открытых задач вроде писем голосование не работает, ведь одинаковых текстов не бывает. Сколько прогонов окупается, считают на реальных данных; ошибки ИИ и ответственность за них полезно разобрать до запуска.

Для специалиста

Самосогласованность (self-consistency) предложили Wang и др. в 2022 году (опубликовано на ICLR 2023) как замену жадному декодированию (greedy decoding) в цепочке рассуждений (chain-of-thought). Вместо одной цепочки из модели сэмплируют набор разнообразных путей рассуждения, а затем маргинализируют по ним: итогом становится ответ, к которому сходится больше всего путей, то есть фактически голосование большинством по финальным ответам. Метод не требует дообучения, дополнительной модели или разметки. Авторы получили прирост к обычной цепочке рассуждений на арифметических задачах и задачах на здравый смысл: GSM8K на 17,9%, SVAMP на 11,0%, AQuA на 12,2%, StrategyQA на 6,4%, ARC-challenge на 3,9%. Ограничения: стоимость растет линейно с числом выборок, а голосование применимо, только когда ответы можно сравнить на совпадение, например число или вариант ответа. Для свободного текста метод в исходном виде не подходит. Разброс ответов заодно служит оценкой неуверенности модели. Близкая идея с ветвлением и оценкой промежуточных шагов: дерево мыслей (tree of thoughts).

Пример

Бот бухгалтерии считает неустойку по договору пять раз. Четыре расчета дают одну сумму, пятый другую, и система отправляет клиенту сумму большинства, а расхождение записывает в журнал для проверки.

Связанные термины

Вопросы и ответы

Чем самосогласованность отличается от цепочки рассуждений?

Цепочка рассуждений это одно пошаговое решение. Здесь таких решений строят несколько и выбирают ответ, на котором сошлось большинство.

Почему этот метод дорогой?

Каждый дополнительный прогон модели оплачивается в токенах и занимает время. Поэтому число прогонов подбирают так, чтобы выигрыш в точности окупал расходы.

Источники

Wang и др., Self-Consistency Improves Chain of Thought Reasoning in Language Models, 2022arxiv.org

Где это применяют в компании

Ошибки ИИ в бизнесе: как снизить риск и кто отвечает

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений