Словарь ИИ
Что такое самосогласованность
Коротко
Самосогласованность (self-consistency) это прием, при котором языковая модель решает одну задачу несколько раз разными путями, а итоговым считают ответ, к которому пришло большинство решений.
Промпты · self-consistency
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Представь, что вы с друзьями считаете, сколько конфет в большой банке. Каждый считает сам и называет число. У одного вышло сорок, у троих сорок два, у последнего сорок пять. Скорее всего, правильный ответ сорок два, ведь так получилось у большинства. Компьютер иногда поступает так же: решает задачку несколько раз и выбирает ответ, который повторился чаще.
Простыми словами
Нейросеть отвечает не по жесткому правилу: в каждом ответе есть доля случайности. Поэтому на задачу с расчетом она может один раз ответить верно, а в другой раз ошибиться. Этот прием превращает недостаток в пользу. Модель просят решить задачу по шагам не один раз, а много, и каждый раз рассуждение идет своим путем. Потом смотрят только на итоговые числа и берут то, которое встречается чаще. Ошибки обычно разные, а верный ответ повторяется. Похоже на то, как смету независимо пересчитывают несколько бухгалтеров и доверяют цифре, на которой сошлось большинство.
Для бизнеса
Метод повышает точность там, где у задачи один правильный ответ: расчет суммы по договору, выбор категории обращения, проверка заявки на соответствие правилам. Плата прямая: каждый дополнительный прогон оплачивается отдельно, и ответ приходит позже. Поэтому его включают не везде, а там, где ошибка дорого обходится. Есть польза и для контроля: если ответы сильно расходятся, система не уверена, и такой случай сразу отдают сотруднику. Для открытых задач вроде писем голосование не работает, ведь одинаковых текстов не бывает. Сколько прогонов окупается, считают на реальных данных; ошибки ИИ и ответственность за них полезно разобрать до запуска.
Для специалиста
Самосогласованность (self-consistency) предложили Wang и др. в 2022 году (опубликовано на ICLR 2023) как замену жадному декодированию (greedy decoding) в цепочке рассуждений (chain-of-thought). Вместо одной цепочки из модели сэмплируют набор разнообразных путей рассуждения, а затем маргинализируют по ним: итогом становится ответ, к которому сходится больше всего путей, то есть фактически голосование большинством по финальным ответам. Метод не требует дообучениядообучение. Дообучение это настройка уже обученной модели на ваших примерах, чтобы она точнее выполняла конкретную задачу или писала в нужном стиле., дополнительной модели или разметки. Авторы получили прирост к обычной цепочке рассуждений на арифметических задачах и задачах на здравый смысл: GSM8K на 17,9%, SVAMP на 11,0%, AQuA на 12,2%, StrategyQA на 6,4%, ARC-challenge на 3,9%. Ограничения: стоимость растет линейно с числом выборок, а голосование применимо, только когда ответы можно сравнить на совпадение, например число или вариант ответа. Для свободного текста метод в исходном виде не подходит. Разброс ответов заодно служит оценкой неуверенности модели. Близкая идея с ветвлением и оценкой промежуточных шагов: дерево мыслей (tree of thoughts).
Пример
Бот бухгалтерии считает неустойку по договору пять раз. Четыре расчета дают одну сумму, пятый другую, и система отправляет клиенту сумму большинства, а расхождение записывает в журнал для проверки.
Связанные термины
Вопросы и ответы
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений