Словарь ИИ
Что такое рефлексия агента
Коротко
Рефлексия агента это прием, при котором ИИ-агент оценивает свой результат или неудачную попытку, записывает выводы и делает следующую попытку с их учетом.
ИИ-агенты · reflection
Михаил МозгПроверено: 1 минута чтения
Ребенку
Когда ты пишешь диктант, учитель советует перечитать его перед сдачей. Ты находишь пропущенную букву и исправляешь. А если ошибся в прошлый раз, помнишь об этом и пишешь внимательнее. Умная программа тоже может так делать: проверить свою работу, понять, где промахнулась, и попробовать еще раз. Но проверка учителя ей все равно нужна.
Простыми словами
Обычная модель выдает ответ с первой попытки и не возвращается к нему. С рефлексией работа идет в несколько кругов. Агент делает черновик, затем смотрит на него критически: все ли пункты задачи выполнены, нет ли противоречий, прошли ли тесты. Найденные недочеты он записывает словами и переделывает работу. Если попытка провалилась, вывод сохраняется в памяти и учитывается в следующий раз. Например, агент написал письмо клиенту, перечитал его, заметил, что забыл указать срок доставки, и добавил его.
Для бизнеса
Прием повышает качество там, где результат можно проверить: код проходит тесты, таблица сходится с итогами, ответ совпадает с регламентом. Плата за это время и токены: каждый круг проверки стоит как еще один запрос к модели. Главная оговорка в том, что модель плохо ловит собственные промахи без внешнего сигнала. Исследование, представленное на ICLR 2024, показало: без обратной связи извне языковые модели с трудом исправляют свои рассуждения, а иногда после самопроверки отвечают хуже. Поэтому надежнее давать агенту внешнюю проверку: тесты, сверку с базой, правила. Как ее устроить и кто отвечает за сбой, разбирают в материале об ошибках ИИ.
Для специалиста
Рефлексия (reflection) в агентных системах это цикл, где модель генерирует результат, получает оценку и превращает ее в текстовую обратную связь для следующей попытки, не меняя весов. В методе Reflexion (Shinn и др., 2023) агент хранит такие самоотчеты в эпизодической памяти; сигнал бывает скалярным или свободным текстом, внешним или смоделированным самой системой. Авторы сообщили о 91% pass@1 на HumanEval против 80% у GPT-4. Self-Refine (Madaan и др., 2023) делает одну модель генератором, критиком и редактором: на семи задачах прирост в среднем около 20 процентных пунктов. Ограничение показали Huang и соавторы (ICLR 2024): без внешней обратной связи самокоррекция рассуждений часто не помогает. Близкая схема у Anthropic называется evaluator-optimizer: один вызов модели генерирует, другой оценивает и возвращает замечания.
Пример
Агент готовит ежемесячный отчет по продажам. Сверка с CRM показывает расхождение в итоге по региону, агент записывает причину, пересчитывает таблицу и в следующем месяце сразу берет цифры из нужного поля.
Связанные термины
Вопросы и ответы
Зачем ИИ-агенту рефлексия?
Может ли модель сама найти все свои ошибки?
Источники
- Shinn и др., Reflexion: Language Agents with Verbal Reinforcement Learning, 2023arxiv.org
- Madaan и др., Self-Refine: Iterative Refinement with Self-Feedback, 2023arxiv.org
- Huang и др., Large Language Models Cannot Self-Correct Reasoning Yet, ICLR 2024arxiv.org
- Anthropic, Building effective agents, 19.12.2024anthropic.com
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений