Словарь ИИ

Что такое детектор ИИ-текста

Коротко

Детектор ИИ-текста это программа, которая оценивает, написал текст человек или нейросеть, и выдает вероятность, а не точный ответ.

Безопасность и право · AI text detector

Михаил МозгПроверено: 16 октября 20261 минута чтения

ПодробноКак проверить текст на ИИ

Ребенку

Представь, что учитель пытается угадать, сам ли ты написал сочинение или за тебя постарался старший брат. Он смотрит на слова и почерк, но может ошибиться и обидеть тебя зря. Программы, которые ищут тексты нейросетей, тоже гадают. Поэтому их ответ это подсказка, а не приговор, и решать все равно должен человек.

Простыми словами

Нейросеть пишет предсказуемо: она часто выбирает наиболее вероятные слова и строит фразы ровно. Детектор ищет такие следы и показывает процент, например «скорее всего, написано ИИ». Проблема в том, что живой текст тоже бывает ровным, а сгенерированный легко отредактировать. Поэтому детекторы ошибаются в обе стороны: пропускают текст нейросети и обвиняют человека, особенно если он пишет простым языком или не на родном языке. Результат такой проверки стоит считать сигналом, а не доказательством.

Для бизнеса

Компании используют такие сервисы, чтобы проверять тексты подрядчиков, статьи для сайта и тестовые задания кандидатов. Риск в том, чтобы решать только по проценту: отказать автору, не оплатить работу или обвинить сотрудника из-за ложного срабатывания. Разные сервисы на одном тексте могут давать разные оценки, а легкая правка меняет результат. Надежнее проверять не происхождение, а качество: факты, источники, собственную мысль и соответствие задаче. Если важно знать, где применялась нейросеть, это прописывают в договоре и в правилах работы с генеративным ИИ, а сотрудников учат пользоваться им открыто.

Для специалиста

Детекторы машинного текста (AI text detectors) решают задачу бинарной классификации. Подходы: классификаторы, обученные на размеченных корпусах; статистические методы на основе перплексии под эталонной языковой моделью; zero-shot методы, например DetectGPT (Mitchell и др., 2023), который сравнивает логарифм вероятности текста и его случайно возмущенных версий и не требует обучать отдельный классификатор; водяные знаки. Kirchenbauer и др. (2023) предложили водяной знак, невидимый человеку и обнаружимый алгоритмом по короткому фрагменту: при генерации модель отдает предпочтение случайно выбранному «зеленому» списку токенов, а детектор считает их долю без доступа к модели. Ограничения: Liang и др. (2023) показали, что детекторы систематически принимают за сгенерированные тексты людей, для которых английский не родной, и что простые приемы при генерации снижают их точность. Авторы предостерегают от использования таких детекторов для оценки в образовании.

Пример

Редакция получила от автора статью, и детектор показал высокую вероятность ИИ. Редактор не отклонил текст сразу, а проверил факты и источники: часть цифр оказалась выдуманной, и именно это стало причиной доработки.

Связанные термины

Вопросы и ответы

Насколько точна проверка текста на ИИ?

Точность заметно падает на коротких, отредактированных и простых по языку текстах. Детекторы ошибаются в обе стороны, поэтому их результат стоит считать поводом для ручной проверки.

Можно ли наказать автора по результату детектора?

Полагаться только на процент рискованно: исследования показывают ложные срабатывания на текстах людей. Решение принимают по качеству и фактам текста, а правила использования ИИ заранее фиксируют в договоре.

Источники

Где это применяют в компании

Генеративный ИИ в работе: как научить сотрудников ставить задачу

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений