Словарь ИИ
Что такое модерация контента
Коротко
Модерация контента это проверка сообщений, отзывов, картинок и ответов нейросети на запрещенное и вредное содержимое до или после публикации.
Безопасность и право · content moderation
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
В школьной стенгазете каждый может написать заметку, но перед тем как повесить газету в коридоре, ее читает учитель. Он убирает обидные слова и то, что может кого-то задеть. В интернете такую работу делают люди и умные программы: они читают сообщения, смотрят картинки и не пропускают грубое и опасное.
Простыми словами
Люди каждый день пишут огромное количество комментариев, отзывов и сообщений, и прочитать все вручную невозможно. Поэтому сначала их проверяет программа: она оценивает текст или картинку по категориям, например оскорбления, угрозы, насилие, мошенничество, и решает, пропустить, скрыть или отправить человеку. Спорные случаи разбирает модератор. Так же проверяют и сами нейросети: чат-бот компании не должен выдать грубость или опасный совет, поэтому вопрос к нему и его ответ проходят фильтр. Ошибки бывают в обе стороны: фильтр может пропустить вредное или скрыть безобидное.
Для бизнеса
Бизнесу проверка нужна в трех местах: отзывы и комментарии на сайте и маркетплейсах, обращения в поддержку и ответы собственного ИИ-ассистентаИИ-ассистент. ИИ-ассистент это помощник на нейросети, который по просьбе человека отвечает на вопросы, готовит тексты и выполняет простые поручения в рабочих программах. клиентам. Готовые классификаторы стоят недорого, а некоторые бесплатны, но обучены на общих правилах и плохо знают вашу специфику: запретные обещания, отраслевые термины, названия ваших продуктов. Поэтому к ним добавляют собственные правила и ручной разбор спорных случаев. Риски: ложные блокировки раздражают клиентов, пропущенное оскорбление или незаконный контент бьет по репутации. До запуска соберите выборку реальных сообщений, разметьте ее и измерьте, сколько вредного фильтр пропускает и сколько нормального режет. Такую выборку собирают при запуске ИИ-агентаИИ-агент. ИИ-агент это нейросеть, которая сама выполняет задачу по шагам: ищет данные и пользуется программами, а в конце проверяет результат. поддержки.
Для специалиста
Модерация (content moderation) в ИИ-системах решается как многометочная классификация входа и выхода модели по таксономии нежелательного контента. Markov и др. (2022) описали полный цикл построения такого классификатора: таксономия и инструкции для разметчиков, контроль качества данных, активное обучение для поиска редких случаев, меры против переобученияпереобучение. Переобучение это ошибка обучения, при которой модель запоминает обучающие примеры вместе с их случайными деталями и плохо работает на новых данных.; категории включали сексуальный контент, ненависть, насилие, самоповреждение и травлю. Модель omni-moderation-latest в документации OpenAI принимает текст и изображения, часть категорий проверяет только в тексте, а сама проверка бесплатна. Кроме готовых API применяют языковую модельбольшая языковая модель. Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. в роли классификатора по написанной политике и небольшие дообученные модели. В конвейере фильтр стоит на входе (запрос пользователя, документы для RAG) и на выходе (ответ модели) и дополняет ограничители (guardrails). Качество измеряют точностью и полнотой по каждой категории на размеченной выборке, пороги подбирают отдельно для автоматической блокировки и для передачи человеку.
Пример
Интернет-магазин подключает автоматическую проверку отзывов. Оскорбления и телефоны мошенников скрываются сразу, а отзывы с жалобой на брак, даже резкие, уходят менеджеру: их нельзя удалять, на них нужно отвечать.
Связанные термины
Вопросы и ответы
Может ли ИИ полностью заменить модераторов?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений