Словарь ИИ

Что такое обработка естественного языка

Коротко

Обработка естественного языка (natural language processing, NLP) это раздел ИИ, который учит компьютеры понимать, анализировать и создавать человеческий текст.

Основы ИИ · NLP

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Люди разговаривают по-разному: шутят, путают порядок слов, пишут с ошибками. Компьютеру понятнее строгие команды, как в игре «робот, шаг вперед». Ученые долго учили машины понимать обычную речь так, как понимает ее друг: кто что сделал, о чем просьба, грустный текст или веселый. Теперь компьютер может перевести сказку на другой язык или пересказать длинную книгу коротко.

Простыми словами

Естественным называют язык, на котором говорят люди, в отличие от языков программирования. Компьютер сначала режет текст на слова и кусочки слов, потом превращает их в числа, а модель по этим числам решает задачу. Задачи бывают разные: понять, о чем письмо и в какой отдел его передать, найти в договоре даты и суммы, перевести, сократить длинный отчет, ответить на вопрос. На этих методах работают переводчик, проверка орфографии в почте и голосовой помощник в телефоне.

Для бизнеса

Тексты есть в любой компании: письма клиентов, звонки после расшифровки, договоры, отзывы, заявки. Методы NLP разбирают входящую почту и чаты, вытаскивают реквизиты из документов, ищут ответ в базе знаний, оценивают тон отзывов. Сейчас большинство таких задач решают большие языковые модели, поэтому цена зависит от объема текста в токенах, выбора облака или своего сервера и требований к точности. Для русского языка важно проверить качество именно на ваших текстах: отраслевые термины и сокращения модели путают чаще всего. Персональные данные в переписке требуют отдельного решения о том, где работает модель. Такой разбор входит в пилот ИИ-ассистента.

Для специалиста

Обработка естественного языка (natural language processing) охватывает понимание (natural language understanding) и генерацию (natural language generation) текста. Типовые задачи: токенизация, морфологический и синтаксический анализ, извлечение именованных сущностей (named entity recognition), классификация, машинный перевод, суммаризация, ответы на вопросы. Методы прошли путь от правил и статистических моделей к нейросетям. Архитектура Transformer (Vaswani и др., 2017) отказалась от рекуррентности и свертки и строится только на механизме внимания. BERT (Devlin и др., 2018) закрепил схему «предобучение на неразмеченном тексте, затем дообучение с одним выходным слоем» и превзошел прежние результаты на 11 задачах. Современные большие языковые модели решают большинство задач NLP одной моделью по инструкции. Для русского языка важны богатая морфология и свободный порядок слов: они влияют на токенизацию и на качество извлечения сущностей.

Пример

Юридический отдел загружает сотню договоров поставки. Модель находит в каждом срок оплаты, штрафы и условие расторжения и сводит их в таблицу, а юрист проверяет только спорные места.

Связанные термины

Вопросы и ответы

Чем NLP отличается от большой языковой модели?

NLP это вся область задач с человеческим языком. Большая языковая модель это один из инструментов внутри нее, сейчас наиболее универсальный.

Какие задачи бизнеса решает обработка естественного языка?

Разбор входящих писем и заявок, поиск ответов по документам, извлечение данных из договоров и счетов, анализ отзывов и звонков. Подходит любой процесс, где сотрудник читает текст и по нему принимает типовое решение.

Источники

Где это применяют в компании

ИИ-ассистент для бизнеса: отвечает по документам и работает в ваших системах

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений