Словарь ИИ

Кто такой Клод Шеннон

Коротко

Клод Шеннон это инженер и математик, который в 1948 году создал теорию информации и стал одним из авторов заявки на Дартмутский летний семинар по искусственному интеллекту.

Люди · Claude Shannon

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Как передать другу секрет через шумную столовую? Можно заранее договориться: один хлопок значит «да», два хлопка значат «нет». Клод Шеннон придумал, как сосчитать, сколько таких ответов нужно, чтобы угадать любое сообщение. Один ответ стал единицей сведений, как один кубик в башне. Благодаря его идеям мультики на планшете и голос бабушки в телефоне доходят до тебя без ошибок, даже когда связь плохая.

Простыми словами

Шеннон работал в Bell Labs, исследовательском центре телефонной компании. В 1948 году он опубликовал статью «Математическая теория связи» и показал, что информацию можно измерять, как длину или вес. Единица измерения называется бит: ответ на вопрос с двумя равными вариантами. Он также доказал, что по каналу с помехами можно передавать данные почти без ошибок, если правильно их закодировать и не превышать предельную скорость канала. Отсюда архивы, мобильная связь и сжатие видео. Для ИИ важна еще одна его мысль: текст можно описать вероятностями следующей буквы или слова.

Для бизнеса

Теория Шеннона работает в каждом рабочем инструменте компании: в мобильной связи, архивах, видеозвонках и облачных хранилищах. Из нее следует, что у любого сообщения есть предел сжатия, а у любого канала предел скорости. Для проектов с ИИ отсюда практический вывод. Дубли и пустые документы раздувают базу знаний и счет за обработку, но не добавляют сведений. Шум в данных, например опечатки в карточках товаров или обрывки переписки, снижает качество ответов модели так же, как помехи на линии портят разговор. Поэтому до запуска проверяют, сколько в данных повторов, мусора и пробелов. Такой разбор входит в подготовку данных, с которой обычно начинают внедрение.

Для специалиста

Статья «A Mathematical Theory of Communication» вышла в Bell System Technical Journal (т. 27, июль и октябрь 1948 года). Шеннон описал схему связи из источника, передатчика, канала с шумом, приемника и получателя и ввел энтропию (entropy) как меру неопределенности источника. Единицу при логарифме по основанию 2 он назвал битом (bit), указав, что слово предложил Джон Тьюки. Статья содержит теорему кодирования источника и теорему о пропускной способности канала (channel capacity): ниже этого предела вероятность ошибки можно сделать сколь угодно малой. Для языкового моделирования важен раздел о приближениях к английскому тексту: Шеннон порождал последовательности букв по частотам пар и троек (digram, trigram), а слов по частотам отдельных слов и пар, то есть строил марковские n-граммные модели. Функция потерь языковых моделей, перекрестная энтропия (cross-entropy), опирается на ту же меру. В заявке на Дартмутский проект от 31 августа 1955 года он указан как математик Bell Telephone Laboratories, автор статистической теории информации и работ о машинах, которые учатся.

Пример

Сеть клиник хочет, чтобы ИИ расшифровывал звонки в регистратуру. Записи с линии приходят сильно сжатыми, и часть слов теряется. Руководитель проекта сначала проверяет качество записи, а уже потом выбирает модель распознавания.

Хронология

1955: Соавтор предложения о Дартмутском семинаре 1956 года вместе с Маккарти, Минским и Рочестером.
1948: Статья «A Mathematical Theory of Communication» вышла в Bell System Technical Journal в июле и октябре 1948 года; в ней единица информации названа битом, слово предложил Джон Тьюки.

Факты проверены: 2026-10-16

Связанные термины

Вопросы и ответы

Что такое бит по Шеннону?

Бит это количество информации в ответе на вопрос с двумя равновероятными вариантами. Шеннон ввел эту единицу в статье 1948 года и указал, что само слово предложил его коллега Джон Тьюки.

Как Шеннон связан с искусственным интеллектом?

Вместе с Маккарти, Минским и Рочестером он подписал заявку от 31 августа 1955 года, с которой начался Дартмутский летний проект по искусственному интеллекту 1956 года. Его опыты с вероятностями букв и слов похожи на то, как языковая модель предсказывает следующее слово.

Источники

Где это применяют в компании

Данные для ИИ: что собрать и как подготовить

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений