Что не является информацией с точки зрения Клода Шеннона: разбор канона

Теория информации, сформулированная Клодом Шенноном в 1948 году, стала фундаментом для развития цифровой связи, но она часто понимается неверно из-за своей математической абстрактности. В рамках этой теории понятие информации жестко оторвано от человеческого восприятия, смысла или истинности данных, что противоречит интуитивному пониманию слова в быту. Шеннон рассматривал канал связи как техническую систему передачи сигналов, где главное — это снижение неопределенности, а не понимание содержания.

Если вы работаете с системами передачи данных или штрих-кодами, важно понимать, что для алгоритма и канального кодирования не имеет значения, передаете вы приказ об эвакуации или случайный набор цифр. С точки зрения математической энтропии, оба сообщения могут нести одинаковый объем информации, если они одинаково непредсказуемы. Это фундаментальный сдвиг парадигмы: информация здесь — это мера неожиданности, а не полезность сообщения.

Математическая суть информации по Шеннону

В основе теории лежит формула, связывающая информацию с вероятностью события. Чем менее вероятно событие, тем больше информации оно несет при наступлении. Если вы ожидаете солнечный день в пустыне, новость о погоде не изменит вашу неопределенность, и информационная емкость сообщения будет близка к нулю. Напротив, сообщение о внезапном ливне в аридной зоне резко снизит энтропию системы и будет содержать высокий объем данных.

Шеннон ввел понятие бит как единицу измерения информации, где одна единица соответствует выбору между двумя равновероятными вариантами. Важно отметить, что этот подход полностью игнорирует семантику. Для системы bin(0) и bin(1) несут одинаковую весовую нагрузку, независимо от того, что они означают в реальном мире. Количественная оценка данных не зависит от их качественного содержания.

Это различие критично при проектировании систем сканирования и передачи данных. Сканер штрих-кода не «понимает» код, он просто регистрирует изменение светового потока. Если сигнал искажен шумом, система пытается восстановить исходный сигнал, основываясь на вероятностных моделях, а не на логическом смысле считанных цифр.

Семантика и смысл как фактор, исключаемый из теории

Самым ярким примером того, что не является информацией в каноне Шеннона, является смысловая нагрузка или семантика сообщения. Если вы отправите фразу «Привет, мир» на 100 языках одновременно, с точки зрения теории связи, вы передали огромный объем бит, даже если получатель не понимает ни слова. Смысл, значение и интерпретация находятся за пределами математической модели Шеннона-Уивера.

Многие путают данные с информацией, считая, что упорядоченность или логичность текста автоматически делает его информативным. Однако для Шеннона структурированный текст на понятном языке может нести меньше информации, чем случайный набор символов, так как предсказуемость языка снижает энтропию. Семантическая избыточность языка (правила грамматики) на самом деле уменьшает информационную емкость сообщения, делая его более предсказуемым.

В контексте автоматической идентификации это означает, что сканеру все равно, читает ли он реальный артикул товара или случайный шум, имитирующий штрих-код. Если паттерн соответствует алгоритму декодирования, система считает это данными. Смысл того, что зашифровано в коде (цена, название, срок годности), является семантикой, которая не учитывается при расчете энтропии канала.

⚠️ Внимание: В инженерной практике часто возникает ошибка приравнивания «полезности» к «количеству информации». Система может передать 1 Гбит случайного шума, что технически является огромным объемом информации по Шеннону, но абсолютно бесполезным для пользователя. Не путайте техническую пропускную способность с ценностью контента.

Шум и преднамеренные помехи

В модели Шеннона шум — это враг информации, но сам по себе шум не является информацией для источника данных. Если в канале связи возникает статический треск или электромагнитные помехи, они увеличивают энтропию на приеме, но не несут полезного сигнала. Шеннон доказал, что при наличии шума можно передавать данные с любой скоростью ниже пропускной способности канала, но сам шум не добавляет полезной информации к сообщению.

Интересно, что если шум носит систематический характер и его можно предсказать, он может быть отфильтрован. Но хаотичный, непредсказуемый шум — это не информация, а деструктивный фактор. В системах считывания данных это проявляется как «битые» пиксели на изображении штрих-кода или потеря пакетов в сети. Помехоустойчивое кодирование добавляет избыточность специально для борьбы с этим явлением.

Представьте, что вы сканируете этикетку в условиях плохого освещения. Датчик получает смесь полезного сигнала и случайных фотонных шумов. Этот шум не несет информации о товаре, он лишь искажает вероятность правильного распознавания символов. Чем выше уровень шума, тем ниже эффективность передачи, пока не наступит порог, за которым информация теряется безвозвратно.

Избыточность и предсказуемость

Парадоксально, но высокая избыточность текста снижает его информационную емкость по Шеннону. Если сообщение полностью предсказуемо (например, строка из тысячи нулей), оно содержит почти ноль информации, так как не снижает неопределенность получателя. Каждое следующее «0» не дает новой информации, ведь мы уже знаем, что оно там будет. Это фундаментальное отличие от бытового понимания «большого объема текста».

В технических системах избыточность используется осознанно для защиты от ошибок. Добавление контрольных сумм или хешей делает сообщение более длинным, но с точки зрения Шеннона, это добавляет предсказуемые элементы, которые не несут новой информации о самом сообщении, а лишь помогают его восстановить. Кодовое расстояние в таких системах критично для надежности, но не для объема передаваемого смысла.

Сравните два сообщения: «АБВГД» и «ААААА». Первое несет больше информации, так как вероятность появления каждой следующей буквы ниже. Второе сообщение, несмотря на ту же длину, имеет минимальную энтропию. В системах хранения данных это объясняет, почему сжатие без потерь работает: оно удаляет избыточность, оставляя только информационное ядро.

Контекст и субъективная оценка

Субъективная оценка важности события — это еще один параметр, который не входит в теорию Шеннона. Новость о падении метеорита может быть для человека крайне важной, но если она передана в виде одного бита («да/нет»), объем информации технически мал. И наоборот, длинный отчет с тысячами случайных цифр может быть технически «богатым» по объему, но бесполезным.

Контекст, который помогает нам интерпретировать данные, является внешним фактором относительно канала связи. Шеннон рассматривал передачу как процесс от источника к приемнику через канал, игнорируя то, что происходит «до» и «после» в сознании человека. Контекстуальная зависимость информации делает её непереносимой в рамках чистой математической модели сигнала.

В системах автоматизации складов это означает, что сканер не может отличить «код товара» от «кода ошибки» без внешних инструкций в программном обеспечении. Сам сигнал — это лишь последовательность импульсов. Его статус (информация или шум) определяется только тем, насколько он предсказуем в рамках заданного протокола, а не тем, что он значит для менеджера склада.

Подводя итог, можно выделить три главных фактора, которые Шеннон исключил из понятия информации. Первый — это смысл: истина или ложь сообщения не имеет значения. Второй — это ценность: насколько важно сообщение для получателя. Третий — это формат: способ представления (текст, звук, видео) не влияет на битовый объем, если энтропия одинакова.