Что из нижнего перечисленного не является информацией с точки зрения теории информации Шеннона

Введение в теорию информации и определение данных

Многие люди ошибочно полагают, что любое количество символов, слов или сигналов автоматически является информацией. Однако в строгом математическом смысле, предложенном Клодом Шенноном в 1948 году, это утверждение неверно. Теория информации фокусируется не на смысле или содержании сообщения, а на его способности уменьшить неопределенность.

Если вы получаете сообщение, которое полностью предсказуемо или не несет новых данных, оно не добавляет ничего к вашему текущему уровню знаний. В контексте модели Шеннона, такая ситуация характеризуется нулевой энтропией. Смысл сообщения здесь вторичен, главное — статистическая вероятность появления того или иного символа.

Важно понимать, что Шеннон рассматривал информацию как меру неопределенности. Если исключаемая неопределенность равна нулю, то и количество информации равно нулю. Это фундаментальное различие позволяет инженерам оптимизировать каналы связи, отсекая лишнее.

Понятие энтропии и предсказуемость сигнала

Центральным понятием в работе Шеннона является энтропия. Она измеряет среднее количество информации, приходящееся на один символ сообщения. Чем выше непредсказуемость сигнала, тем выше его информационная ценность. Напротив, полностью предсказуемый сигнал не несет информации.

Представьте, что вы ожидаете получить ответ «да» или «нет» с вероятностью 50/50. В этом случае получение ответа снижает неопределенность максимально. Однако если вы уже на 100% уверены, что ответ будет «да», то само сообщение не приносит новой информации, несмотря на то, что физически сигнал был передан.

В реальных системах связи мы часто сталкиваемся с ситуациями, когда источник генерирует данные с высокой степенью повторяемости. Избыточность языка или кода часто используется для борьбы с ошибками, но сама по себе повторяющаяся часть сообщения не является новой информацией.

⚠️ Внимание: Повторяющийся сигнал без изменений не несет информации в теории Шеннона, так как не уменьшает энтропию приемника.

Шум как деструктивный фактор передачи данных

В канале связи всегда присутствует шум. Это случайные помехи, которые искажают исходный сигнал. С точки зрения Шеннона, шум не является информацией, которую вы хотели передать; напротив, он вносит дополнительную неопределенность, которую необходимо преодолеть.

Шум часто ошибочно принимают за полезный сигнал, особенно в системах с низким соотношением сигнал/шум. Однако математически шум — это случайная величина, не имеющая корреляции с сообщением источника. Он лишь увеличивает энтропию на выходе канала, не добавляя полезного содержания.

Если вы видите хаотичный набор символов на экране, не имеющий структуры, это, скорее всего, результат воздействия шума. Случайность в данном контексте — это отсутствие информации, так как невозможно предсказать следующий символ, но и нет способа извлечь из этого смысл без ключа или контекста.

Различие между данными и реальным смыслом

Критически важно разделять данные (сырые символы) и информацию (уменьшение неопределенности). Вы можете передать миллион бит случайных нулей и единиц, но если получатель уже знает эту последовательность, информация равна нулю.

В теории Шеннона семантика (смысл) сообщения игнорируется. Для математика неважно, передаются ли координаты звезды или текст стихотворения. Важно лишь то, насколько вероятно появление каждого символа в данной последовательности.

Если сообщение полностью предсказуемо, например, бесконечная строка из повторяющихся букв «А», то информационная емкость такого потока стремится к нулю. Никаких новых знаний получатель не приобретает, независимо от длины сообщения.