Что мера Шеннона и различные важные теоремы, которые

Используйте его, сделайте определенные предположения. Обычно они выполняются в

Телефонная инженерия, но отнюдь не так часто

В биологической работе и по темам, обсуждаемым в этой книге. Его

Поэтому меры и теоремы следует применять осторожно. Его

Основные предположения заключаются в следующем.

(1) Применительно к набору вероятностей различные дроби должны

Сложить до 1; энтропия не может быть вычислена по неполному

Множество возможностей.

176

Иногда возникает небольшая путаница, потому что Шеннон

мера «энтропии», заданная множеством вероятностей P1, P2,….

Представляет собой сумму Pi log Pi, умноженную на - 1, тогда как определение

Дан Винером в его «Кибернетике» за «количество информации»

равна той же сумме Pi log Pi без изменений (т.е. умноженной на +1).

(Читатель должен заметить, что p log p обязательно отрицательно, поэтому

Множитель «- 1» делает его положительным числом.)

Однако здесь не должно быть путаницы, поскольку основные идеи

Идентичный. Оба рассматривают информацию как «то, что устраняет неопределенность».

177

ANINTROD UC TIONTOCYBER NE TICS

IN CESSA NT TR AN SMI SSIO N

Tainty», и оба измеряют ее степенью неопределенности.

Удаляет. Оба далее в основном связаны с усилением или

Увеличение количества информации, которая появляется, когда приходит сообщение -

Абсолютные количества, присутствующие до или после того, как представляют незначительный интерес.

Теперь ясно, что когда вероятности хорошо разбросаны, как в

A на Рис. 9/14/1, погрешность больше, чем когда они

Компактный, как у Б.

Таким образом, две меры не более противоречивы, чем две

Способы измерения «насколько далеко точка Q находится справа от точки P»

Показано на Рис. 9/14/2.

Рис. 9/14/2

Рис. 9/14/1

Таким образом, получение сообщения, которое заставляет получателя пересмотреть свою оценку-

Товарищ, что произойдет, от распределения A до распределения B,

содержит положительный объем информации. Теперь Σp log p (где

Σ означает «сумма»), если применить его к A, даст более отрицательный

Число, чем при применении к B; оба будут отрицательными, но пятерки будут

Тем больше по абсолютной величине. Таким образом, А может дать - 20 на сумму

и B может дать - 3. Если мы используем Σp log p, умноженное на плюс 1, как

Количество информации, которая должна быть связана с каждым распределением, т. е.

С каждым набором вероятностей, то, как в общем случае,

Прибыль (чего угодно) = Конечное количество минус начальное количество

Так что получение информации будет

(- 3) - (- 20)

что + 17, положительное количество, это то, что мы хотим. Таким образом,

с этой точки зрения Винера, Σp log p

Умножить на плюс 1, т.е. оставить без изменений; затем мы вычисляем

Поздно выигрыш.

Шеннон, однако, на протяжении всей своей книги озабочен тем, что

Особый случай, когда полученное сообщение известно с сертификатом

Грязный. Таким образом, все вероятности равны нулю, за исключением одного I. Более

такое множество Σp log p просто равно нулю; поэтому окончательное количество равно нулю, и

Получение информации

0 - (начальное количество).

Другими словами, информация в сообщении, равная

выигрыш в информации, Σp log p вычисляется по начальному распределению

Значение, умноженное на минус 1, что дает меру Шеннона.

178

Здесь P и Q можно представить как соответствующие двум степеням

Неопределенности, с большей уверенностью вправо и с сообщением

Мудрец переводит получателя с P на Q.

Расстояние от P до Q можно измерить двумя способами:

Явно эквивалентны. Путь Винера состоит в том, чтобы противопоставить P

и Q (как W на рис.); то расстояние, на которое Q лежит правее

Точки P задается формулой

(Значение Q) минус (значение P).

Способ Шеннона (S на рис.) Состоит в том, чтобы расположить ноль напротив Q, и

Тогда расстояние, на котором Q находится справа от P, определяется выражением

минус (чтение П).

Очевидно, что между двумя методами нет реального расхождения.