![]() Заглавная страница Избранные статьи Случайная статья Познавательные статьи Новые добавления Обратная связь КАТЕГОРИИ: ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ТОП 10 на сайте Приготовление дезинфицирующих растворов различной концентрацииТехника нижней прямой подачи мяча. Франко-прусская война (причины и последствия) Организация работы процедурного кабинета Смысловое и механическое запоминание, их место и роль в усвоении знаний Коммуникативные барьеры и пути их преодоления Обработка изделий медицинского назначения многократного применения Образцы текста публицистического стиля Четыре типа изменения баланса Задачи с ответами для Всероссийской олимпиады по праву ![]() Мы поможем в написании ваших работ! ЗНАЕТЕ ЛИ ВЫ?
Влияние общества на человека
Приготовление дезинфицирующих растворов различной концентрации Практические работы по географии для 6 класса Организация работы процедурного кабинета Изменения в неживой природе осенью Уборка процедурного кабинета Сольфеджио. Все правила по сольфеджио Балочные системы. Определение реакций опор и моментов защемления |
Характеристики дискретных источников информации
Определение. Эргодичным источником сообщений называется источник, создающий сообщение, которое математически можно представить в виде эргодичной случайной последовательности, удовлетворяющей условиям стационарности и эргодичности. Стационарность означает, что вероятности отдельных знаков и их соединений не зависят от расположения последних по длине сообщения. Эргодичность означает, что статистические закономерности, полученные при исследовании одного довольно длинного сообщения с вероятностью, близкой к единице, справедливы для всех сообщений, создаваемых источником. Стационарный источник сообщений, выбирающий каждый знак формированной последовательности независимо от других знаков, всегда является эргодичным. Его также называют источником без памяти. Однако чаще встречаются источники, в которых вероятность выбора одного знака сообщения зависит от того, какие знаки были выбраны источником до него (источники с памятью). Поскольку такая связь, как правило, распространяется на ограниченное число предыдущих знаков, то для описания функционирования источника используют цепи Маркова (более подробно см. [10]). В результате взаимной корреляции букв в употребляемых в текстах буквенных сочетаний происходит дополнительное уменьшение определяемой выражением (1.3) реальной энтропии Н по сравнению максимальной энтропии Н max. Подстановка значения Н, вычисленного с учетом взаимной корреляции букв, в выражение (2.4) дает дополнительное увеличение численного значения избыточной информации In. Указанные свойства письменных текстов наглядно иллюстрируются таблицей искусственных текстов (см. пример 1), полученных путем случайных выборок из реальных текстов отдельных букв или их сочетаний. Вместе с тем, указанная таблица показывает, что вместе с увеличением избыточности увеличивается и упорядоченность (детерминация) текста, достигая в пределе «жесткой детерминации», при которой текст вырождается в повторение одинаковых букв. Такая взаимосвязь между избыточностью и упорядоченностью текста обусловлена тем, что избыточность текста обусловлена действием грамматических и фонетических правил. Именно этими правилами обусловлена присущая тексту структурность, следовательно, вычисляемое согласно (2.4) количество избыточной информации In является одновременно и количеством информации, сохраняемой в упорядоченой структуре текста или любых других структурированных систем:
D IS = Hmax – H (2.7) Для уяснения смысла равенства In = D IS, вытекающего из сопоставления выражений (2.4) и (2.7), рассмотрим следующий пример. Некто получил сообщение, что из яйца вылупился птенец. Для подтверждения того, что это именно птенец, а не малек, сообщается, что у него не плавники, а крылья, не жабры, а легкие и т.п. Разумеется, все это не будет избыточной информацией In для всякого, кто знает, чем отличается птенец от малька. Но та же самая информация о крыльях, легких, клюве и т.п., заложенная в генетический код, регулирует процесс онтогенеза, в результате которого в яйце формируется организм птенца, а не малька. Таким образом, информация In, избыточная для осведомленного получателя, оказывается необходимой структурной информацией D IS, когда речь идет об информационном управлении процессами формирования тех или иных упорядоченных структур. Вследствие этого и выполняется условие: In = D IS = Hmax – H. При подстановке в формулу (2.1) реальных значений вероятностей букв русского текста величина реальной информационной энтропии Нr уменьшается по сравнению с максимальной энтропией, определяемой выражением (1.5). Пример 1. Учет реальных значений вероятностей букв при передаче письменных текстов позволяет уменьшить избыточность сообщений, передаваемых по каналам связи. Так, например, для избавления от избыточности используется способ кодирования букв алфавита, при котором часто повторяющимся в тексте буквам (т.е. буквам, имеющим наибольшую вероятность, такую, например, как Ра = 0,062; Рв = 0,038; Ре = 0,072; Рл = 0,035; Ро = 0,09и др.) соответствуют или меньшая трата энергии за счет уменьшения величины (амплитуды) сигналов или, увеличенная скорость передачи за счет сокращения числа знаков двоичного кода, соответствующего обозначению указанных букв. Помимо учета реальных вероятностей букв, для уменьшения избыточности сообщений следует учитывать также вероятности их сочетаний (например, высокую вероятность появления буквы Я после переданного сочетания ТЬС, малую вероятность появления согласной буквы после передачи следующих друг за другом трех согласных букв и т.п.).
Пример 2. Определить, является ли эргодичным стационарный дискретный источник сообщений, алфавит которого состоит из четырех знаков
Решение В условии задачи сказано, что безусловные вероятности выбора знаков одинаковы, т.е. Анализируя данные таблицы, замечаем, что источник имеет два режима работы. С вероятностью, равной 3/4, первым будет выбран один из знаков Усреднение по ансамблю допускает наличие множества однотипных источников, приблизительно три четверти из которых будут работать в первом режиме, а остальные – во втором. При этом энтропия источника равна:
В первом режиме неопределенность, приходящаяся на один знак (энтропия последовательности), равна 1,587 бит, а во втором – нулю. Поскольку статистические закономерности, полученные при исследовании двух режимов работы источника, не могут быть справедливыми для всех создаваемых им сообщений, он не является эргодичным. Однако, отметим, что всякий стационарный источник сообщений может быть представлен совокупностью нескольких эргодичных источников, отличающихся режимами работы.
Свойства информации 1. Информация относительно опыта
2. Равенство
3. Пусть теперь
Иначе говоря, сложный опыт
4. Если равенство
Таким образом, если сложный опыт 5. Неравенство Наглядной иллюстрацией этого положения может служить известная детская игра в «испорченный телефон», при которой первый играющий тихо произносит на ухо своему соседу некоторое слово (опыт Условная информация
Определение. Величину
называют средней условной информацией двух опытов
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Последнее изменение этой страницы: 2016-09-05; просмотров: 442; Нарушение авторского права страницы; Мы поможем в написании вашей работы! infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 18.219.185.67 (0.017 с.) |