Тема 2. Измерение информации

Учебные вопросы:

Меры измерения информации на различных уровнях: синтаксическом, семантическом и прагматическом. Синтаксический уровень: объемный и статистический подход. Понятие энтропии. Формула Шеннона. Меры информации семантического уровня. Понятие тезауруса получателя информации. Коэффициент содержательности. Меры информации прагматического уровня. Ценность информации. Дезинформация.

 

Рекомендуемая литература:

1. Информатика: базовый курс: Учебник для студентов вузов, бакалавров, магистров, обучающихся по направлениям 552800, 65460 «Информатика и вычислительная техника»/ О.А. Акулов, Н.В. Медведев, –М.:Омега-Л,2004.–М.: Омега-Л, 2004. –552с.

2.   Автоматизированные информационные технологии в экономике: Учеб. / М. И. Семенов, И. Т. Трубилин, В. И. Лойко, Т. П. Ба­ра­новская; Под общ. ред. И. Т. Трубилина.– М.: Финансы и статистика, 2001.

3. Информатика и информационные технологии: Учебник для 10-11 классов / Угринович Н.Д. - М.: БИНОМ. Лаборатория знаний, 2006

Меры информации синтаксического уровня

Для измерения информации на синтаксическом уровне вводятся два параметра: объем информации (данных) – объемный подход и количество информации – статистический поход.

Объемный подход

Проблемы синтаксического уровня связаны со способом представления информации (в виде знаков и символов), вне зависимости от ее смысловых и потребительских качеств. На данном уровне рассматриваются формы представления информации для ее передачи и хранения. Информацию, рассмотренную только относительно синтаксического аспекта, называют данными.

Данными называют факты, сведения, представленные в формализованном виде (закодированные), занесенные на носители информации и допускающие обработку с помощью средств вычислительной техники.

При реализации информационных процессов информация передается в виде сообщения, представляющего собой совокупность символов некоторого алфавита. При этом каждый новый символ в сообщении увеличивает количество информации, представленной последовательностью символов данного алфавита.

В современной вычислительной технике для любого вида информации, представленном в электронном виде, приняты универсальные единицы измерения  бит и байт.

Бит - единица информации в компьютере, представляющая собой, двоичный разряд, который может принимать значение 0 или 1.

Байт - восемь последовательных битов. Более крупными единицами информации являются:

1Килобайт (Кбайт) = 2¹⁰ байт =1024 байта;

1 Мегабайт (Мбайт) =2²⁰ байт =1024 Кбайта = 1 048 576 байт;

1 Гигабайт (Гбайт) =2³⁰ байта =1024 Мбайта = 1 073 741 824 байт

1 Терабайт (Тбайт) =2⁴⁰ байта =1024 Гбайта = 1 099 511 627 776 байт

1 Петабайт (Пбайт) =2⁵⁰ байта =1024 Тбайта = 1 125 899 906 842 624 байт

 В компьютерных системах для кодирования информации используется двоичный код, который состоит из 2-х символов 0 и 1. Мощность алфавита – это количество различных символов, которые можно получить с помощью кодовой цепочки, состоящей из I битов: N =2 ^I

Информационная емкость символа, т.е. количество информации, которое несет один знак, зависит от количества символов в алфавите:

I = ­ log ₂ N

Количество информации, которое содержит сообщение V, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак I, умноженному на количество знаков n: V = I × n

Пример 1. В текстовом файле хранится текст объемом в 400 страниц. Каждая страница содержит 3200 символов. Каков будет размер файла, если используется кодировка КОИ-8 (8 бит на 1 символ).

Решение.

Страница содержит 3200 байт информации, т.к. каждый символ представлен 1 байтом (8 бит), то 400 страниц содержит 400×3200=1280000 байт, или  1280000 байт=1280000/1024 =1250 Кбайт.

Статистический подход

Количественно выраженная неопределенность состояния системы получила название энтропия. Чем больше информации получает наблюдатель, тем больше снимается неопределенность, и энтропия системы уменьшается. Если энтропия, равна нулю, то о системе имеется полная информация, и наблюдателю она представляется целиком упорядоченной.

До получения информации наблюдатель имеет некоторые предварительные сведения о системе Х. Оставшаяся неосведомленность является мерой неопределенности состояния системы или априорная энтропия системы H (X). После получения некоторого сообщения наблюдатель приобрел дополнительную информацию I (X), уменьшившую его начальную неосведомленность так, что апостериорная энтропия системы стала H ' (X).

Тогда количество информации I:

I (X)= H (X)- H '(X).                 (1)

Количество информации измеряется уменьшением (изменением) неопределенности состояния системы.

Американский инженер Р.Хартли (1928) процесс получения информации рассматривал как выбор одного сообщения из конечного заранее заданного множества, состоящего из n равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определил как двоичный логарифм n.

I = ­ log₂ n.                              (2)

За основание логарифма принято брать 2, так как в этом случае за единицу измерения принимается неопределенность, содержащаяся в опыте, имеющем лишь два равновероятных исхода, которые можно обозначить ИСТИНА и ЛОЖЬ и использовать для анализа таких событий аппарат математической логики. Количество информации численно равно числу вопросов с равновероятными бинарными вариантами ответов, которые необходимо задать, чтобы полностью снять неопределенность задачи.

Правильная стратегия угадывания состоит в том, что вопросы нужно за­давать так, чтобы количество возможных вариантов каждый раз уменьшалось вдвое. Тогда количество возможных событий в каждом из полученных подмножеств будет одинаково и их отгадывание равновероятно. В этом случае на каждом шаге от­вет будет нести максимальное количество ин­формации (1 бит).

Пример 2. Некто задумал целое число в пределах от 1 до 4. Опыт состоит в угадывании этого числа. На вопросы Некто может отвечать лишь «Да» и «Нет». Какое количество информации должны получить, чтобы узнать задуманное число? Как построить процесс угадывания?

Решение.

Количество исходов угадывания n =4, причем, все они равновероятны, можно применить формулу 2: I = log₂ 4=2 бита.

x >2?   Да. x >3?       Да. x =4        Нет. x =3

      Нет. x >1?     Да. x = 2     Нет. x = 1.

Информация по формуле (1) равна убыли энтропии. В частном случае, если изначально равновероятных исходов было n ₁, а в результате передачи информации I неопределенность уменьшилась, и число исходов стало n ₂ (очевидно, n ₁≤ n ₂), то можно получить:

I= log₂ n ₁–log₂ n ₂=log₂ n ₁/ n ₂. (3)

Пример 3. В университет можно добраться на автобусе, троллейбусе, трамвае и маршрутном такси равновероятными способами. Какое количество информации получено, если по радио сообщили, что в городе забастовка водителей трамваев?

Решение.

n ₁=4; n ₂ =3; то по формуле (3), получим:

I= log₂4 – log₂3 = log₂4/3= log₂1,33» 0,42 бита.

В отличие от объемного подхода, в статистическом подходе биты могут принимать дробные значения.

Информация – это содержание сообщения, понижающего неопределенность некоторого опыта с неоднозначным исходом; убыль связанной с ним энтропии является количественной мерой информации. Максимальное количество информации, которое можно извлечь из опыта численно равно энтропии.

Пусть p – вероятность любого из отдельных равновероятных исходов опыта , тогда энтропия, связанная с каждым исходом составит  Американский ученый К. ШенонШеннон обобщил понятие меры неопределенности выбора энтропии H, на случай когда энтропия зависит не только от числа состояний, но и от вероятностей этих состояний.

Если система X обладает дискретными состояниями, их количество равно n, а вероятность нахождения в каждом из состояний p(A₁), p(A₂),…, p(A _n), то энтропия система H (X) равна:

                       (4)

Энтропия является мерой неопределенности опыта, в котором проявляются случайные события, и равна средней неопределенности всех возможных его исходов.

Пример 4. Имеются ящик, в котором 12 шаров: 3 белых, 3 черных и 6 красных. Опыт состоит в вытаскивании одного шара из ящика. Найти энтропию извлечения?

Решение.

n= 3, A ₁ – вынули белый шар;

A ₂ – вынули черный шар; A ₃ – вынули красный шар;

A ₁  и A ₂ – события равновероятны p (А ₁)= p (А ₂ )=3/12=1/4=0,25; 

p (А ₃ )=6/12=1/2.

I = – 0,25 log₂ 0,25 – 0,25 log₂ 0,25 – 0,5 log₂ 0,5 =

= 0,25 log₂ 4 + 0,25 log₂ 4 + 0,5 log₂ 2 = 0,25 ×2 + 0,25 ×2 + 0,5 ×1 = 1,5 бит.

Свойства энтропии

1. H= 0 в двух случаях:

1) Какая-либо из P (A_j) = 1, следовательно, все остальные P (A_i) = 0 (i ¹ j), т.е. реализуется ситуация, когда один из исходов является достоверным и общий итог опыта перестает быть случайным;

2) Все P (A_i) = 0, т.е. никакие из рассматриваемых исходов опыта невозможны.

2. Для двух независимых опытов a и b: H(aÙb)=H(a)+H(b).

3. Для двух зависимых опытов a и b: H(aÙb)=H(a)+H_a(b), где   если в опыте a реализовалось событие A_i, то среднюю условную энтропию опыта b при условии выполнения опыта a можно найти по формуле:

Пример 5. Какое количество информации требуется для отгадывания двухзначного числа. Каково минимальное число вопросов при отгадывании двухзначного числа? 

Решение.

Опыт a – отгадывание первой цифры:

n ₁ = 9, события равновероятны p ₁ =1/9.

Опыт b – отгадывание второй цифры:

n ₂ = 10, события равновероятны p ₂ =1/10.

a и b – независимые опыты:

I= I _a+ I _b = log₂ 9+ log₂ 10 = log₂ 90 =6,5 бит – 7 вопросов

Пример 6. В ящике 2 белых, 4 черных и 6 красных шара. Из ящика извлекают последовательно 2 шара без возврата. Найти энтропию, связанную с первым и вторым извлечениями, а также энтропию обоих извлеченийИмеется 3 тела с одинаковыми внешними размерами, но с разными массами. Необходимо определить энтропию, связанную с нахождением наиболее тяжелого из них, если сравнивать веса тел можно только попарно. 

Решение.

Опыт a – сравнивание веса двух тел, имеет два исходавынули I шар:

А ₁ – первое тяжелеешар белого цвета,  А ₂ – второе тяжелеешар черного цвета; А ₃ – шар красного цвета

события равновероятны p (А ₁)= 1/6; p (А ₂)= 1/3; p (А ₂ А ₃)=1/20,5, по теореме Шеннона формуле Хартли (2) при n =32:

 

H (a) = -p (А ₁) log₂ p (А ₁)- p (А ₂) log₂ p (А ₂)- p (А ₃) log₂ p (А ₃)=   log₂ n = log₂ 2 = 1 бит.

Опыт b – вынули II шар сравнивание весов тела, выбранного в опыте a, и третьего – имеет четыре возможны исходаы:

– при условии наступления события А ₁ проверяются события:

1) В₁ – шар белого цветапервое тяжелее третьего;

2)   В₂ – шар черного цветапервое легче третьего; В_{3 _} – шар красного цвета.

– при условии наступления события А₂ проверяются события:

3) В₃ – второе тяжелее третьего;

4) В₂ – второе легче третьего.

H_A1 (b) = log₂ 2 = 1 бит. H_A2 (b) = log₂ 2 = 1 бит. ,

аналогично H_A2 (b)= 1,43; H_A3 (b)= 1,45

H _a (b)= p (А₁) H_A1 (b) + p (А ₂) H_A2 (b) + p (А ₃) H_A3 (b) =

=0,5 17 ×1,32+0,33×1,43+0,5×1,45 = 1 0,22+0,47+0,73=1,42 бита.

Энтропия сложного опыта:

H (aÙb)= H (a)+ H _a (b)= 1,46+1,42 = 2,88 бита.