Главная  Журналы 

0 1 2 3 4 5 6 [ 7 ] 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116

прудном и уральский радиослушатель из Нижнего Тагила. Но пото энергии радиоволн в Нижнем Тагиле в тысячи раз меньше, чем по. Москвой. Истрепанная книжка, если в ней нет вырванных страниц несет ровно столько же информации, сколько такая же новая Каменная скрижаль весом в три тонны несет столько же инфор мации, сколько ее хороший фотоснимок в археологическом журна ле. Следовательно, мощность сигнала, так же как и вес носителя никак не могут служить оценкой количества информации, переноси мой сигналом. Как же оценить это количество?

Во время второй мировой войны подобные вопросы не на шутк; заинтересовали шифровальщика при одном из штабов американски? войск в Европе К. Шеннона. Упорство в достижении поставленно» цели часто приносит успех, и после войны К. Шеннон защити! докторскую диссертацию, став основоположником новой науки-теории информации. В 1948-1949 годах увидели свет его статьи «Математическая теория связи» и «Связь в присутствии шума».

Любое сообщение можно свести к передаче чисел. Пылкий влюбленный, находясь в разлуке с объектом своей любви, посылает телеграмму: «Любишь?». В ответ приходит не менее лаконичная телеграмма: «Да!». Сколько информации несет ответная телеграмма? Альтернатив здесь две-либо Да, либо Нет. Их можно обозначить символами двоичного кода 1 иО. Таким образом, ответную телеграмму можно было бы закодировать единственным символом «I». Выбор одного из двух сообщений («Да» или «Нет», «1» или «О») принимают за единицу информации. Она названа «бит»-сокращение от английских слов binary digit, что означает двоичная цифра. Таким образом, ответная телеграмма несла всего 1 бит информации. А вопрос ценности этой информации для получателя-это уже из иной области.

Однако только что данное определение единицы информации слишком упрощено. Если влюбленный уверен в положительном ответе, то ответ «Да» не даст ему почти никакой новой информации. То же самое относится и к безнадежно влюбленному, уже привыкшему получать отказы. Ответ «Нет» также принесет ему очень мало информации. Но внезапный отказ уверенному влюбленному (неожиданное огорчение) или ответ «Да» безнадежно влюбленному (нечаянная радость) несут сравнительно много информации, настолько


Информация измеряется в битах



много, что радикально изменяется все дальнейшее поведение влюбленного, а может бьггь, и его судьба! Таким образом, количество информации зависит от вероятности получения данного ответа. Лишь при равновероятных ответах ответ «Да» или «Нет» несет 1 бит информации. Общая формула для подсчета количества информации, содержащегося в сообщении а, вьцлядит так

J (а) = log

i>(fl)

где Р (в)-вероятность появления данного (дискретного) сообщения я.

Обратите внимание, что для абсолютно достоверного события Р(о) = 1 (событие обязательно произойдет, поэтому его вероятность равна единице), при этом количество информации в сообщении о таком событии i(fl)=0. Чем невероятнее событие, тем большую информацию о нем несет сообщение.

Но зачем в приведенной формуле использована логарифмическая функция? Нельзя ли проще? Нет, проще не получается. Информация, содержащаяся в двух независимых сообщениях а, и а, цолжна быть равна сумме информации, содержащихся в каждом из х)обшений: i(a,,Oj) =(о,)-I-1(02). Логичное требование, не правда пи? Но вероятность того, что источник пошлет оба эти сообщения, одно за другим, равна произведению вероятностей появления каждого из сообщений: Р(а,а.{) = Р(а.Р{а. Как известно, при умножении двух величин их логарифмы складываются. Поэтому и количество информации должно выражаться логарифмической функцией. Ввиду широкого использования двоичных сигналов в вычислительной технике и связи, чаще всего используют логарифм по основанию два. При этом количество информации оказывается вьфаженным в эитах. Если в примере с влюбленными вероятность ответов «Да» и <Нет» одинакова и, следовательно, составляет 0,5, то количество 1нформации в одном ответе составляет 1 бит.

Ну а что если выбор надо осуществить не из двух сочетаний, а из шюжества? У древних индейцев Центральной Америки существовало узелковое письмо. Писали, завязывая узелки на веревке. Совер-иенно очевидно, что при таком способе письма можно использовать двоичный код: есть узелок в данном месте - единица, нет узелка -1уль. Если на каждом сантиметре длины веревки разместить по гзелку, то метровая веревка будет нести 100 бит информации. Гогласитесь, это не так уж мало.

В одном романе ЗКюля Верна собака, увидев игрушечные субики с буквами, выбрала из них вполне определенные, с буквами, :оторые составили имя ее пропавшего хозяина, чем и приоткрыла явесу над тайной его исчезновения. Здесь мы видим выбор опреде-юнных знаков из 26, составляющих английский алфавит.

Еще один пример, но теперь из реальной жизни-1943 год, 1Шло-американские войска готовятся к высадке на итальянский ктров Сицилию, занятый фашистскими войсками. В это врюмя в )дной из тюрем США сидел очень влиятельный гангстер Лучано, (ыходец из Сицилии. Американская разведка, пользуясь всяческими редствами, вступила с ним в сговор, пообещав досрочное освобож-(ение. В результате с самолета над Сицилией был сброшен вымпел-целковый платок с вьшгатой на нем буквой L. Сицилийские мафио-и, в то время не ладившие с немецко-фашистскими оккупантами, [рекрасно поняли смысл сообщения: Лучано за союзников! Эффект 1ыл поразителен-американская армия практически не понесла по-



терь при освобождении Сицилии, так как мафиози основателыя помогли ей, начав партизанскую войну против немцев.

Сейчас нас интересует не значимость для истории сообщения на вьшштом платке, а лишь количество переданной информации. В английском алфавите 26 букв, добавим еще служебные знаки препинания-всего 32 знака. Значит, осуществлялся выбор одного из 32 знаков. Пример характерен тем, что при передаче любых телеграмм, на любом языке в приемном устройстве происходит выбор одной буквы из алфавита, который чаще всего содержит 32 знака. Если вероятность появления каждого из знаков одинакова и, следовательно, составляет 1/32, то при передаче одного знака сообщается log2 32 = 5 бит информации. Ту же цифру мы можем получить и иным способом. Перенумеруем все буквы алфавита по порядку. Буква L стоит на двенадцатом месте, и ее порядковый номер будет 12. Теперь для выбора этой буквы достаточно передать ее порядковый номер. Число 12, выраженное в двоичном коде, выглядит как 01100. Для передачи любого из 32 чисел двоичным кодом нужно пять разрядов, а любого из N чисел-logN. Вы еще не умеете переводить числа из десятичного исчисления в двоичное и обратно? Научитесь, это не так уж сложно! Вам поможет приведенная таблица и простое правило: последний разряд двоичного числа дает единицы (2"), предпоследний-двойки (2), третий разряд справа-четверки {2% четвертый-восьмерки (2), и т.д. Обозначив символы двоич-

Десятичное Двоичное Десятичное Двоичное

число

число

число

число

00000

10000

00001

10001

00010

10010

00011

10011

00100

10100

00101

10101

00110

10110

00111

10111

01000

11000

01001

11001

01010

11010

01011

11011

01100

11100

01101

11101

01110

01111

11111

ного кода (1 и 0) в последнем разряде х,, в предпоследнем и т.д., получим простую формулу для структуры двоичного числа:

NXi 2> + X22 +Хз-2 + ...

Для передачи любого числа от О до 31 необходимо пять двоичных разрядов, или 5 бит информации. Таким образом, сообщение гангстера Лучано мафиози содержало 5 бит информации.

В народном хозяйстве необходимо передавать значительно больше информации. Не вызовет удивления, например, такая телеграмма, переданная работником снабжения: «В феврале на Чукотку поступило 10000 грампластинок». Информация здесь такова: во-первых, февраль. Надо думать, поставки товаров подобного рода





0 1 2 3 4 5 6 [ 7 ] 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116