проект:    архи.всё -> энтропия
   О термине действие-энтропия-информация
Центр Исследования Хаоса Энтропия
Архитектурный журнал
прессслужба


Лекции
Строительство

 

Оно равноправно по отношению к любому конкретному сообщению и имеет разную величину в зависимости от величин   р 0  и   р 1   для него. В частном случае, когда при передаче полностью отсутствую шумы и сбои, искажающие сигнал, вероятность  р 0  равна единице.

Недостаток этого определения в том, что оно справедливо в приближении равновероятности всех исходов. Это выполняется далеко не всегда. В пределе в этом определении невероятному исходу приравнивается неизбежный. В 1948 г . это исправил К. Шеннон, Он предложил называть эту величину "энтропией", не поясняя связей и различий этого термина с общеизвестой энтропией в физике. Знак минус в предыдущей формуле отражает тот факт, что вероятности всегда меньше единицы, а энтропия знакопостоянная функция, для которой привычно задан положительный знак. Определение Шеннона сокращённо зависывают подразумевая как очевидное, что признаки (аргументы), по отношению к которым определены события и их вероятности, могут быть существенно разными, а в эта формула (суммирование в ней) справедлива только для однородных признаков.

Работы Шеннона были связаны с задачами передачи сообщений в системах связи, в том числе в системах секретной связи. Они основаны на принципе, что набор возможных сообщений ("книга сообщений") задан и известен как на входе системы связи, так и на её выходе. "Книга" может состоять из букв алфавита, заданного и известного на передающей и принимающей стороне, и соответствующих им кодированных сигналов. Неизвестно, какое именно сообщение из "книги сообщений" передано, "номер" сообщения из "книги".

Априорные вероятности того, что могло быть передано то или иное сообщение, различные. То есть в классической теории информации не только известна цель передачи сообщений, но предварительно известен весь набор возможных сообщений. В природе в прямом виде таких условий нет.

Наглядные примеры о "книге".

Если вы говорите или переписываетесь с человеком о физической задаче, а он даже школьный курс физики забыл, или, если такой человек академик или профессор, который считает себя непогрешимым небожителем, а реально кроме своей узкой области науки (не относящейся к данной задаче) что-либо помнит весьма смутно, то одинаковой "книги" у передатчика и приёмника сообщений не существует - передача информации невозможна, информация как устранение неопределённости нереализуема. Все ступени человеческого обучения, вся жизнь любой личности - это формирование индивидуальной "книги сообщений".

Ещё пример, Во время второй мировой войны расшифровка немецких кодов, реализованных шифрующей машиной "Энигма", оказалась возможной после того, как из потопленной подлодки извлекли реальную кодовую книгу. Для некоторых людей возникает парадоксальная ситуация, когда роль "книги" в детективных историях понятна, но по отношению к нешифрованному обычному телеграфу, телефону и подобному нередко забывается. В задачах применения методов теории информации в биологии это не вспоминают как правило.

В современной теории информации разработаны практически важные для секретных передач методы кодирования при помощи специфических функциональных и статистических связей, известных на передающей и приёмной стороне. Это, в частности, позволяет использовать для передачи сообщений шумовые сигналы. Но принципа предварительного существования "книги" как основы формулы Шеннона это не изменяет.

В связи с определением понятия пропускной способности канала связи были развиты также обобщения понятия скорости создания и передачи информации для источников сигналов с непрерывным временем.     

События и их вероятности всегда (и в формуле Шеннона в частности) определены по отношению к конкретным признакам элементов. Признаки могут быть как однородными, так и принципиально различными. Например, при заданной системе и алфавите для её элементов можно вводить вероятности разных конкретных сочетаний букв. Это относится к однородным признакам и в формуле Шеннона обозначается всегда присутствующими в ней нижними индексами. Предполагается, что набор рассматриваемых событий является полным, то есть исчерпывающим все возможные рассматриваемые исходы, а события являются взаимно исключающими (если было передано сообщение с номером  k  из "книги", то сообщения с номером  i, не равным  k, не были переданы).

Признаки могут описывать те же элементы системы (события), но иерархически более подробно. Множество событий более крупного плана определяется одними признаками, а затем разбивается на более мелкие подмножества, определяемые другими признаками. Это допускает трактовку в виде непрямого варианта однородных признаков. В таких случаях возможно суммирование по всем событиям, что и отражает формула Шеннона.

Однако существуют несопоставимые системы, которые нецелесообразно связывать. Для каждой из них понятие информации справедливо, но признаки элементов системы, относительно которых неопределённость описывается формулой Шеннона, существенно разные. Чтобы подчеркнуть, это выражено выше верхними индексами, хотя сам аргумент  А  обозначает именно это же. Для такого случая суммирование возможно как исключение для специфически взаимосвязанных систем и их элементов. Проиллюстрирую примером особенность информации как устранённой неопределённости для достижения цели (в частности, в форме Шеннона), когда признаки (аргументы) вероятностей существенно различны и связывать их нецелесообразно.

Кабельные сети американского телевидения или спутниковые антенны поставляют потребителям порядка сотни круглосуточных каналов. Количество бит информации, которые можно получить из них за сутки (в конкретный дом) исчисляется астрономическими цифрами. Однако использование для их описания напрямую слова информация не является однозначным - количество информации как устранённой неопределённости для наблюдателя-человека в этом гигантском потоке не всегда велико. Обиходно это выражается распространёнными неудовлетворённостью "картинками" и критикой содержания передач. Устранение неопределённости в этом случае понимается по отношению к жизненным проблемам человека - любви и преступлениям, политике и религиям, науке и здоровью. Можно обозначит в формуле Шеннона такие аргументы верхним индексом (а).

  . страницы:
1  6
2 7
3 8
4  
5  
  . содержание:
       архи. трансформер ( развернуть и cвернуть )
      
  . архи.поиск:
  . архи.другое:
Эффект Ёлки
  . архи.дизайн:
 
  Семён Расторгуев ©  рaдизайн ©


    © А.М. Хазен. 2003г.

    © 2007—2015, проект АрхиВсё,  ссылайтесь...
Всё.