проект:    архи.всё -> энтропия
   Энтропия неквантованых сообщений
Центр Исследования Хаоса Энтропия
Архитектурный журнал
прессслужба


Лекции
Строительство

 

До сих пор я считал, что аналоговая (неквантованная) величина несет в себе бесконечный объем информации...

Действительно, сколько бит данных может быть передано одним значением напряжения в диапазоне 0 - 5 вольт? Это определяется только разрядностью ЦАП и АЦП на входе и выходе, а также их... точностью.

Но пока я спорил с автором этой темы (:-), окончательно уверовал в то, что энтропия - это и есть мера объема информации.

 

Но ведь для аналогового сигнала вполне можно подсчитать энтропию, если использовать не сумму вероятностей, а интеграл от плотности вероятности.

 

Тогда получается интересный момент - в процессе приема аналогового сигнала можно расчитать энтропию сигнала до его приема и после такового.

Достаточно использовать в вычислениях априорную и апостериорную плотность вероятности.

Разность энтропий и даст нам объем информации, который мы приняли.

Интересно, что после приема аналогового сигнала мы по-прежнему можем оценивать его состояние лишь вероятностно! Это вызвано наличием шума, который искажает полезный сигнал и не дает получить полностью детерминированную оценку. Именно этот шум и приведет к "размытию" апостериорного распределения.

Таким образом, зная статистические параметры сигнала и шума, можно точно определить, сколько бит информации мы получили, приняв неквантованное сообщение.

 

А оставшаяся энтропия покажет, сколько информации мы "пропустили мимо ушей" из за шума :-)

 

Так значит, исходное аналоговое сообщение все равно имеет конечный информационный объем, ведь его энтропия конечна...

 

Или интеграл вида: h = - intgr(p(x)*log(p(x)), где p(x) - плотность вероятности случайной величины х, будет уходить в бесконечность?

 

  . страницы:
1   
>  
   
   
   
  . содержание:
       архи. трансформер ( развернуть и cвернуть )
      
  . архи.поиск:
  . архи.другое:
проект Которосль
  . архи.дизайн:
 
  Семён Расторгуев ©  рaдизайн ©


    © Falcon


    © 2007—2015, проект АрхиВсё,  ссылайтесь...
Всё.