Экономическая кибернетика

20. Однако при этом простой зависимости Н =1/p не получается (здесь Н - степень неопределенности и р - вероятность выбора элемента). При p = 0 степень неопределенности равна бесконечности:

Если же р = 1, то Н =1/1=1, что является неверным, так как при р=1 степень неопределенности должна быть равна 0, ибо в множестве один элемент выбирать не из чего. В связи с этим зависимость между неопределенностью Н и вероятностью р измеряется логарифмом величины 1/p:

(4.1)

При этом можно брать логарифмы по любому основанию, но принято брать логарифмы по основанию два.

Изучением степени неопределенности и связи ее с вероятностью занимается статистическая теория информации. Формула H= log21/p является логарифмической мерой количества информации. В теории информации рассматриваются любые события, в результате которых уменьшается, уничтожается, исчезает неопределенность.

Для оценки количества информации, связанной с появлением одного сообщения, пользуются формулой:

(4.2)

где pi - вероятность появления события Si.

Такую оценку индивидуального количества информации называют индивидуальной энтропией. Индивидуальная энтропия события тем больше, чем меньше вероятность его появления. Однако статистическую теорию информации не интересует индивидуальное количество информации. Существенной для характеристики любого опыта являются не информации n1, n2 ..., nN, связанные с отдельными исходами опыта, а средняя информация, которая определяется следующим образом.

Пусть для некоторого события х известно, что количество различных исходов равно N, а вероятности их равны соответственно p1, p2, …,pN, причем p1+p2+…+pN=1.

В результате достаточно большого числа испытаний (их число равно М) получено, что первый исход наступил m1 раз, второй – m2 раз,..., N-й - mN раз (m1+m2+…+mN=M). Известно, что в результате единичного наступления i-го исхода опыта получаем индивидуальное количество информации:

Поскольку первый исход наступил т, раз, то полученное при этом суммарное количество информации равно n1m1, где n1 - индивидуальное количество информации, полученное в результате одного наступления первого исхода опыта. Аналогично получаем суммарное количество информации, полученное при наступлении второго исхода опыта и т.д. Общее количество информации, полученное в результате M испытаний, равно

n1m1+n2m2+…+nNmN

а среднее количество информации, полученное в одном испытании, равно

При

Отсюда получаем среднее количество информации, характеризующее событие x:

Предположим, что опыт состоит в извлечении одного шара из ящика, в котором находится один черный и два белых шара. Исходя из классического подхода, вероятность выбора черного шара равна 1/3, а вероятность выбора белого шара равна 2/3. Среднее значение неопределенности получается, если вероятность отдельного исхода умножается на его неопределенность, и эти произведения складываются:

В общем виде формула степени неопределенности (количества информации в битах) имеет следующий вид:

(4.3)

Эта формула предложена в 1948 г. К. Шенноном. Ее называют еще формулой абсолютной негэнтропии. Она аналогична формуле энтропии, только имеет отрицательный знак.

Знак минус в правой части приведенного уравнения использован для того, чтобы сделать величину Н положительной (поскольку ). Понятие энтропии ввел немецкий физик-теоретик Р. Клаузиус в 1865 г. Термин происходит от греческого слова - entrope - «замкнуть внутри». Он обозначает меру деградации какой-либо системы. В 1872 г. австрийский физик Л. Больцман связал энтропию с вероятностью состояния. Изменения энергии в изолированной системе описываются вторым законом термодинамики, который был сформулирован следующим образом: теплота не может сама собою перейти от более холодного тела к более теплому. Cyть этого закона состоит в том, что способность изолированных систем совершать работу уменьшается, так как происходит рассеивание энергии. Формула энтропии определяет степень беспорядка, хаотичности молекул газа в сосуде. Естественным поведением любой системы является увеличение энтропии. Если энтропия имеет тенденцию к возрастанию, то система теряет информацию и деградирует. Чтобы система не деградировала, необходимо внести в нес дополнительную информацию (негэнтропию). Отсюда энтропия есть мера дезорганизацию а информация есть мера организованности. Всякий раз, когда в результате наблюдения система получает какую-либо информацию, энтропия этой системы уменьшается, а энтропия источника информации увеличивается.

По приведенной формуле определяется среднее количество информация в сообщениях при неравновероятных исходах опыта. Легко заметить, что при равновероятности исходов формула

превращается в формулы:

и

поскольку сумма всех p всегда равна 1 и каждое pi = р.

Запишем формулу Шеннона в виде:

Пусть все исходы равновероятны, тогда:

подставив эти значения в формулу, получим:

Из формулы степени неопределенности видно, что среднее количество информации в битах в дискретном сообщении о простом событии определяется как отрицательная сумма вероятностей всех возможных событий, умноженных на их логарифмы по основанию 2. Количество информации выше среднего приходится на события, вероятность которых ниже. Более высокую информационную емкость имеют редкие события. Формулой подтверждается также более низкая неопределенность систем с более высокой вероятностью событий. Поскольку вероятность одних событий повышается за счет снижения

вероятности других (так как сумма всех вероятностей равна 1), энтропия становится тем ниже, чем менее вероятны события, а максимума она достигает при равновероятности всех событий.

Покажем что Hmax, получаемое при равновероятных исходах события, является верхней границей значений H. Для этого найдем максимальное значение функции

используя множитель Лагранжа

Найти max

Приравняем нулю частные производные функции по pi.

Отсюда и легко видеть, что все , следовательно,

H = Hmax. Если же событие является достоверным (при этом pi =1а остальные pi=0, ), то

H = -0*log0 - 0*log0 +…-1*log1+…-0*log0.

Легко показать, что выражение 0*log0 = 0*()=0. Раскроем неопределенность, используя правило Лопиталя:

Тогда получим Н=0 для достоверного события.

Следовательно, среднее количество информации находится в пределах

Теперь можно сформулировать определение условной вероятности. Если случайная величина х принимает значения x1,x2, ..., хN, а случайная величина y принимает значения y1, y2, ..., уM, то условной вероятностью называется вероятность того, что х примет значение хi, если известно, что у приняло значение yi.

Безусловная вероятность p(xi) равна условной вероятности, усредненной по всем возможным значeниям y:

(4.4)

где p(yj) - вероятность j-го значения величины y, величина р(уj) p(xi/yj) - есть вероятность того, что у примет значение yj, а х - значение хi,. Она называется совместной вероятностью события (xi ,yj) и обозначается p(xi,yj).

Очевидно, если события х и у независимы, то

(4.5)

Неопределенность события х определяется по формуле:

(4.6)

Если события х и у зависимы, и событие у приняло значение yj, то неопределенность события х становится равной:

(4.7)

Так как событие у может принимать значение y1, у2,..., уM с вероятностями p(y1), р(у2),…, р(yM), средняя неопределенность события х при любых возможных исходах события у равна:

(4.8)

Это условная негэнтропия случайной величины х при задании случайной величины у. Она всегда не больше безусловной

,

причем равенство имеет место только в том случае, когда знание величины у не меняет вероятностей значений величины х, т.е.

,

каким бы ни было значение yj. Это условие означает, что неопределенность события х не возрастает от того, что событие у становится известно.

Для двух случайных событий х и у энтропия совместного события равна:

В полученном выражении

а второе слагаемое есть не что иное, как

H(x/y).

Следовательно,

(4.9)

Равенство достигается тогда, когда события х и у независимы В качестве меры количества информации в случайной величине у о случайной величине х принимается величина, на которую уменьшается в среднем неопределенность величины х, если нам становится известным значение величины у:

Эта формула выражает количество информации в случайной величине у о случайной величине х, как разность между безусловной и условной негэнтропией.

По формуле условной негэнтропии строится вся современная статистическая теория информации. Переход от абсолютной негэнтропии к условной приобретает фундаментальное решающее значение. Формула условной негэнтропии выражает количество информации относительно заданной системы отсчета, системы координат. Иначе говоря, она характеризует количество информации, содержащееся в одном объекте относительно другого объекта.

Классическая теория информации дает полезный аппарат, но он не универсален и множество ситуаций не укладываются в информационную модель Шеннона. Далеко не всегда можно заранее установить перечень возможных состояний системы и вычислить их вероятности. Кроме того, основным недостатком этой теории является то, что, занимаясь только формальной стороной сообщений, она оставляет в стороне их ценность и важность. Например, система радиолокационных станций ведет наблюдение за воздушным пространством с целью обнаружения самолета противника. Система S, за которой ведется наблюдение, может быть в одном из двух состояний: x1 - пpoтивник есть, х2 - противника нет. Выяснение фактического состояния системы принесло бы в рамках классической теории информации 1 бит, однако первое сообщение гораздо важнее, что оценить невозможно с помощью вероятностного подхода.

Статистическая теория информации оперирует лишь вероятностями исходов рассматриваемых опытов и полностью игнорирует содержание этих исходов. Поэтому эта теория не может быть признана пригодной во всех случаях. Понятие информации в ней трактуется весьма односторонне.

Следовательно, уничтожение неопределенности, т.е. получение информации, может происходить не только в результате вероятностного процесса, но и в других формах. Понятие неопределенности оказывается шире понятия вероятности. Неопределенность - понятие, отражающее отсутствие однозначности выбора элементов множества. Если этот выбор имеет случайный характер, то мы имеем дело со статистической теорией информации. Если же этот выбор не случаен, то необходим невероятностный подход к определению информации. Существуют следующие невероятностные подходы к определению информации: динамический, топологический, алгоритмический. Мы не будем рассматривать эти невероятностные подходы к определению количества информации, отметим только, что каждый из этих методов обнаруживает нечто общее со статистическим подходом. Оно состоит в том, что эти методы изучают переход от неопределенности к определенности. Но все же эти методы отличаются от статистического подхода. Один из невероятностных подходов к определению количества информации принадлежит советскому ученому А.Н. Колмогорову. По аналогии с вероятностным определением количества информации как функции связи двух систем, он вводит определение алгоритмического количества информации.

Количество информации, содержащееся в сообщении, можно связывать не только с мерой неопределенности системы, но и с ее структурной сложностью и точностью измерений. Такой подход предлагается к оценке научной информации, возникающей в результате анализа процесса наблюдений и эксперимента.

Количество различных признаков, характеризующих данный предмет, т.е. его размерность или число степеней свободы, является мерой структурной информации. Ясно, что цветное изображение содержит в себе больше информации по сравнению с черно-белым изображением того же объекта. Единица структурной информации - логон - означает, что к имеющемуся представлению можно добавить одну новую различимую группу или категорию.

Количество метрической информации связано с разрешающей способностью измерений. Например, эксперимент, результат которого обладает погрешностью, равной 1%, дает больше информации, чем эксперимент, характеризующийся погрешностью в 10%.

Единицей измерения метрической информации является метрон. В случае числового параметра эта единица служит мерой точности, с которой этот параметр определен.

Статистический и нестатистический подходы в теории информации касаются только количества информации, но информация имеет еще и качественный аспект. Объединение элементов в множество всегда предполагает наличие у них некоторого свойства, признака, благодаря чему они образуют данное множество, а не иное. Следовательно, каждый элемент множества обладает определенным качественным отличием от элемента другого множества. Кроме того, внутри множества различие элементов друг от друга носит тоже качественный характер. Поиск качественного аспекта информации как раз и состоит в учете природы элементов, объединяемых в множества, в учете качественного многообразия материи.

До сих пор информация рассматривалась как снятая, устраняемая неопределенность. Именно то, что устраняет, уменьшает любую неопределенность и есть информация. Однако информацию можно рассматривать не только как снятую неопределенность, а несколько тире. Например, в биологии информация - это прежде всего совокупность реальных сигналов, отображающих качественное или количественное различие между какими-либо явлениями, предметами, процессами, структурами, свойствами. Такой более широкий подход к определению понятия информации сделал У. Росс Эшби. Он считает, что понятие информации неотделимо от понятия разнообразия. Природа информации заключается в разнообразии, а количество информации выражает количество разнообразия. Одно и то же сообщение при разных обстоятельствах может содержать различное количество информации. Это зависит от разнообразия, которое наблюдается в системе.

Слово «разнообразие» означает число различных элементов в множестве. Так, например, множество с, b, с, а, с, с, а, b, с, b, b, а, если не принимать во внимание порядок расположения элементов, содержит 12 элементов, и только три из них различные: а, b, с. Такое множество имеет разнообразие в три элемента.

Множество с разнообразием и множество с вероятностями имеют эквивалентные свойства. Так, множество, у которого все элементы различны, имеет максимальное количество разнообразия. Чем больше в системе разнообразия, тем больше неопределенность в поведении такой системы. Уменьшение разнообразия уменьшает неопределенность системы. Вероятность выбрать наугад данный элемент из множества с максимальным разнообразием равна единице, деленной на количество всех элементов множества . Нетрудно видеть, что это аналогично статистической совокупности с равномерным распределением вероятностей. Количество информации в этом случае имеет максимальное значение. Множество, у которого все элементы одинаковы, содержит минимальное количество разнообразия - всего в один элемент. Аналогией такого множества является статистическая совокупность с таким распределением вероятностей, когда одна из них равна единице, а остальные нулю. Количество информации в такой совокупности равно нулю. В множестве информация появляется только тогда, когда один элемент отличается от другого. Подобно вероятности разнообразие может измеряться как число различных элементов и как логарифм этого числа, например, по основанию два. Между минимальным и максимальным количеством разнообразия в множестве существует ряд промежуточных состояний, которые появляются в результате ограничения разнообразия. Понятие ограничения разнообразия является очень важным. Оно представляет собой отношение между двумя множествами. Это отношение возникает, когда разнообразие, существующее при одних условиях, меньше, чем разнообразие, существующее при других условиях.

Ограничения разнообразия весьма обычны в окружающем нас мире. Любой закон природы подразумевает наличие некоторого инварианта, поэтому всякий закон природы есть ограничение разнообразия.

Окружающий мир чрезвычайно богат ограничениями разнообразия. Без ограничений разнообразия мир был бы полностью хаотичным. Ограничение разнообразия соответствует уменьшению количества информации, поэтому ограничение разнообразия равносильно установившемуся в статистической теории понятию избыточности. Избыточность тем больше, чем больше ограничение разнообразия. Если же элементы в множестве одинаковы, то избыточность равна единице. Если в ящике все шары оказываются одинакового цвета то их избыточность по цвету равна единице, если же все шары будут разного цвета, то избыточность равна нулю. Наличие у информации качества вызывает необходимость в классификации видов информации. Различают элементарную информацию, т.е. информацию в неживой природе, биологическую, логическую, человеческую, или социальную. Для социальной информации характерно выделение двух аспектов: семантического, связанного с содержанием сообщений, и прагматического, связанного с полезностью их для получателя.

Семиотика

Развитие качественной стороны в исследованиях информации теснее всего связано с семиотикой - теорией знаковых систем. Семиотика исследует знаки как особый вид носителей информации.

Отношение между знаками, обозначаемыми предметами и их отображением в форме понятий и моделей, изучаются другим аспектом семиотики - семантикой. Этими отношениями определяется содержание информации, передаваемой посредством знаков.

В настоящее время еще не разработаны методы точного количественного определения смыслового содержания информации. Наиболее известными подходами к построению теории семантической информации являются теория Карнапа и Бар-Хиллела, основанная на понятии логической вероятности, и теория советского ученого Ю.А. Шрейдера, имеющая невероятностный характер.

Отношения между знаками и их потребителями, с точки зрения использования получаемой информации и влияния знаков на поведение системы, изучается другим разделом семиотики - прагматической теорией информации. Предметом ее исследования является определение ценности информации для потребителя. Ценность uнфоpмации — есть отношение субъекта, информации и цели, где информация выступает как объективный фактор или носитель ценности. Ценность информации является важной характеристикой для кибернетических систем, так как она связана с их функционированием. Ценностный критерий информации является пригодным, когда сравниваются системы, выполняющие одну и ту же функцию, но имеющие внутреннее разнообразие. Каждое сообщение важно оценивать не с точки зрения познавательных характеристик, а с точки зрения полезности для выполнения функций управления. Исходя из этих соображений, А.А. Харкевич предложил определять меру ценности информации Ic как изменение вероятности достижения цели при получении этой информации:

где р0 - вероятность достижения цели до получения информация;

p1 - вероятность достижения цели после получения информации.

Другой подход к проблеме ценности информации осуществлен М.М. Бонгардом. Он вводит понятие «полезная информация», связывая сообщение с тем, какую задачу решает получатель, что он знает до прихода сообщения и как он сто истолковывает. Этот подход имеет вероятностно-алгебраическую сущность и носит более общий характер, чем мера ценности информации, предложенная А.А. Харкевичем.

Между элементами любой системы и между различными системами существуют информационные связи. Чтобы иметь представление о состоянии системы, необходимо каким-то способом оценивать значение ее координат. При этом оказывается, что ни один способ наблюдения не может доставить абсолютно точных сведений о значениях координат системы. Это объясняется тем, что любому измерению свойственна определенная конечная разрешающая способность.

В общем виде, если состояние системы представляется вектором, составляющие которого х1, х2 ,....xn , могут независимо друг от друга

принимать r1, r2 ,…,rn значений соответственно, то число всевозможных наборов этих значений, входящих в множество состояний системы, будет равно N=r1 *r2 *…rn .

Состояние системы в определенный момент времени называется событием. Событием называется каждая фиксируемая наблюдением количественная или качественная определенность динамической системы или ее состояния. Различают простые и сложные события, (х, t) представляет собой множество возможных событий для каждого момента времени.

Каждому состоянию системы, событию, можно ставить в соответствие определенное значение какой-либо физической величины. При помощи этой величины можно осуществлять передачу сведений от одного объекта к другому. Физический процесс, представляющий собой материальное воплощение сообщения о событиях, называется сигналом. Сигнал как физический носитель информации возникает только на основе изменения состояния системы, т.е. возникшего события; он имеет самостоятельную физическую сущность и существует независимо от содержания происшедшего события, и всегда связан с каким-либо материальным объектом или материальным процессом. Сигнал может существовать длительное время, иметь непрерывную или дискретную характеристику и быть статическим или динамическим. Посредством сигналов осуществляются информационные связан циркулирующие в кибернетических системах. Сигналы можно передавать на расстояние, поддерживая связь между разобщенными в пространстве объектами. Сигналы можно запоминать и передавать их во времени. Это позволяет связывать между собой объекты, разделенные во времени.

Система или среда, в которой осуществляется передача сигнала, называется каналом связи, информационным каналом или каналом передачи сообщений. В общем виде абстрактную схему системы связи можно изобразить следующим образом.

Эта схема функционирует следующим образом: источник информации (отправитель) обладает некоторым множеством различны» и разнозначных для получателя сведений, совокупность которых называется сообщением. Передача сообщения означает выбор определенного символа или определенных символов из множества возможных символов или алфавита отправителя и преобразование этих сим волов с помощью передатчика в передаваемые сигналы.

Элементами алфавита могут быть дискретные символы — буквы, цифры, азбука Морзе, либо непрерывные символы - высота тона, амплитуда колебания. Передающие сигналы по коммуникационной цепи перемещаются с шумом, вызывающим искажение сообщений. На стороне приемника имеется алфавит физических символов, из которых на основе полученных физических сигналов восстанавливается полученное сообщение. Полученные сигналы могут быть искажены аддитивными помехами, т.е. шумом. Получаемая информация всегда относительна, так как она зависит от различия между неуверенностью принимающего перед приемом и после приема.

Сигналы, в которых содержится информация, могут быть представлены в дискретной и в непрерывной форме. Дискретные сигналы могут принимать лишь определенное конечное количество значений. Непрерывный сигнал может принимать бесчисленное множество значений, которые могут отличаться один от другого сколь угодно малыми приращениями.

Каждому состоянию системы х соответствует определенное сообщение xc. Множеству возможных событий соответствует множество сообщений, передаваемых при помощи сигналов. Формирование сообщения следует рассматривать как преобразование системы в xc - одно из множества возможных состоянийЭто преобразование происходит посредством некоторого оператора Р:

Оператор Р преобразования какого-либо операнда в его образ сообщения называется кодом. Это комплекс правил, согласно которым информации придается определенный сигнал. Сама операция преобразования посредством кода называется кодированием. В узком смысле слова под кодированием понимают присвоение кодового обозначения объекту или всякую операцию сопоставления множества сообщений одного источника множеству сообщений другого источника, согласно определенной системе правил.

В качестве операнда может рассматриваться не только состояние системы x или событие (х, t), но и сообщение . В этом случае имеет место перекодирование. Операция перекодирования часто бывает необходима в случаях секретности. При этом сообщение, закодированное одним способом, преобразуется в сообщение , закодированное другим способом. В коммуникационной цепи возможно многократное перекодирование. Такое преобразование сообщений можно представить как последовательное воздействие на состояние системы х операторов P1, Р2, ..., Pi по схеме:

Экономичность передачи сообщения зависит от правильности его кодирования, т.е. от рациональной системы кодирования. Кодирование сигнала по существу означает сравнение символов одного алфавита с символами другого алфавита. При этом код представляет собой комплекс правил сравнения символов. Поскольку при кодировании сравниваются символы двух алфавитов, то при этом может изменится количество символов и их вероятностное распределение. В силу этого изменяется и энтропия сообщения. Задача заключается в том, чтобы найти наиболее экономичный для данной передачи код. Наиболее экономичным является код, который требует минимального числа символов и минимального времени на передачу. Хороший код должен сохранить все нужное в сообщении и исключить ненужное.

Большинство кодов имеют избыточность. Это значит, что при передаче сообщений умышленно не используются все возможности кода.

Избыточность - это свойство языков, кодов и знаковых систем состоящее в том, что сообщение содержит больше сигналов, чем фактически требуется для передачи информации: это свойство улучшает связь в условиях помех. Простейшей формой избыточности является дублирование.

Наличие избыточности в сигнале равносильно его удлинению. Однако считать избыточность исключительно отрицательным явлением нельзя, т.к. чем больше избыточность сообщения, тем меньше оно подвержено искажению за счет действия помех. Нахождение оптимальной избыточности кода при данном уровне помех - одна из главных задач теории информации.

Одной из основных проблем при передаче информации по каналу связи с ограниченной пропускной способностью является максимальное увеличение фактической скорости передачи сообщений, которая зависит не только от параметров технических устройств, но и от принятой системы кодирования. Выбором эффективного способа кодирования и декодирования для каждого конкретного канала связи можно добиться наилучшего использования его пропускной способности.

Наибольшее распространение получили двоичные коды, обладающие существенным преимуществом. Наличие всего двух символов позволяет просто и надежно представлять числа в виде импульсов тока или напряжения. Большинство цифровых вычислительных систем предназначается для обработки дискретной информации, закодированной в двоичной системе счисления. Коды, в которых сообщения представлены комбинациями с неравным количеством символов, называются неравномерными или некомплектными. Коды, в которых сообщения представлены комбинациями с равным количеством символов, называются равномерными, или комплектными,

Очевидно, что при использовании равномерного кода в отличие от неравномерного не требуется специального знака, отделяющего одну букву от другой. Для однозначного декодирования принятых сообщений, а также для передачи больших объемов информации при меньших временных и материальных затратах коды должны удовлетворять следующим требованиям:

разные символы передаваемого сообщения должны иметь различные коды;

код должен быть построен так, чтобы можно было четко отделить начало и конец букв алфавита, из которого составлено сообщение;

код должен быть максимально кратким - чем меньшее число элементарных символов требуется для передачи данного сообщения, тем ближе скорость передачи информации к пропускной способности данного канала.

Первое требование очевидно, так как при одинаковых кодовых обозначениях различных букв сообщения нельзя будет однозначно декодировать.

Второе требование может быть удовлетворено следующим образом: введением в код дополнительно разделительного символа-паузы, что значительно удлиняет время передачи сообщения; созданием кода, в котором конец одной буквы не может быть началом другой; либо применением равномерного кода. В этом отношении равномерные коды обладают преимуществом, вместе с тем они имеют существенный недостаток — независимо от вероятности появления отдельных букв сообщения они закодированы последовательностями символов одинаковой длины. Такой код может быть оптимальным с