Xreferat.com » Рефераты по информатике и программированию » Расчет информационных характеристик источников сообщений, сигналов и каналов

Расчет информационных характеристик источников сообщений, сигналов и каналов

Федеральное агентство по образованию

Государственное образовательное учреждение высшего профессионального образования

«ПЕНЗЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»

Кафедра «Информационная безопасность систем и технологий»


УТВЕРЖДАЮ

Зав. кафедрой ИБСТ

______________ С.Л. Зефиров


ОТЧЕТ

О КУРСОВОМ ПРОЕКТЕ

«Расчет информационных характеристик источников сообщений, сигналов и каналов».


Руководитель КП

Н.А.Егорова

Исполнитель КП

П.А. Пивоваров

Нормоконтролер

Т.В. Щербакова


Пенза, 2007

Реферат


Пояснительная записка 27с., 8 рис., 1 табл.

СИГНАЛ, КАНАЛ, ЭНТРОПИЯ, СООБЩЕНИЕ, АНСАМБЛЬ, ИЗБЫТОЧНОСТЬ, КВАНТОВАНИЕ, ДИСКРЕТИЗАЦИЯ, ИНФОРМАЦИЯ.

Объектом исследования являются источники сообщений, сигналы и каналы, рассматриваемые с позиции теории информации.

Цель работы – получение навыков расчёта информационных характеристик источников дискретных сообщений и дискретного канала, изучение процессов согласования дискретного источника с дискретным каналом, дискретизации и квантования.

В процессе работы проводилось изучение необходимого теоретического материала и решение задач в соответствии с пунктами задания.

В результате выполнения работы были решены все задачи в соответствии с вариантом задания, получены навыки расчёта информационных характеристик источников дискретных сообщений и дискретного канала, изучены процессы согласования дискретного источника с дискретным каналом, дискретизации и квантования.

Значимость работы – ещё раз подтверждает слова К. Шеннона, «что с информацией можно обращаться почти так же, как с такими физическими величинами, как масса или энергия».

Следует ожидать, что идеи и методы теории информации, касающиеся источников сообщений, сигналов и каналов, будут успешно использоваться и в дальнейшем, особенно при создании сложных систем, объединяющих различные по целям, функциям и даже физическому воплощению подсистемы.

Содержание


Нормативные ссылки

Введение

1 Расчет информационных характеристик источников дискретных сообщений

2 Расчет информационных характеристик дискретного канала

3 Согласование дискретного источника с дискретным каналом

4 Дискретизация и квантование

Заключение

Нормативные ссылки


В настоящем отчете использованы ссылки на следующие стандарты:

- ГОСТ 1.5 – 93 Государственная система стандартизации РФ. Общие требования к построению, изложению, оформлению и содержанию стандартов.

- ГОСТ 2.105 – 95 Единая система конструкторской документации.

- ГОСТ 2.301 – 68 ЕСКД Форматы.

- ГОСТ 7.1 – 84 Система стандартов по информации, библиотечному и издательскому делу. Библиографическое описание документа. Общие требования и правила составления.

- ГОСТ 7.32 – 2001 Система стандартов по информации, библиотечному, издательскому делу. Отчёт о научно – исследовательской работе.

Введение


Эффективная организация обмена информацией приобретает всё большее значение, прежде всего как условие успешной практической деятельности людей. Объём информации, необходимой для нормального функционирования современного общества, растёт примерно пропорционально квадрату развития производительных сил. Доля рабочей силы, занятой вопросами обеспечения информацией, начинает превышать долю рабочей силы, занятой непосредственно в сфере производства.

Информация наряду с материей и энергией является первичным понятием нашего мира и поэтому в строгом смысле не может быть определена, при этом в узком практическом смысле под информацией обычно понимают совокупность сведений об окружающем мире, являющуюся объектом хранения, передачи и преобразования. Информация передаётся и хранится в виде сообщений, а изменяющийся во времени физический процесс, отражающий передаваемое сообщение называется сигналом. А система связи, являющаяся совокупностью технических средств, используемых для передачи сообщений от источника к потребителю информации.

В данной работе объектом исследования являются источники сообщений, сигналы и каналы, рассматриваемые с позиций теории информации, круг проблем которой можно охарактеризовать как исследование методов кодирования для экономного представления сообщений различных источников и для надёжной передачи сообщений по каналам связи с шумом.

В основе теории информации лежит статистическое описание источников сообщений и каналов связи, а также базирующееся на этом описание измерения количества информации между сообщениями, определяемого только вероятностными свойствами сообщения.

На основе теории информации можно ответить на вопросы о предельных возможностях, т.е. максимально достижимых характеристиках различных систем, определить в какой мере проектируемая система близка к теоретически возможной. В некоторых случаях логика рассуждений, используемая в теории информации, подсказывает путь, на котором может быть найдено конструктивное решение для реальной системы.

В данной работе основные идеи и методы теории информации были рассмотрены и практически закреплены на примере конкретных задач, составляющих четыре раздела задания.

1. Расчёт информационных характеристик источников дискретных сообщений


1.1 Задача № 1.38


Ансамбли событий X и Y объединены, причем вероятности совместных событий равны: Расчет информационных характеристик источников сообщений, сигналов и каналов;Расчет информационных характеристик источников сообщений, сигналов и каналов;Расчет информационных характеристик источников сообщений, сигналов и каналов; Расчет информационных характеристик источников сообщений, сигналов и каналов; Расчет информационных характеристик источников сообщений, сигналов и каналов; Расчет информационных характеристик источников сообщений, сигналов и каналов; Расчет информационных характеристик источников сообщений, сигналов и каналов; Расчет информационных характеристик источников сообщений, сигналов и каналов.Найти: энтропии ансамблей X и Y соответственно Расчет информационных характеристик источников сообщений, сигналов и каналов Расчет информационных характеристик источников сообщений, сигналов и каналов; энтропию объединенного ансамбля Расчет информационных характеристик источников сообщений, сигналов и каналов; условные энтропии ансамблей Расчет информационных характеристик источников сообщений, сигналов и каналов

Решение:

Известны вероятности совместных событий, и с учётом соотношения


Расчет информационных характеристик источников сообщений, сигналов и каналов


находятся безусловные вероятности p(xk) и p(yk), которые потребуются при дальнейшем решении:


Расчет информационных характеристик источников сообщений, сигналов и каналов;

Расчет информационных характеристик источников сообщений, сигналов и каналов

Расчет информационных характеристик источников сообщений, сигналов и каналов;

Расчет информационных характеристик источников сообщений, сигналов и каналов;

Расчет информационных характеристик источников сообщений, сигналов и каналов;

Расчет информационных характеристик источников сообщений, сигналов и каналов.


2) По формуле определения энтропии (1.4), находятся энтропии ансамблей H(X) и H(Y):


Расчет информационных характеристик источников сообщений, сигналов и каналов

Расчет информационных характеристик источников сообщений, сигналов и каналов


3) Для нахождения среднего количества информации, даваемое сообщением X при условии, что сообщение ансамбля Y уже известно, т.е. нахождение энтропии ансамбля H(X,Y), используется формула определения энтропии объединённого ансамбля:


Расчет информационных характеристик источников сообщений, сигналов и каналов


т.о., в нашем случае H(X,Y) будет равна


Расчет информационных характеристик источников сообщений, сигналов и каналов


4) Итак, была найдена энтропия объединённого ансамбля. Далее по заданию требуется определить условные энтропии ансамблей H(X/Y) и H(Y/X). Формулу условной энтропии можно получить из формулы количества информации, содержащейся Y относительно X и наоборот.


Расчет информационных характеристик источников сообщений, сигналов и каналов


1.2 Задача № 1.66


Принимаемый сигнал может иметь амплитуду Расчет информационных характеристик источников сообщений, сигналов и каналов (событие Расчет информационных характеристик источников сообщений, сигналов и каналов) или Расчет информационных характеристик источников сообщений, сигналов и каналов (событие Расчет информационных характеристик источников сообщений, сигналов и каналов), а также сдвиг фазы Расчет информационных характеристик источников сообщений, сигналов и каналов (событие Расчет информационных характеристик источников сообщений, сигналов и каналов) или Расчет информационных характеристик источников сообщений, сигналов и каналов (событие Расчет информационных характеристик источников сообщений, сигналов и каналов) режимах. Вероятности совместных событий имеют следующие значения:


Расчет информационных характеристик источников сообщений, сигналов и каналов; Расчет информационных характеристик источников сообщений, сигналов и каналов; Расчет информационных характеристик источников сообщений, сигналов и каналов;Расчет информационных характеристик источников сообщений, сигналов и каналов.


Вычислить количество информации получаемой о фазовом сдвиге сигнала, если станет известной его амплитуда.

Решение:

Количество информации вычисляется по формуле:


Расчет информационных характеристик источников сообщений, сигналов и каналов


Величина I(Y,X) показывает, сколько в среднем бит информации о реализации ансамбля Y дает наблюдение реализации ансамбля Z. Подставив в эту формулу в выражение для вычисления энтропии и условной энтропии:


Расчет информационных характеристик источников сообщений, сигналов и каналов

Расчет информационных характеристик источников сообщений, сигналов и каналов

Расчет информационных характеристик источников сообщений, сигналов и каналов


Учитывая, что


Расчет информационных характеристик источников сообщений, сигналов и каналов,


последнее выражение можно записать в виде:


Расчет информационных характеристик источников сообщений, сигналов и каналов


Вычисляются необходимые величины.


p(y1) = p(x1, y1) + p(x2, y1) = 0.47 + 0.27 = 0.74

p(y2) = p(x1, y2) + p(x2, y2) = 0.17 + 0.09 = 0.26

p(x1) = p(x1, y1) + p(x1, y2) = 0.47 + 0.17 = 0.64

p(x2) = p(x2, y1) + p(x2, y2) = 0.27 + 0.09 = 0.36


Все величины подставляются в формулу:


Расчет информационных характеристик источников сообщений, сигналов и каналов

Расчет информационных характеристик источников сообщений, сигналов и каналов


1.3 Задача № 1.84


Дискретный источник выбирает сообщения из ансамбля


Расчет информационных характеристик источников сообщений, сигналов и каналов.


Длительности сообщений соответственно равны: tu1=0,96 c, tu2=0,44 c, tu3=0,67 c, tu4=0,39 c. Определить производительность источника.

Решение:

Производительность источника рассчитывается по формуле,


Расчет информационных характеристик источников сообщений, сигналов и каналов


где T – время, затрачиваемое в среднем на каждое сообщение при передаче, и определяемое в соответствии со следующим выражением:


Расчет информационных характеристик источников сообщений, сигналов и каналов


а энтропия источника H(U) в соответствии с формулой (1.4) [1] равна:

Расчет информационных характеристик источников сообщений, сигналов и каналов


Итак, производительность источника равна:


Расчет информационных характеристик источников сообщений, сигналов и каналов

2. Расчёт информационных характеристик дискретного канала


2.1 Задача № 2.23


На вход дискретного симметричного канала, показанного на рисунке 2, без памяти поступают двоичные символы Расчет информационных характеристик источников сообщений, сигналов и каналов и Расчет информационных характеристик источников сообщений, сигналов и каналов с априорными вероятностями p(U1)=0,75 и p(U2)=0,25.


Расчет информационных характеристик источников сообщений, сигналов и каналов

Рисунок 2 – Дискретный симметричный канал


Переходные вероятности Расчет информационных характеристик источников сообщений, сигналов и каналов в таком канале задаются соотношением


Расчет информационных характеристик источников сообщений, сигналов и каналов ,


где p=0,1 – вероятность ошибки. Определить все апостериорные вероятности Расчет информационных характеристик источников сообщений, сигналов и каналов.

Решение:

Расчет информационных характеристик источников сообщений, сигналов и каналов - переходные вероятности того, что на выходе будет символ zj при условии, что на входе был символ ui.

Расчет информационных характеристик источников сообщений, сигналов и каналов - апостериорные вероятности того, что на входе канала имел место символ ui при условии, что на выходе наблюдается zj.

По формуле Байеса:


Расчет информационных характеристик источников сообщений, сигналов и каналов

Итак, Расчет информационных характеристик источников сообщений, сигналов и каналов

Расчет информационных характеристик источников сообщений, сигналов и каналов

Расчет информационных характеристик источников сообщений, сигналов и каналов

Расчет информационных характеристик источников сообщений, сигналов и каналов


2.2 Задача № 2.48


Двоичный источник с равновероятными элементами имеет производительность U’=1500 бит в секунду. При передачи по каналу в среднем один из 100 символов принимается ошибочно. Определить скорость передачи инфориации по данному каналу.

Решение:


U1 Z1 “1”

Расчет информационных характеристик источников сообщений, сигналов и каналовРасчет информационных характеристик источников сообщений, сигналов и каналовРасчет информационных характеристик источников сообщений, сигналов и каналов

U2 Z2 “0”

Рисунок 3 – Дискретный канал

Ситуация в канале характеризуется данным рисунком 3. В среднем один из 100 символов принимается ошибочно, поэтому вероятность ошибки будет составлять ро=1/100=0,01. Тогда вероятность правильного принятия будет вычисляться из следующего выражения: 1-р0=1-0,01=0,99.

Таким образом, канал описывается распределением вероятностей:


P(Z1/U1)=P(Z2/U2)=0,99

P(Z1/U2)=P(Z1/U2)=0,01

P(U1)=P(U2)=0,5- дано по условию


Скорость передачи информации вычисляется по формуле:


I’(U,Z)=H’(U)-H’(U/Z),


а энтропия будет равна 1 биту, так как


0,5log2+0,5log2=1

H’(U)=VC*H(U), где VC=1500 c-1

I’(U,Z)=H’(U)-H’(U/Z)

H’(U/Z)=VC*H(U/Z)

Расчет информационных характеристик источников сообщений, сигналов и каналов


Условные вероятности можно найти по формуле Байеса:


Расчет информационных характеристик источников сообщений, сигналов и каналов

H(U/Z)=-P(Z1)[P(U1/Z1)log2P(U1/Z1)+P(U2/Z1)log2P(U2/Z1)]-P(Z2)[P(U1/Z2)log2P(U1/Z2)+ P(U2/Z2)log2P(U2/Z2)]

H(U/Z)=-(0.5+0.5)(-2*0.99log(0.99)-2*0.01*log(0.01))=0.16

H’(U/Z)=VC*H(U/Z)=1500*0,16=241 (бит)

I’(U,Z)=H’(U)-H(U/Z)=1500-241=1259(бит/с)

3. Согласование дискретного источника с дискретным каналом


3.1 Задача № 3.23


Закодировать двоичным кодом Фано ансамбль сообщений {ai}:


{0.08, 0.001, 0.06, 0.09, 0.017, 0.18, 0.4, 0.06, 0.003, 0.027, 0.014, 0.068}


Закодировать произвольную комбинацию, состоящую из 5 символов из ансамбля{ai}. Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля {ai} и среднее количество символов, разработанного кода Фано, приходящихся на одно сообщение из ансамбля {ai}. Рассчитать эффективность разработанного кода.

Решение.

Кодируется кодом Фано заданный ансамбль сообщений следующим образом.


Таблица 1 - Кодирование ансамбля сообщений {ai} двоичным кодом Фано

сообщение вероятность код
а7 0,4 00
а6 0,18 01
а4 0,09 100
a1 0,08 1010
а12 0,068 1011
а3 0,06 1100
а8 0,06 1101
а10 0,027 1110
а5 0,017 11110
а11 0,014 111110
а9 0,003 1111110
a2 0,001 1111111

Сообщения источника располагаются в порядке не возрастания их вероятностей, делятся на две части так, чтобы суммарные вероятности сообщений в каждой части были по возможности равны. Сообщениям первой части приписывается в качестве первого символа нуль, а сообщениям второй части единица. Затем каждая из этих частей (если она содержит более одного сообщения) опять делится на две примерно равные части и в качестве второго символа для первой из них берется 0, а для второй 1. Этот процесс повторяется до тех пор, пока в каждой из полученных частей не останется по одному сообщению.

После использования полученных комбинаций символов, закодируется произвольная комбинация, состоящая из 5 символов из ансамбля {ai}: 101011111110010011110.

Среднее количество символов, приходящихся на одно сообщение, определяется по формуле 2.9 курса лекций:


Расчет информационных характеристик источников сообщений, сигналов и каналов,


где ms – количество позиций, а ps – вероятность сообщения из ансамбля {ai}.


Расчет информационных характеристик источников сообщений, сигналов и каналов


Определяется минимальное среднее количество символов, приходящихся на одно сообщение, по формуле


Расчет информационных характеристик источников сообщений, сигналов и каналов,

где M – объем алфавита кода, равный 2, а H(U) энтропия источника.

Далее находится энтропия:


Расчет информационных характеристик источников сообщений, сигналов и каналовРасчет информационных характеристик источников сообщений, сигналов и каналов

Расчет информационных характеристик источников сообщений, сигналов и каналовРасчет информационных характеристик источников сообщений, сигналов и каналовРасчет информационных характеристик источников сообщений, сигналов и каналов

Расчет информационных характеристик источников сообщений, сигналов и каналов


Затем вычисляется величина ψ-эффективность кода, которая характеризует степень близости неравномерного статистического кода к оптимальному.


Расчет информационных характеристик источников сообщений, сигналов и каналовРасчет информационных характеристик источников сообщений, сигналов и каналов


3.2 Задача № 3.56


Определить избыточность оптимального по Шеннону кода (существование которого утверждается теоремой для канала с шумом) с объемом алфавита m и средним количеством символов, переданных в единицу времени Vk, предназначенного для безошибочной передачи информации по каналу с пропускной способностью С.

Найти минимально возможную избыточность оптимального кода для симметричного канала при m = 8 и вероятности ошибки P = 0,08.

Решение:

Избыточность кода вычисляется по следующей формуле:

Расчет информационных характеристик источников сообщений, сигналов и каналов,

где Hў(Z)=Vk*H(Z)


Так как передача информации предполагается безошибочной, то кодирование должно быть однозначным, то есть потери информации при кодировании должны отсутствовать. Это означает, что:


Hў(Z)=Hў(U),


где Hў(U)- производительность источника, который передает информацию.

В соответствии с условием теоремы Шеннона


Hў(U) < C, а H(U) = С + ε = С; (ε→0),


тогда формула избыточности будет выглядеть следующим образом:


Расчет информационных характеристик источников сообщений, сигналов и каналов, при ε→0

Расчет информационных характеристик источников сообщений, сигналов и каналов


Для двоичного симметричного канала справедливо выражение:


C=Vk*[1+p*log2p+(1-p)*log2(1-p)]


Подставив известные значения в формулы, получается:


C=Vk*0.6

Расчет информационных характеристик источников сообщений, сигналов и каналов


4. Дискретизация и квантование


4.1 Задача № 4.23


Расчет информационных характеристик источников сообщений, сигналов и каналовНепрерывный сигнал x(t), имеющий спектр X(jω) дискретизируется с частотой дискретизации ωд , отображенный на рисунке 4.


Расчет информационных характеристик источников сообщений, сигналов и каналов


Расчет информационных характеристик источников сообщений, сигналов и каналовРасчет информационных характеристик источников сообщений, сигналов и каналовРасчет информационных характеристик источников сообщений, сигналов и каналов

Рисунок 4 - Непрерывный сигнал x(t), имеющий спектр X(jω) дискретизируется с частотой дискретизации ωд


Выполняется ли в данном случае условие теоремы Котельникова? Построить график спектра дискретизированного сигнала (изобразить 5 периодов спектра). Проиллюстрировать графически процесс восстановления спектра непрерывного сигнала с помощью идеального интерполирующего фильтра по спектру дискретного сигнала.

Решение:

При построении графика спектра дискретизированного сигнала (рисунок 4) исспользуется выражение (3.16) [1], причём для изображения 5 периодов спектра следует учесть 5 слагаемых:


Расчет информационных характеристик источников
    <div class=

Если Вам нужна помощь с академической работой (курсовая, контрольная, диплом, реферат и т.д.), обратитесь к нашим специалистам. Более 90000 специалистов готовы Вам помочь.
Бесплатные корректировки и доработки. Бесплатная оценка стоимости работы.
Подробнее

Поможем написать работу на аналогичную тему

Получить выполненную работу или консультацию специалиста по вашему учебному проекту

Похожие рефераты: