As as

  • 26 дек. 2011 г.
  • 1469 Слова
МИНИСТЕРСТВО ОБРАЗОВАНИЯ
И НАУКИ УКРАИНЫ

СЕВАСТОПОЛЬСКИЙ НАЦИОНАЛЬНЫЙ
ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

Кафедра технической кибернетики

Курсовая работа по дисциплине
“Теория информации и кодирования”.

Выполнил: ст. гр. А 33д Асатов С.Р.
Проверил: Мирянов В.И.

Севастополь 2002

Оглавление

Введение 3
Задание №1 3
Задание №2 4
Задание №3 7
Задание №4 9
Задание №5 10
Задание №611
Задание №7 13
Задание №8 15
Задание №9 18
Задание №10 21
Заключение 27


Введение

Целью данной курсовой работы является изучение различных методов кодирования и декодирования информации, а так же приобретение навыков кодирования и декодирования информации. Быдут проведены исследования и сделаны выводы о возможностях обнаружения и исправления ошибок для различных кодов.

1. Задание№1

1) Определить количество информации в сообщении на русском языке содержащем ФИО, год, месяц, дату рождения.
Асатов Станислав Русланович 1983 11 03
Число букв и пробелов – 30.
Число цифр – 8.
Количество информации будет равно сумме количества информации буквенных и количества информации числовых символов I=Iб+Iц[бит].
a) Расчёт для равновероятных символов алфавита:
Для равновероятныхсобытий справедлива следующая формула: – формула Хартли, где n – общее количество символов; количество информационных символов.
Тогда количество информации в сообщении будет следующим:
I=Iб+Iц=30*log30+8*log10=172,6[бит]
b) Для случая с разной вероятностью:
Для этого случая справедлива формула Шеннона: , где Р(аi) – вероятность встречи каждого символа;I=Iб+Iц=-(5*0.062*log0.062+4*0.045*log0.045+2*0.05.*log0.053+2*0.09*log0.09+
+3*0.038*log0.038+2*0.053*log0.053+2*0.062*log0.062+0.035*log0.035+0.04*log0.04+
+0.021*log0.021+0.012*log0.012)+8*log10=30.801[бит]
c) Для случая учёта двухбуквенных сочетаний:
I=n*H[бит], где Н – энтропия. Для русского алфавита, с учётом пробела, для двухбуквенных сочетаний Н=3,52[бит/символ].
I=Iб+Iц=30*3.52+8*log10=131.2[бит]
d) Для случая трёхбуквенныхсочетаний:
Н=3,01[бит/символ]. Тогда
I=Iб+Iц=30*3,01+8*log10=115,9[бит]
2) Определить энтропию сообщения.
Энтропия рассчитывается по формуле: , тогда
для случая а): ; для случая b ): ;

для случая с): ; для случая d): ;

2. Задание №2

a) Построить канальную матрицу, где элементами будут условные вероятности Р(bj/ai), используя свою фамилию и имя:
Канальная матрица в общем виде имеетследующую структуру:

В элементы стоящие в главной диагонали будут вычисляться следующим образом:
, тогда
Возьмём 12 символов:
А – 0,062
С – 0,045
А – 0,062
Т – 0,053
О – 0,09
В – 0,038
С – 0,045
Т – 0,053
А – 0,062
Н – 0,053
И – 0,062
С – 0,045
b) Построить матрицу Р(аi,bj).
Возьмём следующие значения вероятностей: Р(аi): P(a1)=0.1, P)(a2)=0.2, P(a3)=0.3, P(a4)=0.4;
. Тогда матрицуР(аi,bj) мы можем расcчитать в пакете Mathcad следующим образом:

c) Найти Р(bj).
Вероятности P(bj) находим по следующей формуле: . Используем пакет Матhсаd:



d) Построить матрицу P(ai,bj).
Элементы матрицы P(ai,bj) будем находить в пакете Mathcad используя следующую формулу:
.



e) Найти частные условные энтропии H(B/ai), Р(A,bj).

Энтропии будем рассчитывать по формулам: ,. Запрограммируем эти выражения в пакете Mathcad:


f) Определить полные условные энтропии H(A/B), H(B/A).

Полные условные энтропии будем рассчитывать по формулам: , . Запрограммируем эти формулы в пакете Mathcad:



g) Определить взаимную энтропию H(A,B):

Формула для определения взаимной энтропии имеет следующий вид: . Запрограммируем её в пакете Mathcad:

h) Найтиколичество информации на выходе канала связи I(A,B).

Найти количество информации на выходе канала будет рассчитываться по формулам:
, где H(A) и H(B) энтропия источника и энтропия приёмника соответственно. , . Запрограммируем эти формулы в пакете Mathcad:



i) Найти пропускную способность канала Cn (τ любое).
Пропускная способность канала ищется по формуле: ....
tracking img