КР "Основы теории информации

  • 02 апр. 2012 г.
  • 772 Слова
ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
(РОСОБРАЗОВАНИЕ)
ПЕНЗЕНСКАЯ ГОСУДАРСТВЕННАЯ ТЕХНОЛОГИЧЕСКАЯ АКАДЕМИЯ
Институт промышленной экономики, информатики и сервиса
Кафедра информационных технологийи систем
Основы теории информации

Контрольная работа

ПОЯСНИТЕЛЬНАЯ ЗАПИСКА
ПГТА 3.100101.08.ПЗ

Выполнил: студент группы 09СИ
Миронов А.И.
Руководитель: ст. преподаватель кафедры «ИТС»Пискаев К.Ю.
Работа защищена с оценкой:

Пенза 2012 г.
1. Определить среднее количество информации, содержащееся в сообщении, используемом три независимых символа S1, S2, S3. Известны вероятностипоявления символов p(S1)=p1, p(S2)=p2, p(S3)=p3. Оценить избыточность сообщения.
Таблица1. Исходные данные
P1 | 0.2 |
P2 | 0.3 |
P3 | 0.5 |
Вероятность появления каждого символа в сообщении задана.Собственную информацию каждого символа в сообщении можно вычислить по формулам, приведенным в методическом пособии:

Реализовать в среде Matlab следующей программой
% цикл вычисления вычислениясобственной информации каждого символа в сообщении MSG
for j=1:N;
I(j)= -log2(P(j));
end
I
где, объем алфавита N.
Максимальную энтропию источника, достижимую в случае равномерного распределения символовв сообщении можно вычислить по формулам, приведенным в методическом пособии:

где объем алфавита К.
Реализовать в среде Matlab следующей программой
%Вычисление максимальной энтропии
Hmax=log2(N);Hmax
Реальную энтропию источника можно вычислить по формулам, приведенным в методическом пособии:

Реализовать в среде Matlab следующей программой
% цикл вычисления реального значения энтропииисточника
H0 = -P(1)*log2(P(1));
for j=2:N;
H0=-P(j)*log2(P(j))+H0;
end
H0
Абсолютную и относительную избыточность сообщения можно вычислить по формулам, приведенным в методическомпособии:

Реализовать в среде Matlab следующей программой
% вычисление абсолютного значения избыточности источника
R0 = Hmax -H0;
R0
% вычисление относительного значения...
tracking img