ІМОВІРНІСНІ МЕТОДИ

Події, які можуть як статися, так і немає, називаються випадковими. Імовірність р є кількісною мірою можливості появи події і оцінює ступінь його випадковості, невизначеності.

Значення ймовірності укладені в інтервалі від нуля до одиниці: . Значення р = 0 відноситься до неможливого події, значення p = 1 - до події, яка обов'язково має відбутися, тобто до невипадковим подіям.

Оцінка кількості інформації для рівно можливих подій

Імовірність появи події , що належить безлічі рівно можливих подій, визначається виразом

(1.1)

де - число подій.

Наприклад, при киданні 6-гранного куба (N = 6), виконаного з однорідного матеріалу, випадання тієї чи іншої його грані є рівноможливими подією А п з шести подій . Безліч з шести подій становить повну групу , тобто при киданні куба завжди відбувається будь-яка подія А п. Крім того, події є несумісними, так як при випробуванні не може відбутися два і більше подій одночасно. Тому ймовірність події (випадання будь-якої межі при киданні) дорівнює

Для несумісних подій, що становлять повний простір,

З формули (1.1) випливає, що чим більше число N рівно можливих подій, тим менше ймовірність і більше ступінь невизначеності появи події Тому для оцінки ступеня невизначеності появи події , яка визначає кількість інформації, обрана логарифмічна функція з основою а:

(1.2)

Доцільність вибору заходів (1.2) обумовлена тим, що при N = 1 степеньнеопределенності , ймовірність появи події дорівнює р п = 1; при ступінь невизначеності , ймовірність появи події дорівнює ).

Так як між логарифмами з підставами а й b існує зв'язок де , то й між значеннями невизначеності при різних підставах також існує зв'язок, обумовлена постійним множником М. Наприклад, при підставах 10 і 2 значення невизначеності пов'язані співвідношенням , так як . В інформатиці використовуються логарифми по підставі 2 (log2 N). У цьому випадку ступінь невизначеності Н п виражається в бітах. Повідомлення, що зменшує невизначеність знань в два рази, несе 1 біт інформації.

Вираз (1.2) застосовується для оцінки кількості так званої власної, або індивідуальної, інформації, яку одержують шляхом зняття вихідної невизначеності в результаті події, що сталася. Використовуючи вирази (1.1), (1.2), висловимо кількість інформації через ймовірності:

(1.3)

Співвідношення (1.2) і (1.3) за умови (1.1) називають мірою Хартлі, яка дає оцінку кількості інформації для рівно можливих подій.

 
< Попер   ЗМІСТ   Наст >