Навігація
Головна
 
Головна arrow Інформатика arrow Інформатика
< Попередня   ЗМІСТ   Наступна >

ЗАХОДИ ТА ОДИНИЦІ КІЛЬКОСТІ І ОБСЯГУ ІНФОРМАЦІЇ

У теорії інформації використовуються об'ємний і імовірнісний (семантичний), алгоритмічний, семантичний і аксіологічний підходи.

Об'ємний підхід

У двійковій системі числення знаки О і 1 називають бітами (від англ. "Binary digiTs" - виконавчі цифри). Віддають перевагу саме двійковій системі числення, тому що вона найпростіша для реалізації в комп'ютері і реалізується за допомогою двох протилежних фізичних станів: намагнічене / ненамагнічено, вкл. / Викл., Заряджена / незаряжено і ін.

Обсяг інформації, записаної двійковими знаками в пам'яті комп'ютера або на зовнішньому носії інформації, підраховується просто за кількістю необхідних для такого запису двійкових символів. При цьому неможливо нецілим число бітів.

Для зручності використання введені і більші, ніж біт, одиниці кількості інформації. Так, двійкове слово з восьми знаків містить один байт інформації (200 = 1 байт), 210 = = 1024 байта утворюють один кілобайт (1 Кбайт), 220 = 1024 Кбайта - один мегабайт (1 Мбайт), 230 = 1024 Мбайт - один гігабайт (1 Гбайт), а 240 = 1024 Гбайт - один терабайт (1 Тбайт). Таким чином, для десяткової системи числення є ряд 1000, 1001, 1002, 1003, 1004, а для двійковій - 200, 210, 220, 230, 240.

Імовірнісний (ентропійний) підхід

Цей підхід прийнятий в теорії інформації та кодування. Даний спосіб вимірювання виходить з наступної моделі: одержувач повідомлення має певне уявлення про можливі наступах деяких подій. Ці уявлення в загальному випадку недостовірні і виражаються можливостями, з якими він очікує ту чи іншу подію.

Ентропія - це загальна міра невизначеностей. Вона характеризується деякою математичною залежністю від сукупності ймовірностей настання цих подій.

Кількість інформації в повідомленні залежить від того, наскільки зменшилася цей захід після отримання повідомлення: чим більше ентропія системи, тим більше ступінь її невизначеності. Що поступає повідомлення повністю або частково знімає цю невизначеність, отже, кількість інформації можна вимірювати тим, наскільки знизилася ентропія системи після отримання повідомлення. За міру кількості інформації приймається та ж ентропія, але з протилежним знаком - негентропії.

Розглянемо приклад обчислення кількості інформації повідомлення про настання одного з N рівноймовірно подій. Позначимо чисельну величину, що вимірює невизначеність (ентропію), через Я. Величини N і Я пов'язані наступною функціональною залежністю:

Ця функція, очевидно, є зростаючою, неотрицательной і певною при всіх значеннях .

Позначимо через невизначеність, наявну до здійснення події, а через - невизначеність після настання події. Тоді за I - кількість інформації про результат досвіду - приймемо різниця невизначеностей до і після досвіду:

У разі коли отриманий конкретний результат, що була невизначеність знята (так як ). Таким чином, кількість отриманої інформації збігається з початковою ентропією. Невизначеність, укладена в досвіді, збігається з інформацією про результат цього досвіду.

Визначимо функцію . Варіюватимемо N (число можливих результатів) і М (число дослідів). Загальна кількість випадків

Кожен результат - деякий вектор довжини М, що складається із знаків .

Ситуацію з проведенням М дослідів можна розглядати як якусь складну систему, що складається з незалежних один від одного підсистем - одноразових дослідів. Ентропія такої системи в М разів більше, ніж ентропія однієї системи (так званий принцип адитивності ентропії):

Прологаріфміруем ліву і праву частини рівності :

Підставивши отримане для М значення в рівність , запишемо:

Позначивши позитивну константу , отримаємо наступну формулу:

Таким чином, . Зазвичай приймають , тоді

Отримана формула називається формулою Хартлі.

Важливим при введенні будь-якої величини є питання про те, що приймати за одиницю її виміру. Очевидно, Н буде дорівнює одиниці при . Інакше кажучи, в якості одиниці приймається кількість інформації, пов'язане з проведенням досвіду, що складається в отриманні одного з двох рівноймовірно результатів (наприклад, кидання монети). Така одиниця кількості інформації називається бітом.

Все N результатів розглянутого досвіду є рівноімовірними, і тому можна вважати, що на "частку" кожного результату доводиться одна N- я частина загальної невизначеності досвіду:

При цьому ймовірність його результату дорівнює 'Таким чином:

Ця ж (остання) формула приймається за міру ентропії в разі, коли ймовірності різних результатів досвіду неравновероятни, тобто значення можуть відрізнятися. Ця формула називається формулою Шеннона.

Коефіцієнтом інформативності ( лаконічністю ) повідомлення називають співвідношення кількості інформації до обсягу даних:

причому 0 < Y < 1, а під обсягом даних Vд в повідомленні розуміють число символів в цьому повідомленні (тобто те саме, що і під бітом при об'ємному підході).

 
Якщо Ви помітили помилку в тексті позначте слово та натисніть Shift + Enter
< Попередня   ЗМІСТ   Наступна >
 
Дисципліни
Агропромисловість
Аудит та Бухоблік
Банківська справа
БЖД
Географія
Документознавство
Екологія
Економіка
Етика та Естетика
Журналістика
Інвестування
Інформатика
Історія
Культурологія
Література
Логіка
Логістика
Маркетинг
Медицина
Нерухомість
Менеджмент
Педагогіка
Політологія
Політекономія
Право
Природознавство
Психологія
Релігієзнавство
Риторика
Соціологія
Статистика
Техніка
Страхова справа
Товарознавство
Туризм
Філософія
Фінанси
Пошук