Skip to main content
LibreTexts - Ukrayinska

1: Біти

  1. Last updated
  2. Save as PDF
  • Page ID
    29816

    • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

    Інформація вимірюється в бітах, так само, як довжина вимірюється в метрах, а час вимірюється в секундах. Звичайно, знання кількості інформації в бітах - це не те саме, що знати саму інформацію, що вона означає або що вона має на увазі. У цих примітках ми не будемо розглядати зміст або значення інформації, а лише кількість.

    Різні шкали довжини потрібні в різних обставин. Іноді ми хочемо виміряти довжину в кілометрах, іноді в дюймах, а іноді і в Ångströms. Аналогічно, іноді використовуються інші шкали для інформації крім бітів; в контексті фізичних систем інформація часто вимірюється в джоулів на Кельвін.

    Як проводиться кількісна оцінка інформації? Розглянемо ситуацію або експеримент, який може мати будь-який з декількох можливих результатів. Прикладами може бути перегортання монети (2 результату, орел або решка) або вибір карти з колоди гральних карт (52 можливі результати). Наскільки компактно одна людина (за умовністю часто іменується Алісою) розповісти іншій людині (Боб) результат такого експерименту або спостереження?

    Спочатку розглянемо випадок двох результатів перегортання монети, і давайте припустимо, що вони однаково вірогідні. Якщо Аліса хоче сказати Бобу результат кидання монети, вона може використовувати кілька можливих прийомів, але всі вони еквівалентні, з точки зору кількості переданої інформації, щоб сказати або «голови» або «хвости», або сказати 0 або 1. Ми говоримо, що передана таким чином інформація - це один біт.

    Якщо Аліса перевернула дві монети, вона могла б сказати, який з чотирьох можливих результатів насправді трапився, сказавши 0 або 1 двічі. Аналогічно, результат експерименту з вісьмома однаково ймовірними результатами може бути переданий трьома бітами, а загалом 2n результатів з n бітами. Таким чином, обсяг інформації - це логарифм (до основи 2) числа однаково ймовірних результатів.

    Зверніть увагу, що передача інформації вимагає двох етапів. По-перше, фаза «налаштування», в якій Аліса і Боб домовляються про те, про що вони будуть спілкуватися, і що саме означає кожна послідовність бітів. Це загальне розуміння називається кодом. Наприклад, щоб передати масть карти, обраної з колоди, їх код може бути таким, що 00 означає клуби, 01 діаманти, 10 сердець і 11 пік. Узгодження коду може бути зроблено до того, як будуть зроблені будь-які спостереження, тому ще немає ніякої інформації для надсилання. Фаза налаштування може включати інформування одержувача про наявність нової інформації. Потім існує фаза «результат», де надсилаються фактичні послідовності 0 та 1, що представляють результати. Ці послідовності є даними. Використовуючи узгоджений код, Аліса витягує карту і повідомляє Бобу масть, надіславши два біти даних. Вона могла робити це неодноразово для декількох експериментів, використовуючи один і той же код.

    Після того, як Боб знає, що карта намальована, але перш ніж отримати повідомлення Аліси, він не впевнений щодо масті. Його невизначеність, або відсутність інформації, може виражатися в бітах. Почувши результат, його невпевненість зменшується отриманою ним інформацією. Невизначеність Боба підвищується під час фази налаштування, а потім зменшується під час фази результату.

    Зверніть увагу на деякі важливі речі щодо інформації, деякі з яких проілюстровані в цьому прикладі:

    • Інформацію можна дізнатися за допомогою спостереження, експерименту або вимірювання
    • Інформація суб'єктивна, або «залежна від спостерігача». Те, що знає Аліса, відрізняється від того, що знає Боб (якби інформація не була суб'єктивною, не було б необхідності її повідомляти)
    • Невизначеність людини може бути збільшена, дізнавшись, що існує спостереження про те, яка інформація може бути доступна, а потім може бути зменшена, отримавши цю інформацію
    • Інформація може бути втрачена, як через втрату самих даних, так і через втрату коду
    • Фізична форма інформації локалізується в просторі і часі. Як наслідок, — Інформація може бути відправлена з одного місця в інше — Інформація може зберігатися, а потім витягуватися пізніше