Skip to main content
LibreTexts - Ukrayinska

8.2: Принцип максимальної ентропії - проста форма

  1. Last updated
  2. Save as PDF
  • Page ID
    30056

    • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

    В останньому розділі ми розглянули одну методику оцінки вхідних ймовірностей процесу, враховуючи, що вихідна подія відома. Ця методика, яка спирається на використання теореми Байєса, працює лише в тому випадку, якщо процес є без втрат (у цьому випадку вхід можна ідентифікувати з упевненістю) або передбачається початковий розподіл вхідних ймовірностей (у цьому випадку він уточнюється, щоб врахувати відомий вихід).

    Принцип максимальної ентропії - це техніка, яка може бути використана для оцінки вхідних ймовірностей в цілому. Результатом є розподіл ймовірностей, який узгоджується з відомими обмеженнями, вираженими в терміні середніх, або очікуваних значень, однієї або декількох величин, але в іншому випадку є максимально неупередженим (слово «упередженість» тут використовується не в технічному сенсі статистики, а повсякденному сенсі переваги що гальмує неупереджене судження). Цей принцип описаний спочатку для простого випадку одного обмеження та трьох вхідних подій, і в цьому випадку методика може бути здійснена аналітично. Тоді це описано більш загально в Главі 9.

    Цей принцип має застосування у багатьох областях, але спочатку був мотивований статистичною фізикою, яка намагається пов'язати макроскопічні, вимірювані властивості фізичних систем з описом на атомному або молекулярному рівні. Він може бути використаний для наближення до фізичних систем з точки зору теорії інформації, оскільки розподіли ймовірностей можна вивести, уникаючи припущення, що спостерігач має більше інформації, ніж насправді є. Теорія інформації, зокрема визначення інформації з точки зору розподілу ймовірностей, забезпечує кількісний показник незнання (або невизначеності, або ентропії), який можна максимізувати математично, щоб знайти розподіл ймовірностей, який найкраще уникає непотрібних припущень.

    Цей підхід до статистичної фізики був першопрохідцем Едвін Т. Джейнс (1922—1998), професор Вашингтонського університету в Сент-Луїсі, а раніше Стенфордського університету. Насіннєве видання було

    Інші посилання, що цікавлять Джейнс, включають:

    • продовження цієї статті, Е.Т. Джейнс, «Теорія інформації та статистична механіка. II,» Фізичний огляд, т. 108, ні. 2, с. 171-190; жовтень 15, 1957. (http://bayes.wustl.edu/etj/articles/theory.1.pdf)
    • оглядовий документ, в тому числі приклад оцінки ймовірності несправедливої смерті, E.T. Jaynes, «Теорія інформації та статистична механіка», стор. 181-218 в» Статистична фізика,» Brandeis Summer Institute 1962, W. A. Benjamin, Inc., Нью-Йорк; 1963. (http://bayes.wustl.edu/etj/articles/brandeis.pdf)
    • особиста історія підходу, Едвін Джейн, «Де ми стоїмо на максимальній ентропії? ,» pp. 15-118, в «Максимальний формалізм ентропії», Рафаель Левін і Майрон Трібус, редактори, The MIT Press, Кембридж, Массачусетс; 1979. (http://bayes.wustl.edu/etj/articles/...on.entropy.pdf)

    Філософія припущення максимальної невизначеності як підходу до термодинаміки обговорюється в

    • Глава 3 М. Трибус, «Термостатика і термодинаміка», D. Van Nostrand Co, Inc., Прінстон, штат Нью-Джерсі; 1961.

    Перш ніж принцип максимальної ентропії може бути використаний, необхідно налаштувати проблемну область. У випадках, пов'язаних з фізичними системами, це означає, що потрібно ідентифікувати різні стани, в яких може існувати система, і всі параметри, що беруть участь в обмеженнях, відомі. Наприклад, енергія, електричний заряд та інші величини, пов'язані з кожним із станів, приймаються відомими. Часто для цього завдання потрібна квантова механіка. На цьому кроці не передбачається, в якій конкретній державі знаходиться система (або, як часто виражається, яка держава насправді «зайнята»); дійсно передбачається, що ми не знаємо і не можемо знати цього з певністю, і тому ми маємо справу натомість з ймовірністю окупації кожної з держав. Таким чином, ми використовуємо ймовірність як засіб подолання нашої відсутності повних знань. Природно, ми хочемо уникнути ненавмисного припущення більше знань, ніж ми насправді маємо, і Принцип максимальної ентропії є технікою для цього. У застосуванні до нефізичних систем, різні події (можливі результати) повинні бути ідентифіковані разом з різними числовими властивостями, пов'язаними з кожною з подій. У цих примітках ми виведемо просту форму Принципу максимальної ентропії та застосуємо його до прикладу ресторану, встановленого в розділі 8.1.3.