4.4: Ентропія та інформація

Last updated
Save as PDF

Page ID: 20764

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

Ентропія Гіббса

Для системи з лічильною кількістю мікростанів ансамбль ентропія може бути визначена зваженою сумою над ентропіями всіх мікростанів, які, в свою чергу\(-k_\mathrm{B} \ln P_i\), виражені як, що аналогічно визначенню ентропії Больцмана для макростану.

\[S = -k_\mathrm{B} \sum_i P_i \ln P_i \ .\]

Це визначення ентропії Гіббса, в той час як ентропія Больцмана присвоюється окремому мікростану. Зауважте, що ми використовували капітал,\(S\) оскільки ентропія Гіббса - це молекулярна ентропія. Використовуючи рівняння\ ref {EQ:Boltzmann_distribution}, отримано для ентропії системи\(s = N S\),

\[\begin{align} s & = -k_\mathrm{B} N \sum_i P_i \left( -\frac{\epsilon_i}{k_\mathrm{B} T} - \ln Z \right) \\ & = \frac{u}{T} + k_B \ln z \ , \label{eq:Gibbs_system_entropy}\end{align}\]

де ми припустили помітні частинки, так що\(\ln z = N \ln Z\). Ми відновили Equation\ ref {eq:s_from_z}, що ми отримали для ентропії системи, починаючи з ентропії Больцмана і припускаючи канонічний ансамбль. Для канонічного ансамблю помітних частинок може використовуватися будь-яка концепція. Як зазначалося вище, ентропія Гіббса призводить до парадоксу позитивної змішувальної ентропії для поєднання двох підсистем, складених одним і тим же ідеальним газом. Більш загально, ентропія Гіббса не велика, якщо частинки не відрізняються. Задача може бути вирішена шляхом перевизначення функції системного розділу, як у Equation\ ref {eq:z_indist}.

Ця проблема говорить про те, що ентропія пов'язана з інформацією, яку ми маємо в системі. Розглянемо змішування\(\ce{^{13}CO2}\) з\(^{12}\mathrm{CO}_2\). ¹⁵ У той час, коли ядерні ізотопи були невідомі, два гази не можна було розрізнити, а змішувальна ентропія була нульовою. За допомогою досить чутливого спектрометра ми можемо сьогодні спостерігати процес змішування\(^{13}\mathrm{C}\) ЯМР. Ми будемо спостерігати спонтанне змішування. Цілком очевидно, що змішувальна ентропія більше не дорівнює нулю.

Цей парадокс застерігає від філософського тлумачення ентропії. Ентропія - це величина, яка може бути використана для прогнозування результату фізичних експериментів. Він передбачає спостерігача і залежить від інформації, яку спостерігач має або може отримати. ¹⁶ Статистична механіка надає загальні рецепти визначення ентропії, але деталі правильного визначення залежать від експериментального контексту.

На відміну від системної ентропії, отриманої від ентропії Больцмана через канонічний ансамбль, ентропія Гіббса, в принципі, визначена для нерівноважних станів. Оскільки вона заснована на тій же концепції ймовірності, ентропія Гіббса в ізольованій системі менша для нерівноважних станів, ніж для рівноважних станів.

Ентропія фон Неймана

Поняття ентропії Гіббса для зліченної множини дискретних станів та їх ймовірностей легко поширюється на безперервний фазовий простір та густини ймовірностей. Це призводить до ентропії фон Неймана,

\[S = -k_\mathrm{B} \mathrm{Trace}\left\{ \rho \ln \rho \right\} \ , \label{eq:von_Neumann_entropy}\]

де\(\rho\) - матриця щільності. Деякі підручники з фізики не відрізняють ентропії фон Неймана від ентропії Гіббса. Ентропія фон Неймана - це константа руху, якщо ансамбль класичних систем розвивається відповідно до рівняння Ліувіля або квантова механічна система розвивається відповідно до рівняння Ліувіля - фон Неймана. Він не може описати підхід ізольованої системи до рівноваги. Зв'язок квантової механічної системи з навколишнім середовищем може бути описана стохастичним рівнянням Ліувіля

\[\frac{\partial \widehat{\rho}}{\partial t} = -\frac{i}{\hbar} \left[ \mathcal{\widehat{H}}, \widehat{\rho} \right] + \widehat{\widehat{\Gamma}} \left( \widehat{\rho} - \widehat{\rho}_\mathrm{eq} \right) \ ,\]

де\(\widehat{\widehat{\Gamma}}\) - марковський оператор і матриця\(\rho_\mathrm{eq}\) щільності при рівновазі. Це рівняння руху може описувати квантові дисипативні системи, тобто підхід до рівноваги, не спираючись явно на поняття ентропії, крім обчислень\(\rho_\mathrm{eq}\), який спирається на узагальнення розподілу Больцмана (див. Розділ [підрозділ: q_partition]). Однак для виведення марківського оператора повинні бути зроблені\(\widehat{\widehat{\Gamma}}\) явні припущення щодо зв'язку між квантово-механічною системою та її середовищем, що виходить за рамки цього лекційного курсу.

Ентропія Шеннона

Поняття ентропії також було введено в теорію інформації. Для будь-якого дискретного випадкового числа, яке може приймати значення\(a_j\) з ймовірностями\(P(a_j)\), ентропія Шеннона визначається як

\[H_\mathrm{Shannon}\left( a \right) = -\sum_j P(a_j) \log_2 P(a_j) \ .\]

Тут використовується логарифм до основи 2, оскільки інформація передбачається закодованою двійковими числами. На відміну від дискретних станів у статистичній механіці, подія може бути у множині, але все ж мати ймовірність\(P(a_j) = 0\). У таких випадках\(P(a_j) \log_2 P(a_j)\) встановлюється нуль. Ентропія Шеннона тим більша, чим «більш випадковим» розподіл, або, точніше, тим ближче розподіл до рівномірного розподілу. Інформація розглядається як відхилення від випадкового потоку чисел або символів. Чим вище інформативність, тим нижче ентропія.

Ентропія Шеннона може бути пов'язана зі зниженою ентропією Гіббса\(\sigma = S/k_\mathrm{B}\). Саме кількість інформації Шеннона потрібно для зазначення мікростану системи, якщо відомий макростан. При вираженні двійковим логарифмом ця кількість інформації Шеннона вказує кількість запитань «так/ні», на які потрібно було б відповісти, щоб вказати мікростан. Зауважимо, що саме такий тип експерименту передбачається у другому постулаті Пенроуза (Розділ [PenRose_postulates]). Чим більше мікростанів узгоджується з спостережуваним макростаном, тим більше це число питань і тим більше ентропія Шеннона і Гіббса. Поняття застосовується як до нерівноважних станів, так і до рівноважних станів. Звідси випливає, що було заявлено раніше Шенноном Г.Н. Льюїсом: «Приріст ентропії завжди означає втрату інформації, і нічого більше». Рівноважний стан - це макростан, якому не вистачає більшої кількості інформації про базовому мікростані.

Ми можемо додатково пов'язати замовлення з інформацією, оскільки будь-яке впорядковане розташування об'єктів містить інформацію про те, як вони впорядковані. У цьому сенсі втрата порядку - це втрата інформації, а збільшення розладу - збільшення ентропії. Посилання виникає через ймовірність, оскільки загальна кількість домовленостей набагато більше, ніж кількість домовленостей, які відповідають певному принципу замовлення. Проте асоціація ентропії з розладом є лише розмовною, оскільки в більшості випадків ми не маємо кількісних описів порядку.