3.4: Двонаправлена збудлива динаміка та атрактори

Last updated
Save as PDF

Page ID: 72415

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

Потік збудження через кілька шарів неокортекса може зробити нас розумними, але потік зворотного зв'язку збудження в протилежному напрямку - це те, що робить нас надійними, гнучкими та адаптивними. Без цього шляху зворотного зв'язку система може реагувати лише на основі того, що відбувається, щоб найсильніше керувати системою в прямому, знизу-вгору потоці інформації. Але часто наше перше враження виявляється неправильним, або, принаймні, неповним. У прикладі «пошуку друга» із вступу ми можемо не отримати достатньо детальної інформації від сканування натовпу, щоб керувати відповідним поданням людини. Потік активації зверху вниз може допомогти зосередити нас на відповідній інформації про сприйняття, яку ми можемо помітити (наприклад, червоне пальто). Оскільки ця інформація взаємодіє з інформацією знизу вгору, коли ми скануємо натовп, наш мозок раптово сходиться на правильній відповіді: Там мій друг, у червоному пальто!

Малюнок\(3.14\): Ілюстрація динаміки атрактора, з точки зору «гравітаційної свердловини». У знайомих гравітаційних колодязях, які всмоктують монети в музеях науки, стан атрактора - це придонний отвір в колодязі, де монета неминуче закінчується. Ця ж динаміка може працювати в більш абстрактних випадках всередині двонаправлено з'єднаних мереж. Наприклад, осі x і y на цій діаграмі можуть представляти діяльність двох різних нейронів, а стан атрактора вказує на те, що мережеве з'єднання воліє мати нейрон x високоактивний, тоді як нейрон y слабо активний. Басейн атрактора вказує на те, що незалежно від того, в якій конфігурації активацій починаються ці два нейрони, вони опиниться в такому ж загальному стані атрактора.

Загальний процес сходження на хорошому внутрішньому поданні з урахуванням галасливого, слабкого або інакше неоднозначного введення можна підсумувати з точки зору динаміки атрактора (рис. 3.14). Атрактор - це концепція теорії динамічних систем, що представляє стабільну конфігурацію, до якої динамічна система буде тяжіти. Знайомим прикладом динаміки атракторів є монетний гравітаційний колодязь, часто зустрічається в музеях науки. Ви катаєте свою монету вниз прорізом у верхній частині пристрою, і вона розгортається навколо обідка перевернутого дзвоном «гравітаційного колодязя». Він продовжує обертатися навколо центрального отвору цього колодязя, але кожен оборот наближає його до стану «атрактора» посередині. Незалежно від того, де ви починаєте свою монету, вона завжди буде засмоктується в одному кінцевому стані. Це ключова ідея атрактора: багато різних входів всмоктуються в один і той же кінцевий стан. Якщо динаміка атрактора успішна, то цей кінцевий стан має бути правильною категоризацією вхідного шаблону.

Малюнок\(3.15\): Відомий приклад зображення, яке є дуже неоднозначним, але ми можемо з'ясувати, що відбувається, якщо надано відповідний сигнал високого рівня, наприклад, «далматинець». Цей процес знань «зверху вниз», що допомагає вирішити неоднозначність знизу вгору, є чудовим прикладом двонаправленої обробки.

Існує багато різних випадків, коли двонаправлена збудлива динаміка очевидна:

Зображення зверху вниз - я можу попросити вас уявити, як виглядає фіолетовий бегемот, і ви, мабуть, можете зробити це досить добре, навіть якщо ви ніколи не бачили його раніше. За допомогою збудливих зв'язків зверху вниз словесні входи високого рівня можуть керувати відповідними візуальними уявленнями. Наприклад, уявляючи розташування різних речей у вашому домі чи квартирі, призводить до того, що час реакції відображає фактичні просторові відстані між цими об'єктами - ми, здається, використовуємо реальне просторове/візуальне зображення в наших зображеннях. (Див Образні дебати для короткого обговорення тривалої дискусії в літературі на цю тему).
Дозвіл двозначності зверху вниз - Багато стимулів неоднозначні без подальших обмежень зверху вниз. Наприклад, якщо ви ніколи раніше не бачили малюнок 3.15, ви, ймовірно, не зможете знайти в ньому далматинську собаку. Але тепер, коли ви прочитали цю підказку, ваші смислові знання зверху вниз про те, як виглядає далматин, можуть допомогти динаміці атрактора сходитися на узгодженому погляді на сцену.
Завершення шаблону - Якщо я запитаю вас «що у вас було на вечерю вчора ввечері», цей частковий вхідний сигнал може частково порушити відповідне уявлення пам'яті у вашому мозку (ймовірно, у гіпокампі), але вам потрібна двонаправлена збудлива динаміка, щоб дозволити цьому частковому збудженню реверберувати через схеми пам'яті і заповнити відсутні частини повного сліду пам'яті. Цей ревербераторний процес подібний до монети, що обертається навколо гравітації добре - різні нейрони активуються та гальмуються, оскільки система «орбітує» навколо правильного сліду пам'яті, врешті-решт сходяться на повному правильному сліді пам'яті (чи ні!). Іноді, в так званих станах кінчика язика, пам'ять, яку ви намагаєтеся отримати, просто поза досяжністю, і система не може повністю зійтися в стані атрактора. Людина, що може бути засмучує! Зазвичай ви намагаєтеся все, щоб потрапити в цей кінцевий атрактор. Ми не любимо перебувати в невирішеному стані дуже довго.

Енергія та гармонія

Існує математичний спосіб захоплення чогось типу вертикальної осі в фігурі атрактора (рис. 3.14), яка у фізичному плані гравітаційної ями є потенційною енергією. Можливо, не дивно, що цей захід називають енергією і її розробив фізик на ім'я Джон Хопфілд. Він показав, що локальне оновлення станів активації одиниць закінчується зменшенням глобальної енергетичної міри, набагато так само, як локальний рух монети в гравітаційній свердловині зменшує її загальну потенційну енергію. Інший фізик, Павло Смоленський, розробив альтернативні рамки зі знаком зворотного, де локальне оновлення станів активації одиниць збільшує глобальну Гармонію. Звучить приємно, чи не так? Щоб побачити математичні подробиці, див. Енергія та Гармонія. Нам насправді не потрібні ці рівняння для запуску наших моделей, і основна інтуїція того, що вони нам кажуть, захоплена поняттям атрактора, тому ми більше не будемо витрачати час на цю ідею в цій головній главі.

Розвідки

Див. розділ Категоризація осіб (Частина II) для вивчення того, як взаємодіє обробка зверху вниз та знизу вгору, щоб створити зображення та допомогти вирішити неоднозначні вхідні дані (частково оклюзовані обличчя). Ці додаткові моделювання забезпечують подальшу розробку двонаправлених обчислень:

Коти і Собаки — цікавий приклад динаміки атракторів у простій семантичній мережі.
Necker Cube — ще один цікавий приклад динаміки атрактора, показуючи також важливу роль шуму та нервової втоми.