10.03: Обчислювальна модель PBWM

Малюнок\(10.11\): Компоненти моделі PBWM, засновані на біологічних зв'язках та функціях PFC (робастне активне підтримання інформації, що відповідає задачам), базальних гангліїв (BG, динамічне стрибування активного обслуговування PFC) та PVLV (фазові дофамінові сигнали для навчання BG gating. Кожна спеціалізована робота, у взаємодії, виробляє здатну загальну систему виконавчих функцій, після достатнього досвіду навчання.

Біологічні властивості системи PFC/BG, які ми розглянули вище, фіксуються в обчислювальній моделі під назвою PBWM (робоча пам'ять базальних гангліїв префронтальної кори) (O'Reilly & Frank, 2006; Hazy et al 2006, 2007) (Малюнок 10.11). Нейрони PFC в цій моделі організовані в роздільно-оновлювані смуги, а також в окремі функціональні групи підтримки і виведення стробирования (докладніше описано нижче). Крім того, кожна смуга PFC представлена з точки зору поверхневих шарів (2,3) та глибоких шарів (5,6) - нейрони глибокого шару спеціально мають здатність підтримувати стрільбу з часом через різні механізми, представляючи ефекти каналів NMDA та mGlur та збудливих петель через таламус. Потік активації від поверхневих до глибоких шарів даної смуги PFC залежить від сигналів стробирования BG, причому шари BG також організовані у відповідні смуги підтримки та виходу. Матричний шар БГ (що представляє матрисоми смуги) має окремі нейрони Go і NoGo, які проектують на комбінований шар GPi та таламуса (GPithal) з одним нейроном на смугу, який спрацьовує, якщо шлях Go досить сильніший за NoGo (цей механізм реферати подалі від детальної схеми стробирования BG за участю GPE, GPI/SNR, STN та таламуса, як змодельовано в розділі двигуна, і просто узагальнює функціональність в одному шарі GPithal). Сигнал GPithal Go оновить активації глибокого шару PFC, щоб відобразити поточні активації поверхневого шару, тоді як NoGo залишає PFC поодинці, щоб продовжувати підтримувати попередню інформацію (або взагалі нічого).

Фазова дофамінова система PVLV керує вивченням нейронів BG Go та NoGo, з позитивними сплесками DA, що призводять до полегшення Go та депресії ваг NoGo, і навпаки для провалів DA - використовуючи ті самі механізми навчання підкріплення, описані в розділі Motor.

Основна динаміка поведінки різних компонентів PBWM проілюстрована на малюнку 10.12 (Ще не створено). Мабуть, найважливішим ключем для розуміння того, як працює система, є те, що вона використовує дослідження проб і помилок різних стратегій стрибування в БГ, при цьому DA посилює ті стратегії, які пов'язані з позитивною винагородою, і караючи ті, які не є. У поточній версії моделі навчання Matrix керується виключно стрільбою дофаміну під час винагороди, і він використовує механізм відстеження на основі синаптичних тегів для посилення/покарання всіх попередніх дій, що призвели до цього дофамінергічного результату. Зокрема, коли задана матрична одиниця спрацьовує для закритої дії, синапси з активним входом встановлюють синаптичний тег, який зберігається до наступного фазового дофамінергічного результату сигналу. Широкі дослідження показали, що ці синаптичні теги, засновані на актинових волоконних мережах в синапсі, можуть зберігатися до 90 хвилин, і коли відбувається наступна сильна подія навчання, мічені синапси також сильно потенціюються (Redondo & Morris, 2011; Rudy, 2015; Бош і Хаяші, 2012). Ця форма навчання на основі слідів є дуже ефективною обчислювальною, оскільки вона не вимагає будь-яких інших механізмів, що дозволяють дізнатися про наслідки винагороди попередніх подій. У попередніх версіях моделі PBWM ми покладалися на фазовий дофамін на основі CS (умовного стимулу) для посилення стробирования, але ця схема вимагає, щоб PFC підтримувала активації функції як свого роду внутрішній сигнал CS, і щоб мигдалина навчилася декодувати ці стани активації PFC, щоб визначити, чи корисний пункт був закритий в пам'ять. Порівняно з механізмом, заснованим на трасах, цей підхід до CS-допаміну набагато складніший і схильний до помилок. Замість цього, загалом, ми припускаємо, що CS, що диск матриці навчання більше стандартного зовнішнього типу, які сигналізують про прогрес до бажаного результату, і, таким чином, підсилюють дії, які призвели до цього проміжного стану (тобто CS являє собою досягнення підмети).

Наявність декількох смуг, як правило, важлива для швидкого вивчення моделі PBWM, оскільки вона дозволяє паралельно вивчати різні стратегії стрибування, замість того, щоб мати одну смугу послідовно досліджувати всі різні такі стратегії. Поки одна смуга може вразити корисну стратегію стрибування, система може досягти успіху, і вона швидко вчиться зосереджуватися на цій корисній смузі, ігноруючи інші. Кілька смуг також мають вирішальне значення, коли під час виконання завдання потрібно підтримувати та оновлювати більше однієї інформації - справді, саме ця вимога мотивувала розробку оригінальної моделі PBWM, щоб замінити більш ранні моделі стробирования, які використовували фазові дофамінові сигнали для безпосереднього введення PFC. представлення, але не підтримували багаторазові стробирования і, отже, обмежувалися ємністю одного елемента. Одним з цікавих наслідків наявності цих множинних смуг є те, що «забобонне» стрибування може відбуватися в інших смугах - якщо це стробирование досить надійно збігається з сигналами стробирования, які насправді корисні, воно теж буде посилено. Можливо, це може пролити світло на нашу схильність до забобонності?

Вихідні ворота

Малюнок\(10.13\): Схема для ілюстрації поділу праці між технічними спеціалізованими смугами та відповідними вихідно-спеціалізованими смугами. А - підтримуюча смуга (зліва) в режимі обслуговування, з показаною кортикоталамокортикальною реверберантною активністю (червоний). Інформація з цієї смуги проектує через пірамідали шару Vb на таламічну релейну комірку для відповідної вихідної смуги, але затвор BG закритий від тонічного гальмування SNR/GPI, тому нічого не відбувається (сірий). B - Вихідний затвор відкривається через `Go'-сигнал, що генерується розгальмування виходу SNR/GPI (зелений), викликаючи вибух стрільби в комірці таламічного реле, який, в свою чергу, активує відповідне представлення коркової смуги для відповідного виходу. Проекція з пірамідальних клітин вихідної смуги Vb потім активує коркові та підкіркові дії/вихідні області, завершуючи передачу від обслуговування до виходу. МД = медіодорсальне ядро таламуса; VP/VL = вентрозадні або вентролатеральні (моторні) ядра таламуса.

Як ми бачили на малюнку 10.3, деякі нейрони PFC демонструють стрільбу періоду затримки (активне обслуговування), тоді як інші демонструють стрільбу вихідної реакції. Ці популяції, здається, не змішуються: даний нейрон зазвичай не демонструє комбінації обох типів стрільби. Це фіксується в рамках PBWM, маючи окремий набір смуг PFC, які виводяться закритими замість обслуговування закритого типу, що означає, що підтримувана інформація може підлягати подальшому стробированию, щоб визначити, чи повинна вона впливати на обробку нижче за течією (наприклад, увага або вибір реакції двигуна). Зазвичай ми використовуємо просте сполучення смуг технічного обслуговування та виходу, з прямими проекціями один до одного від технічного обслуговування до вихідних блоків PFC, але між цими смугами може бути будь-яка форма зв'язку. Вихідні одиниці PFC активуються лише тоді, коли спрацює відповідний шлях BG/GPithal Go рівня смуги. Таким чином, інформація може зберігатися в активній, але дещо «оффлайн» формі, перш ніж активно виводитися для поведінки приводу. Малюнок 10.13 ілюструє цей розподіл праці між стороною технічного обслуговування та вихідною стороною для стробирования та як може відбуватися «передача».

Для отримання додаткової інформації про PBWM, включаючи подальші міркування щодо виведення стробирования, як підтримувана інформація очищається, коли більше не потрібна (після виходу стробирования), та упередження стробирования, які можуть допомогти покращити навчання, див. PBWM подробиці Підтема, яка також включає відповідні рівняння та параметри за замовчуванням.