10.2: Біологія PFC/BG та дофаміну, що підтримує надійне активне обслуговування

Рисунок\(10.1\): Схема функціональних зв'язків та зв'язності фазових дофамінових сигналів PFC, BG та SnC стосовно основного циклу між сенсорним входом та виходом двигуна. PFC забезпечує контекст зверху вниз та контроль над задніми шляхами обробки корки, щоб переконатися, що поведінка є відповідною задачею та контекстом. BG надає знешкоджуючий вплив стробирования на PFC, перемикаючись між надійним обслуговуванням та швидким оновленням. SnC (substantia nigra pars compacta) демонструє фазовий дофамін (DA) стрілянину для керування навчанням та модуляцією схем BG, тим самим навчаючи сигнали стробирования BG у відповідь на вимоги завдання (зовнішні сигнали винагороди).

Загальна зв'язність областей, особливо важливих для виконавчої функції, показана на малюнку 10.1, стосовно сенсорної та рухової обробки, пов'язаної із задньою корою (скроневою, тім'яною та потиличною частками) та руховою лобовою корою (тобто, лобовою корою задньої префронтальна кора). PFC взаємопов'язаний з асоціацією вищого рівня коркових областей в задній корі, де кодується високо оброблена та абстрактна інформація про сенсорний світ. Він також з'єднується з областями управління двигуном вищого рівня (премоторна кора, додаткові рухові зони), які координують сигнали управління двигуном нижчого рівня для виконання послідовностей координованих виходів двигуна. З цією схемою зв'язку, PFC знаходиться в змозі як отримувати від, так і впливати на обробку, що відбувається в задній і руховій корі.

Малюнок\(10.2\): Паралельні схеми через базальні ганглії для різних областей фронтальної кори - кожна область фронтальної кори має відповідний ланцюг базальних гангліїв, для контролю виділення/ініціації дії в цій фронтальній області. Моторна петля: SMA = додаткова рухова область - асоційована смуга (путамен) також отримує від премоторної кори (PM), а первинний моторний (M1) та соматосенсорний (S1) області - все необхідне для правильної контекстуалізації рухових дій. Окорухова петля: FEF = фронтальні поля очей, також отримує від дорсолатерального PFC (DLPFC) та задньої тім'яної кори (PPC) - відповідний контекст для програмування рухів очей. Префронтальна петля: DLPFC також контролюється задньою тім'яною корою та премоторною корою. Орбітофронтальна петля: OFC = орбітофронтальна кора, також отримує від інфероскроневої кори (ІТ), і передньої поясної кори (АСС). Конгулатна петля: АЦК також модулюється гіпокампом (HIP), енторинальною корою (EC) та ІТ.

Базальні ганглії (БГ), що складається головним чином з смугастого (хвостатий, путамен, ядро accumbens), globus pallidus та субталамічного ядра, щільно взаємопов'язаний з ПФК за допомогою специфічних ядер таламуса Малюс. 10.2. Як детально описано в Моторному контролі та підкріпленні навчання, БГ забезпечує динамічний, адаптивний вплив стробирования на фронтальну кору, дезінгібуючи збудливу петлю між ПФК та таламусом. У контексті ПФК це стрибирующее вплив контролює оновлення інформації, яка активно підтримується в ПФЦ, використовуючи ті ж механізми, які контролюють ініціювання рухових дій в контексті управління двигуном. Крім того, проекції зверху вниз від PFC до субталамічного ядра підтримують тип гальмівного контролю над поведінкою шляхом виявлення умов, при яких постійний вибір дії повинен бути зупинений або перемиканий, і запобігаючи решті схеми БГ від стрибування запланованої рухової дії.

Останній основний компонент виконавчої системи управління складається з substantia nigra pars compacta (SnC) та декількох інших пов'язаних з ним областей мозку, які разом керують фазовою дофаміновою нейромодуляцією БГ, що призводить до підкріплення навчання його стрічкових дій. Ця система, узагальнена обчислювально з використанням моделі PVLV, як описано в розділі Навчання управління двигуном та підкріпленню, взаємодіє з активним підтриманням інформації в PFC, щоб мати можливість посилити стробирующий сигнал у БГ, що призводить до подальшої хорошої продуктивності та винагороди пізніше. Ця властивість подорожі у часі фазового навчання підсилення DA має важливе значення для навчання системи, яка підтримує інформацію з плином часу.

У наступних підрозділах ми узагальнюємо біологічні властивості кожної з цих систем і їх відповідність виконавчій функції. Модель робочої пам'яті базальних гангліїв префронтальної кори (PBWM) потім інтегрує всі ці елементи у функціонуючу обчислювальну модель, яка може виконувати складні завдання виконавчої функції, як ми досліджуємо в решті глави.

Надійне активне технічне обслуговування в PFC

Малюнок 2.

Здатність нейронів PFC проявляти стійку активну стрільбу через затримки, як спочатку виявлено (Fuster & Alexander,1971; Kubota & Niki, 1971), показана на малюнку 10.3 панелі B («Нейрон із сигналом затримки»), в контексті завдання затримки сакадування, описаного у вступі. Інші підмножини нейронів PFC також демонструють інші моделі стрільби, такі як тимчасова реакція на візуальні входи (панель C) та ініціювання рухів (панель D). Ця диференціація моделей нейронних реакцій у PFC має важливі функціональні наслідки, які ми фіксуємо в моделі PBWM, описаній пізніше.

Малюнок\(10.4\): Два типи реверберантних петель можуть підтримувати активно підтримувані уявлення в кортикальній тканині: 1) Кортикокортикальні взаємозв'язки між пірамідними нейронами в межах однієї смуги PFC (горизонтальні сині стрілки); 2) Таламокортикальні зв'язки між PFC та таламічними релейними клітинами (TRC) ( вертикальні сині стрілки). Обидва використовують взаємно допоміжне повторне збудження плюс внутрішні струми технічного обслуговування (NMDAR; MGlurs).

Існує два основних біологічних механізми, які дозволяють нейронам PFC демонструвати стійку активну стрільбу з часом:

• Рецидивна збудлива зв'язок: Популяції нейронів ПФК мають сильні збудливі взаємозв'язки (рис. 10.4), такі, що нейронний стрільба реверберує взад-вперед серед цих взаємопов'язаних нейронів, що призводить до стійкої активної стрільби. Існує два типи таких зв'язків: 1) кортикокортикальна петля між пірамідними клітинами в тій же смузі PFC і; 2) кортикоталамокортикальна петля між пірамідними клітинами пластинки VI в PFC і таламічними релейними клітинами, які проектують на цю конкретну групу клітин.

• Внутрішні збудливі струми підтримки: У синапсах, утворених обома рецидивуючими петлями збудження, є рецептори NMDA та метаботропного глутамату (mGlur), які, відкрившись високочастотною активністю, забезпечують більш тривале часове вікно підвищеної збудливості, щоб зберегти реверберантний активність відбувається. Нагадаємо з навчального розділу, що канал NMDA вимагає, щоб нейрон був достатньо деполяризований, щоб видалити іони Mg+ (магнію), які в іншому випадку блокують канал. Цей залежний від активності характер каналу NMDA робить його ідеально придатним для забезпечення «комутованої» або динамічно закритої форми активного обслуговування - лише ті нейрони, які вже були достатньо активовані, виграють від підвищеного збудження, що забезпечується цими каналами NMDA. Це забезпечує «гачок» для системи базальних гангліїв для управління активним обслуговуванням: коли нейрони таламуса розгальмовуються за допомогою BG gating дії, наступний сплеск активності дозволяє підмножині нейронів PFC подолати свої пороги блоку NMDA Mg+і тим самим продовжувати стріляти з часом.

Функціональна спеціалізація в областях PFC

Механізми надійного активного обслуговування існують у PFC, але різні сфери PFC були пов'язані з різним внеском у загальну виконавчу функцію. Пізніше в цьому розділі ми вивчимо ідею, що ці різні функціональні внески можна пояснити з точки зору відмінностей у зв'язці цих областей PFC з іншими частинами мозку, в контексті уніфікуючої структури, що всі області PFC поділяють надійне активне обслуговування як критичне особливість.

Малюнок\(10.5\): Числа Бродмана для областей префронтальної кори, кожна з яких була пов'язана з різною сумішшю виконавчих функцій. Репродуковано з Fuster, 2001.

Анатомічно лобові частки складають ті коркові області, що передні до центральної борозни. Безпосередньо перед центральною борозною і, отже, найбільш ззаду у фронтальній корі, знаходиться первинна моторна кора (M1), яка найбільш помітно видно на латеральній поверхні, але простягається по всій спинній поверхні і на медіальну сторону. Суміжна тканина, приблизно передня до М1, становить рухові ділянки планування, премоторну (ПМ) кору (латерально) та додаткові рухові ділянки (SMA, pre-SMA; медіально). Потім перед цим знаходяться області PFC, позначені їх номерами Бродмана на малюнку 10.5.

Малюнок\(10.6\): Що проти того, як відмінність для задньої кори може бути перенесена вперед у префронтальну кору, щоб зрозуміти відмінні ролі вентральної та спинної областей ПФК. Репродуковано з О'Рейлі (2010).

На найширшому рівні ділянки ПФК можна розділити вздовж основних осей медіальної проти латеральної та спинної проти вентральної. Взагалі кажучи, бічні області ПФК взаємопов'язані з сенсорними та руховими областями в більш задній корі, і, як вважають, відіграють певну роль у контролі обробки в цих областях. Навпаки, медіальні області ПФК більш міцно пов'язані з підкірковими ділянками мозку, пов'язаними з афективними та мотиваційними функціями. Функціонально ми можемо охарактеризувати бічні області як важливі для «холодного» когнітивного контролю, тоді як медіальні області важливі для «гарячої» емоційної та мотиваційної обробки Малюнок 10.6. Однак ця відмінність не настільки чітка, як це звучить, оскільки навіть бічні області піддаються модуляції мотиваційними змінними та сигналами стробирования BG/дофаміну на основі ступеня, в якій підтримувана когнітивна інформація є прогнозом успіху завдання (форма винагороди).

Функціональне значення спинного та вентрального відмінності було значно більш суперечливим у літературі, але анатомічно зрозуміло, що спинні ділянки ПФК більше з'єднуються зі спинним шляхом у задній корі, тоді як вентральний ПФК з'єднується з вентральною задньою корою шлях. Як ми бачили в главі сприйняття, спинний шлях у задній корі спеціалізується на сприйнятті для дії (як обробка): вилучення сигналів сприйняття для управління двигуном, тоді як вентральний шлях спеціалізується на сприйнятті для ідентифікації (Що обробка). Ця функціональна спеціалізація в задній корі може бути перенесена вперед до асоційованих спинних і вентральних областей ПФК (рис. 10.6), таким чином, що спинні бічні ПФК (DLPFC) області особливо важливі для виконавчого контролю над руховим плануванням та шляхами тім'яної кори які керують руховим управлінням, тоді як вентральні бічні області PFC (VLPFC) особливо важливі для контролю над шляхами скроневої частки, які ідентифікують сутності у світі, а також формують багаті семантичні асоціації щодо цих сутностей.

На медіальній стороні спинний медіальний ПФК також відомий як передня поясна кора (АСС), яка, як було показано, кодує афективні аспекти змінних рухового контролю (наприклад, скільки зусиль буде вжити дія, яка його ймовірність успіху, скільки конфлікту та невизначеності існує при виборі відповідь), що узгоджується з функціональною спеціалізацією «гаряче як». Дорсомедіальні області PFC також проектують на субталамічне ядро всередині БГ і служать для затримки моторного реагування для запобігання імпульсивного вибору при складних вимогах вибору відповіді (Frank, 2006; Aron et al, 2007; Cavanagh et al, 2011). Показано, що вентромедіальні області PFC (VMPFC), включаючи орбітальну фронтальну кору (OFC), кодують афективне значення різних сенсорних подразників, узгоджуючись з ідеєю, що вони є «гарячими» областями. Дивіться O'Reilly (2010) для більш докладного обговорення ідеї функціональної спеціалізації What/How.

Підструктура в межах областей PFC: смуги

Малюнок 6.

Малюнок 5.

У межах кожної функціональної області PFC існує якась цікава топографічна організація нейронів у гіперколонки, макроколонки або смуги (кожен з цих термінів зазвичай пов'язаний з подібним типом нейронної організації, але в різних ділянках кори, з смуги, характерні для ПФК) (рис. 10.7, рис. 10.8). У всіх областях кори можна визначити найменший рівень нейронної топологічної організації як корковий стовп або мікроколонку (щоб більш чітко відрізнити його від більшої макроколонки), який містить приблизно 20 пірамідних нейронів в області, яка становить приблизно 50 мікрони в поперечнику. Смуга містить приблизно 100 цих мікроколонок, як правило, організованих у витягнутій формі, яка становить приблизно 5 мікростовпців шириною (250 мкм) на 20 мікростовпців довжиною (1000 мкм або 1 міліметр). Кожна така смуга з'єднана між собою набором приблизно 10 або більше інших смуг, які ми можемо позначити як скупчення смуг. Враховуючи розмір лобової кори людини, всередині всієї фронтальної кори (включаючи рухові ділянки) може бути до 20 000 смуг.

У PFC та інших областях нейрони всередині мікроколонки, як правило, кодують дуже подібну інформацію, і можуть вважатися еквівалентними одному нейрону, кодованому швидкістю, такого роду, який ми зазвичай використовуємо в наших моделям. Потім ми можемо розглянути окрему смугу як містить приблизно 100 таких нейронних еквівалентів, кодованих швидкістю, що забезпечує достатньо місця для кодування досить великої кількості різних речей, використовуючи розріджені розподілені зображення по мікроколонках.

Функціонально ми висуваємо гіпотезу в моделі PBWM, що кожна смуга може бути незалежно оновлена відповідним смугастим циклом зв'язку з асоційованою смугою нейронів через систему BG. Це дозволяє дуже тонко контролювати БГ над оновленням та підтримкою інформації в PFC, як ми описуємо далі.

Базальні ганглії та динамічні стробирования

Малюнок\(10.9\): Як базальні ганглії (БГ) можуть модулювати активне обслуговування в ПФК. (A) У стані за замовчуванням відсутність активності BG або NoGo (непрямий) шлях стріатуму, PFC продовжує підтримувати інформацію в активному стані. SnR (substantia nigra pars reticulata) або gPi (внутрішній сегмент globus pallidus) проявляє тонічну (стійку) активність, яка пригнічує нейрони в таламусі, тим самим закриваючи таламокортикальну петлю. (B) Go (прямий) шлях стрільби запускає оновлення смуги PFC для кодування нової інформації (наприклад, нові входи стимулів, які є поведінково релевантними). Це відбувається шляхом інгібування нейронів SNR/GPI, тим самим відкриваючи таламокортикальний цикл, що призводить до сплеску активності в PFC, що призводить до оновлення до нової моделі нейронної стрільби, включаючи нові внутрішні струми технічного обслуговування, які продовжуватимуть підтримувати цю нову модель вперед. Цей механізм ідентичний механізму для стробирования рухових дій за допомогою взаємодії BG з до/руховими ділянками в паралельних ланцюгах (див. Розділ двигуна). Репродуковано з О'Рейлі, 2006, Наука

Як ми обговорювали в розділі рухового та підкріпленого навчання, базальні ганглії (БГ) в змозі модулювати активність ПФК, завдяки його контролю над гальмуванням нейронів таламуса, які двонаправлено пов'язані з PFC (рис. 10.9) . У стані за замовчуванням немає стріатальної активності, або стрільби непрямих (NoGo) шляхових нейронів, SnR (substantia nigra pars reticulata) або gPi (внутрішній сегмент globus pallidus) нейрони тонічно інгібують таламус. Це запобігає активації тальмокортикального циклу, і саме активація цього циклу вважається критичною для ініціювання рухових дій або оновлення активних уявлень пам'яті PFC. Коли стріатальний Go (прямий) шлях нейронів вогонь, вони пригнічують тонічне інгібування SNR/GPI, тим самим дозволяючи активізувати збуджуючу таламокортикальну петлю. Ця хвиля збудливої активації може активувати нову популяцію нейронів PFC, які потім активно підтримуються до тих пір, поки не буде випущений новий сигнал Go.

Фазовий DA та тимчасове призначення кредиту

Малюнок\(10.10\): Фазова активність нейронів дофаміну (DA) в середньому мозку демонструє відповідну форму подорожей у часі, необхідну для вивчення того, яку інформацію корисно підтримувати в ПФК. DA переходить від стрільби під час первинної винагороди (R) до настання Умовного стимулу (CS), що є прогнозом подальшої винагороди. Елементи, які виявляються корисними для подальшої поведінки, ефективно є CS, і фазовий DA на їх початку може керувати навчанням надійно кодувати цю інформацію в PFC.

Ще одним критичним біологічним механізмом виконавчої функції, про який ми також обговорювали в розділі навчання двигунів та підкріплення, є стрільба фазових дофамінових нейронів у середньому мозку (вентральна тегментальна область (VTA) та substantia nigra pars compacta (SnC)) ( Малюнок 10.10). Ці нейрони спочатку реагують на первинні нагороди (наприклад, яблучний сік), але потім вчаться стріляти при настанні умовних подразників (CS), які надійно прогнозують ці основні нагороди. Це становить форму подорожі у часі, яка вирішує критичну проблему для системи активного обслуговування PFC: як система дізнається, що підтримувати, враховуючи, що рішення про те, що підтримувати, зазвичай відбувається задовго до подальшого значення збереження чогось корисного. Якщо розглядати зміст корисної інформації в ПФК як про різновид КС (адже вони повинні достовірно асоціюватися з позитивними результатами), то дофамінові нейрони навчаться стріляти при настанні такої КС. Наявність цього фазового сигналу DA при настанні CS може потім посилити рішення про збереження цієї інформації в першу чергу, вирішуючи тим самим проблему подорожі в часі.

Описана далі обчислювальна модель включає цю ключову ідею, маючи фазовий сигнал DA на початку CS навчається нейронам BG Go, які оновлюють нову інформацію в активному обслуговуванні PFC. Модель показує, що цієї основної ідеї достатньо для підтримки вивчення складних завдань виконавчої функції.