7.2: Базальні ганглії, вибір дій та навчання підкріплення

Малюнок\(7.2\): Паралельні схеми через базальні ганглії для різних областей фронтальної кори - кожна область фронтальної кори має відповідний ланцюг базальних гангліїв, для контролю виділення/ініціації дії в цій фронтальній області. Моторна петля: SMA = додаткова рухова область - асоційована смуга (путамен) також отримує від премоторної кори (PM), а первинний моторний (M1) та соматосенсорний (S1) області - все необхідне для правильної контекстуалізації рухових дій. Окорухова петля: FEF = фронтальні поля очей, також отримує від дорсолатерального PFC (DLPFC) та задньої тім'яної кори (PPC) - відповідний контекст для програмування рухів очей. Префронтальна петля: DLPFC також контролюється задньою тім'яною корою та премоторною корою. Орбітофронтальна петля: OFC = орбітофронтальна кора, також отримує від інфероскроневої кори (ІТ), і передньої поясної кори (АСС). Конгулатна петля: АЦК також модулюється гіпокампом (HIP), енторинальною корою (EC) та ІТ.

Базальні ганглії виконує свою функцію виділення дії на широкому діапазоні фронтальних коркових областей, в силу послідовності паралельних петель зв'язності (рис. 7.2). Ці області включають рухову (контроль скелетних м'язів) та окорухову (контроль руху очей), а також префронтальну кору, орбітофронтальну кору та передню поясну кору, які не є безпосередньо ділянками рухового контролю. Таким чином, нам потрібно узагальнити наше поняття вибору дій, щоб включити вибір когнітивної дії - більш абстрактні форми відбору, які діють у більш високих когнітивних областях префронтальної кори. Наприклад, базальні ганглії можуть контролювати підбір масштабних планів дій і стратегій в її зв'язках з префронтальною корою. Орбітофронтальна кора важлива для кодування значення винагороди, пов'язаного з різними можливими наслідками стимулу, тому зв'язок базальних гангліїв тут важливий для стимулювання оновлення цих уявлень як функції надзвичайних ситуацій у навколишньому середовищі. Передня поясна кора важлива для кодування витрат на рухові дії (час, зусилля, невизначеність), а базальні ганглії аналогічно можуть допомогти контролювати оновлення цих витрат, оскільки розглядаються різні дії. Ми можемо узагальнити роль базальних гангліїв у цих більш абстрактних фронтальних областях як управління оновленням робочої пам'яті, як це обговорюється далі в розділі Виконавча функція.

Цікаво, що додаткові входи, які сходяться в базальні ганглії для даної області, мають хороший сенс. Руховий контроль повинен знати про поточний соматосенсорний стан, а також входи з області управління двигуном трохи вищого рівня, відомої як премоторна кора. Орбітофронтальна кора - це все про кодування значення винагороди стимулів, і, таким чином, потрібно отримати вхід від ІТ-кори, яка забезпечує ідентичність відповідних об'єктів у навколишньому середовищі.

Малюнок\(7.3\): Затворні механізми прямого шляху в окоруховому контурі. Рух очних саккад робиться, коли верхні колікулюсні (SC) нейрони кодування для напрямку саккади проявляють вибух стрільби. СК отримує збудливий вхід з інших місць (наприклад, фронтальної кори), що вказує на заплановані рухи очей. Однак СК знаходиться під тонічною інгібіторною регулюванням з виходу базальних гангліїв (в цій схемі це субстанція nigra pars reticulata (SnR), еквівалентна ГПі для інших рухів). Нейрони SnR стріляють з високими тонічними показниками за відсутності входу і не дають СК ініціювати сплеск. Нейрони хвостатого ядра (частина смугастої оболонки), вище за течією від SnR, зазвичай мовчать, але вогонь при виявленні відповідних умов, за яких можна ініціювати рух очей (наприклад, коли це прогнозує винагороду). Хвостоваті нейрони пригнічують SnR, викликаючи паузу в тонічному стрільбі, і дезінгібують СК. Це розгальмування діє як механізм затвору, оскільки хвостовик безпосередньо не викликає SC стрільби, але замість цього дозволяє SC лопнути вогонь, зокрема нейрони SC, які також отримують збудливий вхід про заплановане рух. Тут не показані непрямі шляхи хвостатих нейронів, які мали б протилежний ефект, збільшуючи активність SnR та запобігаючи стробированию певних рухів. З Хікосака, 2007.

Малюнок\(7.4\): Біологія системи базальних гангліїв, з двома показаними випадками: а) активність вибуху дофаміну, яка рухає прямими нейронами шляху «Go» в смугасті, які потім інгібують тонічну активацію у внутрішньому сегменті globus pallidus (GPi), який вивільняє специфічні ядра в таламусі від цього гальмування, що дозволяє їм завершити двонаправлений збудливий контур з фронтальною корою, в результаті чого відбувається ініціювання рухової дії. Підвищена активність Go під час сплесків дофаміну призводить до потенціювання кортикостріатальних синапсів, а отже, навчання вибору дій, які, як правило, призводять до позитивних результатів. б) падіння дофаміну (пауза у стрільбі тонічного дофамінового нейрону), що призводить до переважної активності непрямих нейронів шляху «NoGo» в стриатум, які інгібують зовнішній сегмент globus pallidus нейрони (GpE), які в іншому випадку є тонічно активними та інгібують GPI. Таким чином, підвищена активність NoGo призводить до розгальмування GPI, роблячи його більш активним і, таким чином, пригнічуючи таламус, запобігаючи ініціації відповідної рухової дії. Зниження дофаміну призводить до потенціювання кортикостриатальних синапсів NoGo, а отже, навчання уникати відбіркових дій, які, як правило, призводять до негативних результатів. Від Френка, 2005.

Збільшуючи будь-який з цих петель, критичні елементи системи базальних гангліїв наведені на малюнку 7.4, з двома важливими схемами активації показані. По-перше, система базальних гангліїв включає в себе наступні субрегіони:

• Стріатум, який є основною вхідною областю, що складається з хвостатого і путаменного підрозділів (як показано на малюнку 7.2). Стріатум анатомічно підрозділяється на безліч малих скупчень нейронів, з двома основними типами кластерів: патч/стріосоми та матриця/матрисоми. Матричні кластери містять прямі (Go) та непрямі (NoGo) шляхові середні колючі нейрони, які разом складають 95% стриатальних клітин, обидва з яких отримують збудливі входи з усієї кори, але інгібують їх цілі нижче за течією в глобусі pallidus як описано далі. Патч-клітини проектують на дофамінергічну систему і, таким чином, як видається, відіграють більш непряму роль у модуляції навчальних сигналів. Існує також відносно мало широко розставлених тонічно активних нейронів (TAN), які вивільняють ацетилхолін як нейромедіатор і, здається, відіграють модулюючу роль та інгібуючі інтернейрони, які, ймовірно, виконують той самий вид динамічного контролю посилення, який вони грають у корі.
• Globus pallidus, внутрішній сегмент (GPi), який є набагато меншою структурою, ніж смугастий, і містить нейрони, які постійно (тонічно) активні навіть без додаткового входу. Ці нейрони посилають інгібування специфічним ядрам в таламусі. Коли стріатумні нейрони прямого/йти шляхом пожежі, вони пригнічують ці нейрони GPI і, таким чином, дезінгібують таламус, що в кінцевому підсумку призводить до ініціювання певної рухової або когнітивної дії (залежно від того, який контур бере участь). Зверніть увагу, що в інших ланцюгах фронто-базальних гангліїв роль GPi займає субстанція nigra pars reticulata (SnR), яка розташована ідентично GPI анатомічно, але отримує від інших областей смугастої смуги і проектів на виходи, що регулюють інші дії (наприклад, рухи очей у вищій колікулюс).
• Globus pallidus, зовнішній сегмент (GpE), який також невеликий, і містить тонічно активні нейрони, які посилають сфокусовані інгібуючі проекції до відповідних нейронів GPi. Коли нейрони непрямих/Nogo шляху в смугастому вогні, вони пригнічують нейрони GpE і, таким чином, деінгібують нейрони GPi, змушуючи їх забезпечувати ще більше гальмування таламуса. Це блокує ініціювання конкретних дій, кодованих популяцією активних нейронів NoGo.
• Таламус, зокрема медіальні спинні (MD), черевні передні (VA) та вентролатеральні (VL) ядра (як показано на малюнку 7.2). Коли нейрони таламуса розгальмовуються стрільбою по шляху Go, вони можуть стріляти, але лише тоді, коли рухаються збудливим входом зверху вниз з фронтальної кори. Таким чином, базальні ганглії служать воротами на таламокортикальному ланцюзі — Go стрільба відкриває ворота, тоді як стрільба NoGo закриває її, але вміст інформації, яка проходить через ворота (наприклад, специфіка рухового плану дій) залежить від таламокортикальної системи. У окоруховому контурі (як показано на малюнку 7.3, роль таламуса бере на себе верхній колікул, вибух якого ініціює очні саккади).
• Субстанція nigra pars compacta (SnC) має нейрони, які вивільняють нейромодулятор дофамін, і конкретно іннервують смугу. Цікаво, що в смузі є два різних види дофамінових рецепторів. D1-рецептори переважають у нейронів шляху Go, а дофамін має збудливу дію на нейрони з D1-рецепторами (особливо ті нейрони, які отримують конвергентний глутаматергічний збуджуючий вхід з кори). На відміну від цього, рецептори D2 переважають у нейрони шляху NoGo, а дофамін має інгібуючу дію через рецептори D2. Таким чином, коли сплеск дофаміну потрапляє на стріатум, він додатково збуджує активні одиниці Го і пригнічує одиниці NoGo. Ця зміна активності призводить до активності залежної пластичності, і, таким чином, призводить до підвищеної схильності до ініціювання рухових і пізнавальних дій. На відміну від цього, коли відбувається падіння випалу дофаміну, нейрони Go менш збуджені, тоді як нейрони NoGo розгальмовуються, і, таким чином, ті нейрони NoGo, які отримують збудливий вхід від кори (що представляють поточний стан та дію), стануть більш збудженими через падіння дофаміну. Знову ж таки, ця зміна активності призводить до потенціювання синапсів, таким чином, що ця специфічна популяція нейронів NoGo буде з більшою ймовірністю активізуватися в майбутніх зустрічах цього сенсорного стану та кандидатської рухової дії. Обидва ці ефекти сплесків і падінь дофаміну мають ідеальний сенс: сплески дофаміну пов'язані з позитивними помилками прогнозування винагороди (коли винагороди кращі, ніж очікувалося), і, таким чином, підсилюють вибір дій, які призводять до хороших результатів. І навпаки, падіння дофаміну пов'язані з негативними помилками прогнозування винагороди (гірше, ніж очікувалося) і, таким чином, призводять до уникнення (NoGo) тих дій, які, як правило, призводять до цих поганих результатів. Крім того, тонічні рівні дофаміну можуть впливати на відносний баланс активності цих шляхів, так що навіть якщо навчання вже відбулося, зміни дофаміну можуть впливати на вибір дії насамперед вивчені значення Go vs вивчені значення NoGo - грубо кажучи, чим вище дофамін, тим більш ризикований вибір (нечутливість до негативних наслідків).

• Субталамічне ядро також є основним компонентом базальних гангліїв (не зображених на малюнку), який діє як третій гіперпрямий шлях, названий так, тому що він отримує вхід безпосередньо з фронтальної кори і посилає збуджуючі проекції безпосередньо на вихід BG (GPI), минаючи стріатум взагалі. Ці проекції STN-GPI є дифузними, що означає, що один нейрон STN широко проектується на багато нейронів GPi, і як такий STN, як вважається, забезпечує глобальну функцію NoGo, яка запобігає стрибенню будь-якої рухової або когнітивної дії (технічно, це підвищує поріг для стробирования). Ця область була показана в моделями та емпіричних даних, щоб стати більш активною зі збільшенням вимог до гальмування відповіді або коли існує конфлікт між альтернативними планами дій корки, так що STN купує більше часу для стриатального стриатального стрибування, щоб врегулювати найкращу дію (Frank, 2006).

Це досить складна схема, і вона, ймовірно, займає кілька ітерацій через неї, щоб дійсно зрозуміти, як всі частини підходять один до одного. Суть, тим не менш, повинна бути легшою для розуміння: базальні ганглії вчаться вибирати корисні дії (включаючи більш абстрактні когнітивні дії), через дезінгібіторну зв'язок з різними областями лобової кори. Більше того, загальне зображення вище, мотивоване обчислювальними міркуваннями та великою кількістю детальних анатомічних, фізіологічних та фармакологічних даних, в переважній більшості було підтверджено емпіричними даними по видам. Наприклад, у мишей Kravitz et al., 2010 показало, що селективна стимуляція стриатальних нейронів D1 призвела до гальмування вихідних ядер БГ і розгальмування рухових дій, тоді як селективна стимуляція смугастих нейронів D2 призвела до збудження вихідних ядер і придушення рухових дій. Наступна стаття в 2012 році показала, що минущі стимуляції цих шляхів після рухів змушують миша бути більш імовірним (йти стимуляція одиниці) або менш імовірно (nogo одиниці стимуляції) повторювати той самий рух в майбутньому, узгоджується з навчальним ефектом. Zalocusky et al., 2016 показали, що коли миша відчуває негативну помилку прогнозування винагороди (тобто вони очікують винагороди, але не отримують її), нейрони D2 реагують підвищенням рівня своєї активності, і ступінь цього пов'язана з їх подальшим униканням дії на користь більш безпечного варіанту провідного до певної винагороди. Shen et al., 2008 показали докази для прогнозування моделі, що рецептори D1 і D2 протилежно модулюють синаптичну пластичність у двох шляхах. Хікіда та співавт., 2010 показав, що селективна блокада нейротрансмісії вздовж шляху Go призвела до порушень у навчанні вибирати корисні дії, але відсутність дефіциту у уникненні караючих дій, і точно протилежна картина порушень спостерігалася після блокади шляху NoGo. У людей стриатальні виснаження дофаміну, пов'язані з хворобою Паркінсона, призводять до порушення «Go learning» у завданнях імовірнісного підкріплення навчання, але посилене «навчання NoGo», з протилежною схемою висновків, викликаних ліками, що збільшують стріатальний дофамін (Frank, Seeberger & O'Reilly 2004 і багато інших з тих пір). Навіть індивідуальні відмінності в працездатності молодої здорової людини в навчанні Go vs NoGo пов'язані з генетичними варіантами, які впливають на функцію смугастих рецепторів D1 та D2 та експресію рецепторів D1 проти D2 в дослідженнях ПЕТ (Cox et al, 2015; для огляду цього обсягу літератури див. Frank & Fossella, 2011).

Поділ праці між фронтальною корою та базальними гангліями такий, що фронтальна кора розважає багато різних можливих дій, завдяки багатим моделям зв'язку з іншими корковими областями, забезпечуючи високий рівень резюме поточного середовища, які потім активують діапазон різних можливі дії, і базальні ганглії потім вибирає найкращі (швидше за все, будуть корисними) з цих дій, щоб насправді виконати. Якщо говорити більш антропоморфно, то фронтальна кора є нечітким творчим типом, з мільйоном ідей, але немає здатності зосереджуватися на реальному світі, і їй важко звужувати речі аж до того, щоб насправді робити що-небудь: вид мрійника. Тим часом, базальні ганглії - це реальний тип прийому, який завжди має на увазі нижню лінію, і може приймати жорсткі рішення та робити речі. Нам потрібні обидві ці особистості в головах (хоча люди явно відрізняються тим, наскільки кожна у них є), а нейронні системи, що підтримують ці різні способи поведінки, явно відрізняються. Імовірно, тому існують дві роздільні системи (фронтальна кора і базальні ганглії), які тим не менш дуже тісно співпрацюють, щоб вирішити загальну проблему вибору дій.

Дослідження базальних гангліїв

Відкрийте БГ для дослідження базової моделі вибору дій go vs. nogo і динаміки навчання в базальних гангліях. Ця модель також дозволяє досліджувати наслідки хвороби Паркінсона і дофамінергічних препаратів.