3.5: Інгібуюча конкуренція та регулювання діяльності

Last updated
Save as PDF

Page ID: 72400

$ \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } $ $ \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} $$\newcommand{\id}{\mathrm{id}}$ $ \newcommand{\Span}{\mathrm{span}}$ $ \newcommand{\kernel}{\mathrm{null}\,}$ $ \newcommand{\range}{\mathrm{range}\,}$ $ \newcommand{\RealPart}{\mathrm{Re}}$ $ \newcommand{\ImaginaryPart}{\mathrm{Im}}$ $ \newcommand{\Argument}{\mathrm{Arg}}$ $ \newcommand{\norm}[1]{\| #1 \|}$ $ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$ $ \newcommand{\Span}{\mathrm{span}}$ $\newcommand{\id}{\mathrm{id}}$ $ \newcommand{\Span}{\mathrm{span}}$ $ \newcommand{\kernel}{\mathrm{null}\,}$ $ \newcommand{\range}{\mathrm{range}\,}$ $ \newcommand{\RealPart}{\mathrm{Re}}$ $ \newcommand{\ImaginaryPart}{\mathrm{Im}}$ $ \newcommand{\Argument}{\mathrm{Arg}}$ $ \newcommand{\norm}[1]{\| #1 \|}$ $ \newcommand{\inner}[2]{\langle #1, #2 \rangle}$ $ \newcommand{\Span}{\mathrm{span}}$

Інгібуюча конкуренція відіграє вирішальну роль у тому, щоб ми могли зосередитись на кількох речах одночасно, які ми можемо ефективно обробляти, не перевантажуючись. Інгібування також гарантує, що ті детектори, які активуються, є тими, які найбільше збуджуються заданим входом - в дарвінівському еволюційному плані це найпристосованіші детектори.

Без гальмування двонаправлене збудливе з'єднання в корі швидко призведе до того, що кожен нейрон стане сильно збудженим, оскільки не було б нічого, щоб перевірити поширення активації. Існує так багато збудливих зв'язків між нейронами, що для активації кожного нейрона не потрібно багато часу. Хорошою аналогією є розміщення мікрофона біля динаміка, який відтворює звук з цього мікрофона - це двонаправлена збудлива система, і вона швидко призводить до того звичного, дуже гучного вереску «зворотного зв'язку». Якби аудіосистема мала еквівалент гальмівної системи в корі, вона насправді змогла б запобігти цьому зворотному зв'язку, динамічно зменшуючи вхідне посилення на мікрофоні та/або вихідний гучність динаміка.

Ще одна корисна аналогія - кондиціонер (AC), який має регулятор термостата, який визначає, коли він запускається (і потенційно, наскільки він сильний). Така система контролю зворотного зв'язку дозволяє кімнаті прогрітися до заданої заданої точки (наприклад, 75 градусів за Фаренгейтом), перш ніж воно почне протидіяти тепла. Аналогічно, гальмування в корі пропорційно величині збудження, і воно виробляє подібну поведінку заданої точки, де активність не дозволяє отримати занадто високу: зазвичай не більше приблизно 15-25% нейронів у будь-якій даній області активні одночасно.

Однак важливість гальмування виходить далеко за рамки цієї основної регулюючої функції. Інгібування породжує конкуренцію - тільки найбільш сильно збуджені нейрони здатні подолати гальмуючий сигнал зворотного зв'язку, щоб активуватися і відправляти потенціали дії іншим нейронам. Ця конкурентна динаміка має численні переваги в обробці та навчанні. Наприклад, вибіркова увага критично залежить від гальмуючої конкуренції. У візуальній області вибіркова увага проявляється при пошуку стимулу в переповненій сцені (наприклад, пошук друга в натовпі, як описано у вступі). Ви не можете обробити всіх людей в натовпі відразу, тому лише відносно небагато привертають вашу увагу, а решта ігноруються. У нейронному плані ми говоримо, що детектори для присутніх небагатьох були достатньо збуджені, щоб перевершити всі інші, які залишаються нижче порогу стрільби через високий рівень гальмування. Як фактори знизу вгору, так і зверху вниз можуть сприяти тому, які нейронні детектори перевищують поріг чи ні, але без гальмування не було б можливості вибрати лише декілька, на яких слід зосередитись в першу чергу. Цікаво, що люди з синдромом Балінта, які мають двостороннє пошкодження тім'яної кори (що відіграє вирішальну роль у просторовій увазі такого роду), демонструють зменшені ефекти уваги, а також, як правило, не в змозі нічого обробити, якщо візуальний дисплей містить більше одного елемента (тобто «simtimanagnosia «— неможливість розпізнавати об'єкти, коли в сцені одночасно присутні кілька). Ми вивчимо ці явища в главі сприйняття.

Ми побачимо в розділі навчання, що гальмівна конкуренція полегшує навчання, забезпечуючи цей тиск вибору, завдяки чому активуються лише найбільш збуджені детектори, які потім посилюються в процесі навчання, щоб зробити найактивніші детектори ще краще налаштованими. для поточних входів, і, таким чином, з більшою ймовірністю реагувати на них знову в майбутньому. Цей тип позитивного зворотного зв'язку над епізодами навчання призводить до розробки дуже хороших детекторів для видів речей, які, як правило, виникають у навколишньому середовищі. Без гальмуючої конкуренції великий відсоток нейронів навчався б для кожного входу, і не було б спеціалізації детекторів для конкретних категорій у навколишньому середовищі. Кожен нейрон в кінцевому підсумку слабо виявляє все і, таким чином, нічого не зробить. Таким чином, знову ми бачимо, що конкуренція та обмеження насправді можуть бути надзвичайно корисними.

Короткий термін для видів нейронних паттернів активності, що розвиваються при наявності гальмуючої конкуренції, є розріджені розподілені уявлення. Вони мають відносно мало (15-25%) нейронів, активних одночасно, і, таким чином, ці нейрони більш налаштовані на поточні входи, ніж вони інакше були б у повністю розподіленому представленні з набагато вищими рівнями загальної активності. Таким чином, хоча технічно інгібування не сприяє безпосередньо основним функціям обробки інформації, таким як категоризація, оскільки інгібіторна зв'язок строго локальна в межах заданої кортикальної області, інгібування відіграє критичну непряму роль у формуванні моделей нейронної активності на кожному рівні.

Інгібування зворотного зв'язку та зворотного зв'язку

Існують дві чіткі закономірності нейронної зв'язності, які керують інгібуючими інтернейронами в корі, зворотним зв'язком і зворотним зв'язком (рис. 3.16). Просто щоб речі були цікавими, це не те саме, що зв'язки між збудливими нейронами. Функціонально інгібування подачі може передбачити, наскільки збудженими стануть збуджуючі нейрони, тоді як зворотний зв'язок точно відображає фактичний рівень активації, який вони досягають.

Інгібування зворотного зв'язку є найбільш інтуїтивним, тому ми почнемо з нього. Тут гальмівні інтернейрони приводяться в рух тими ж збудливими нейронами, які вони потім проектують назад і гальмують. Це класична схема «зворотного зв'язку» з прикладу змінного струму. Коли набір збудливих нейронів починає активізуватися, вони потім повідомляють цю активацію інгібуючим інтернейронам (через збудливі глутаматергічні синапси на інгібуючі інтернейрони - інгібуючі нейрони повинні збуджуватися так само, як і всі інші). Це збудження гальмівних нейронів потім змушує їх розпалювати потенціали дії, які повертаються назад до збуджуючих нейронів, відкриваючи їх інгібуючі іонні канали через вивільнення ГАМК. Приплив іонів Cl- (хлориду) з інгібіторних вхідних каналів на ці збудливі нейрони діє, щоб відганяти їх назад у напрямку гальмівного рушійного потенціалу (в аналогії перетягування каната гальмуючий хлопець стає більшим і тягне важче). Таким чином, збудження породжує гальмування, яке протидіє збудженню і тримає все під контролем, так само, як вибух холодного повітря з блоку змінного струму.

Інгібування подачі, можливо, трохи більш тонке. Він діє, коли збуджуючі синаптичні входи в збуджуючі нейрони в даній області також керують інгібуючими інтернейронами в цій області, змушуючи інтернейрони інгібувати збуджуючі нейрони пропорційно кількості збуджуючого входу, який вони зараз отримують. Це було б як термостат, що реагує на передбачувану кількість тепла, наприклад, шляхом включення змінного струму на основі зовнішньої температури. Таким чином, ключова відмінність між подачею та інгібуванням зворотного зв'язку полягає в тому, що зворотний зв'язок відображає чистий збудливий вхід, тоді як зворотний зв'язок відображає фактичний вихід активації даного набору збудливих нейронів.

Як ми побачимо в дослідженні, попереджувальна функція інгібування зворотного зв'язку має вирішальне значення для обмеження видів драматичних коливань зворотного зв'язку, які можуть розвиватися в чисто зворотному зв'язку системі. Однак занадто велике гальмування подачі робить систему дуже повільною, щоб реагувати, тому існує оптимальний баланс двох типів, що призводить до дуже надійної інгібуючої динаміки.

Дослідження інгібіторної інтернейронної динаміки

Інгібування (inhib.proj) - це моделювання показує, як динаміка інгібування зворотного зв'язку та зворотного зв'язку призводять до робастного контролю збудливих пірамідних нейронів, навіть при наявності двонаправленого збудження.

Функція інгібування FFFB

Ми можемо ефективно реалізувати форму інгібування зворотного зв'язку (FF) та зворотного зв'язку (FB), фактично не вимагаючи інгібуючих інтернейронів, використовуючи середні рівні чистого введення та активності в даному шарі, у простому рівнянні, показаному нижче. Це працює напрочуд добре, не вимагаючи подальшої адаптації параметрів під час навчання, і ця форма гальмування FFFB тепер є дефолтом, замінюючи K-Winners-take-all (kWTA) форму гальмування, що використовується в 1-му виданні підручника.

Середній збудливий чистий вхід в шар (або групу одиниць всередині шару, якщо інгібування працює на цьому рівні) є лише середнім чистим входом ($\eta_{i}$) кожної одиниці в шарі/групі:

$<\eta>=\sum_{n} \frac{1}{n} \eta_{i}$

Аналогічно, середня активація - це якраз середнє значення активації ($y_{i}$):

$<y>=\sum_{n} \frac{1}{n} y_{i}$

Ми обчислюємо загальну гальмівну провідність, рівномірно застосовану до всіх одиниць шару/групи за допомогою лише декількох ключових параметрів, застосованих до кожного з цих двох середніх показників. Оскільки компонент зворотного зв'язку має тенденцію керувати коливаннями (поперемінно реагуючи на середню активацію), ми застосовуємо просту динаміку інтеграції часу на цей термін. Зворотній зв'язок не вимагає інтеграції цього часу, але він вимагає зміщення терміну, який був визначений шляхом встановлення фактичного гальмування, породженого нашими попередніми рівняннями kWTA. Таким чином, загальна інгібуюча провідність - це всього лише сума двох членів (ff і fb), із загальним інгібуючим коефіцієнтом посилення gi:

$g_{i}(t)=\operatorname{gi}[\mathrm{ff}(t)+\mathrm{fb}(t)]$

Цей gi фактор, як правило, є єдиним параметром, яким маніпулюється, щоб визначити, наскільки активний загальний шар. Зазвичай значення 1.5 настільки ж низьке, як використовується, щоб дати більш широко розподілений шаблон активації, причому значення близько 2,0 (часто 2.1 або 2.2 працює найкраще) є дуже типовим. Для дуже розріджених шарів (наприклад, одного активного вихідного блоку) можна використовувати значення приблизно до 3,5 або близько того.

Термін подачі (ff):

$\mathrm{ff}(t)=\mathrm{ff}[<\eta>-\mathrm{ff} 0]_{+}$

де ff - загальний коефіцієнт посилення для компонента feedforward (за замовчуванням встановлено значення 1.0), а ff0 - це зміщення (за замовчуванням встановлено на 0,1), яке віднімається від середнього значення netinput $<\ eta$ " src="https://grey.colorado.edu/mediawiki/...c90b756a54.png">.

Термін зворотного зв'язку (fb):

$\mathrm{fb}(t)=\mathrm{fb}(t-1)+d t[\mathrm{fb}<y>-\mathrm{fb}(t-1)]$

де fb - загальний коефіцієнт посилення для компонента зворотного зв'язку (0,5 за замовчуванням), dt - постійна часу для інтеграції інгібування зворотного зв'язку (0,7 за замовчуванням), а t-1 вказує на попереднє значення гальмування зворотного зв'язку - це рівняння визначає градуйоване складання нового коефіцієнт гальмування на вершині того, що було раніше, і відносно швидке значення dt 0.7 змушує його відстежувати нове значення досить швидко - є достатньо відставання, щоб залізувати коливання.

Загалом, повинно бути зрозуміло, що це гальмування FFFB надзвичайно просте для обчислення (набагато простіше, ніж попереднє обчислення kWTA), і воно поводиться набагато пропорційно відносно збудливого приводу на одиницях - якщо є вищий загальний збуджуючий вхід, то середній активація в цілому в шарі буде вище, і навпаки. Попередні обчислення на основі KWTA, як правило, були більш жорсткими і накладали більш сильну задану точку, як поведінка. Динаміка FFFB, набагато тісніше пов'язана з тим, як насправді функціонують інгібуючі інтернейрони, повинна забезпечити більш біологічно точне моделювання.

Дослідження інгібування FFFB

Щоб побачити інгібування FFFB в дії, ви можете слідувати інструкціям в останній частині моделі інгібування (inhib.proj).