7.4: Мозочок та навчання, кероване помилками
- Page ID
- 72632
Тепер, коли ми розуміємо, як базальні ганглії можуть вибрати дію для виконання на основі навчання підкріплення, ми звертаємось до мозочка, який бере на себе після початку дії, і використовує навчання, кероване помилками, щоб сформувати ефективність дії, щоб вона була точною та злагодженою. Як показано на малюнку 7.10, мозочок отримує лише з коркових ділянок, безпосередньо беруть участь у руховій продукції, включаючи тім'яну кору та рухові ділянки лобової кори. На відміну від базальних гангліїв, він не отримує від префронтальної кори або скроневої кори, що має сенс відповідно до їх відповідних функцій. Префронтальна кора і скронева кора дійсно важливі для планування на високому рівні та вибору дій, але не для виконання дій. Однак з експериментів з нейровізуалізації ми знаємо, що мозочок займається багатьма когнітивними завданнями - це повинно відображати його широку зв'язок з тім'яною корою, яка також активується у багатьох когнітивних завданнях. Одна ідея полягає в тому, що мозочок може допомогти формувати навчання та обробку в тім'яній корі завдяки потужним механізмам навчання, керованих помилками - це може допомогти пояснити, як тім'яна кора може навчитися робити всі складні речі, які вона робить. Однак на даний момент і тім'яна кора, і мозочок набагато краще розуміються з рухової точки зору, ніж когнітивна.
Мозочок має дуже чітко визначену анатомію (рис. 7.11, рис. 7.12), з однаковою базовою схемою, що відтворюється на всьому протязі. Таким чином, як і базальні ганглії, він, здається, виконує одну і ту ж основну функцію, репліковану в широкому діапазоні різних доменів вмісту (наприклад, для різних рухових ефекторів, а також для різних областей тім'яної та фронтальної кори). Основна схема включає вхідні сигнали, що надходять з різних джерел, які передаються в мозочок за допомогою мохових волоконних аксонів. Вони закінчуються на гранульові клітини, яких приблизно 40 мільярдів у мозку людини! Кожна гранульована клітина отримує лише 4-5 входів мохових волокон, і є приблизно 200 мільйонів входів мохових волокон, причому кожне мохове волокно синапсує приблизно на 500 клітинок гранул. Таким чином, відбувається значне розширення кодування інформації в осередках гранул щодо вхідних даних — ми переглянемо цей важливий факт через мить. Щоб завершити схему, клітини гранул надсилають паралельні волоконні аксони, що синапс у дуже щільні дендритні дерева клітин Пуркіньє, які можуть отримувати до 200 000 входів від клітин гранул. У мозку людини приблизно 15 мільйонів клітин Пуркіньє, і ці клітини виробляють вихідний сигнал з мозочка. Таким чином, відбувається масивна операція конвергенції з клітин гранул на клітини Пуркіньє. Клітини Пуркіньє є тонічно активними, а клітини гранул збуджуючі на них, що робить його трохи загадковим, щоб з'ясувати, як клітини гранул передають корисний сигнал клітинам Пуркіньє. Інші типи клітин в мозочку (зірчасті, кошики та гольджі) є інгібуючими інтернейронами, які забезпечують інгібуючий контроль як за гранульованою клітиною, так і над випалюванням клітин Пуркіньє. Цілком можливо, що клітини гранул працюють спільно з цими інгібуючими клітинами, щоб змінити баланс збудження та гальмування в Пуркіньє, але це залишається дещо неясним.
Останнім шматочком головоломки мозочка є вхід волокна для скелелазіння з нижнього ядра оливарі - на клітину Пуркіньє є рівно одне таке скелелазіння волокна, і воно має дуже потужний вплив на нейрон, виробляючи серію складних шипів. Вважається, що входи волокна для сходження передають сигнал навчання або помилки Пуркіньє, який потім керує синаптичною пластичністю у пов'язаних з ним входах гранульових клітин. Однією з визначних ідей є те, що ця синаптична пластичність має тенденцію виробляти LTD (зменшення ваги) для синаптичних входів, де клітини гранул активні, що потім робить ці нейрони менш ймовірними для запуску клітини Пуркіньє в майбутньому. Це мало б сенс, враховуючи, що клітини Пуркіньє є інгібуючими нейронами глибоких ядер мозочка, тому для отримання виходу з них клітину Пуркіньє потрібно вимкнути.
Збираючи всі ці частини разом, Девід Марр та Джеймс Альбус стверджували, що мозочок - це система навчання, керованого помилками, з сигналом помилки, що надходить від волокон, що сходження. Зрозуміло, що у нього є механізми для асоціювання входів стимулів з командами виходу двигуна під командою входів волокна, що піднімаються. Одним з важливих принципів функції мозочка є проекція входів у дуже високошвидкісний простір над клітинами гранул - обчислювально це досягає розділової форми навчання, де кожна комбінація входів активує унікальний малюнок нейронів клітин гранул. Потім ця унікальна картина може бути пов'язана з іншим вихідним сигналом з мозочка, створюючи щось наближене таблицю пошуку значень введення/виведення Малюнок 7.13. Таблиця пошуку забезпечує дуже надійне рішення для вивчення навіть дуже складних, довільних функцій - вона завжди зможе кодувати будь-які функції. Недоліком є те, що він не дуже добре узагальнює нові шаблони введення. Однак, це може бути краще в цілому в управлінні двигуном, щоб уникнути неправильного узагальнення, а не шукати трохи більше ефективності від якоїсь форми узагальнення. Це високошвидкісне розширення також успішно використовується підтримуючою векторною машиною (SVM), одним з найуспішніших алгоритмів машинного навчання.
Розвідка мозочка
- Цереб (cereb.proj) — роль мозочка в руховому навчанні, навчання на помилках.