3.1: Вступ

У цьому розділі ми спираємося на розділ Нейрон, щоб зрозуміти, як мережі детекторів можуть виробляти емерджентну поведінку, яка більше, ніж сума їх простих нейронних складових. Ми зосереджуємось на мережах неокортекса («нової кори», яку часто називають «корою»), яка є еволюційно найновішою зовнішньою частиною мозку, де відбувається більшість просунутих когнітивних функцій. Існує три основні категорії виникаючих мережевих явищ:

• Категоризація різноманітних моделей діяльності на відповідні групи: Наприклад, обличчя можуть виглядати дуже різними один від одного з точки зору їх необроблених «піксельних» входів, але ми можемо класифікувати ці різноманітні входи різними способами, щоб розглядати деякі моделі як більш схожі, ніж інші: чоловіки проти. жінка, молода проти старих, щаслива проти сумних, «моя мати» проти «хтось інший» і т.д. формування цих категорій має важливе значення для того, щоб ми могли зробити відповідні поведінкові та когнітивні відповіді (підхід проти уникати, позичити гроші у тощо). Уявіть, що намагаєтеся пов'язати всі необроблені входи візуального образу обличчя з відповідними поведінковими відповідями, без користі таких категорій. Взаємозв'язок («відображення») між пікселями та відповідями занадто складна. Ці проміжні, абстрактні категорії організовують і спрощують пізнання, так само, як папки файлів організовують і спрощують документи на вашому комп'ютері. Можна стверджувати, що значна частина інтелекту означає розробку та використання цих абстрактних категорій правильним чином. Біологічно ми побачимо, як послідовні шари нейронних детекторів, організовані в ієрархію, дозволяють подібного роду все більш абстрактну категоризацію світу. Ми також побачимо, що багато окремих нейронних детекторів на кожному етапі обробки можуть працювати разом, щоб захопити тонкість і складність, необхідні для кодування складних концептуальних категорій, у вигляді розподіленого уявлення. Ці розподілені уявлення також мають вирішальне значення для того, щоб дозволити одночасно бути активним декількома різними способами категоризації вхідних даних - наприклад, дане обличчя може бути одночасно визнано жіночим, старим та щасливим. Велика частина виникає інтелекту людського мозку виникає з декількох послідовних рівнів каскадних розподілених уявлень, що становлять колективні дії мільярдів збудливих пірамідних нейронів, що працюють разом у корі.
• Двонаправлена збудлива динаміка виробляється повсюдним двонаправленим (наприклад, знизу вгору і зверху вниз або зворотним зв'язком і зворотним зв'язком) зв'язку в неокортексі. Здатність інформації текти в усіх напрямках по всьому мозку має вирішальне значення для розуміння таких явищ, як наша здатність зосередитися на поставленому завданні і не відволікатися на неактуальні вхідні стимули (мій поштовий ящик просто звуковий сигнал??) , і наша здатність вирішувати неоднозначність у вхідних даних шляхом залучення знань вищого рівня для використання на етапах обробки нижчого рівня. Наприклад, якщо ви намагаєтеся шукати компаньйона у великому натовпі людей (наприклад, на спортивному заході або в торговому центрі), ви можете зберегти імідж того, що ви шукаєте (наприклад, червону куртку), що допомагає підвищити відповідну обробку на етапах нижчого рівня. Загальні ефекти двонаправленого зв'язку можуть бути підсумовані з точки зору атрактора динамічного або багаторазового задоволення обмежень, де мережа може починатися в різних різних станах активності, і в кінцевому підсумку «засмоктується» в загальний стан атрактора, представляють собою очищену, стабільну інтерпретацію галасливого або неоднозначного шаблону введення. Напевно, найкращий суб'єктивний досвід цієї динаміки атрактора - це перегляд автостереограми (ПРИМІТКА: посилання на Вікіпедію поки що) - ви просто дивитеся на цей випадковий малюнок із схрещеними очима, поки повільно ваш мозок не почне потрапляти в 3D-атрактор, і зображення повільно з'являється. Основне зображення містить багато індивідуальних збігів випадкових візерунків між двома очима на різних бічних зміщеннях - це обмеження в проблемі задоволення множинних обмежень, які врешті-решт працюють разом, щоб викликати появу 3D-зображення - це 3D-зображення є тим, що найкраще задовольняє всі ці обмеження.
• Інгібуюча конкуренція, опосередкована спеціалізованими інгібуючими інтернейронами, важлива для забезпечення динамічної регуляції загальної мережевої активності, що особливо важливо, коли між нейронами є позитивні петлі зворотного зв'язку, як у випадку двонаправленого зв'язку. Існування епілепсії в неокортексі людини вказує на те, що досягти правильного балансу між гальмуванням і збудженням важко - мозок отримує стільки переваг від цього двонаправленого збудження, що, мабуть, живе прямо на краю управління ним з гальмуванням. Інгібування породжує розріджені розподілені уявлення (маючи відносно невеликий відсоток активних нейронів одночасно, наприклад, 15% або близько того), які мають численні переваги перед розподіленими уявленнями, які мають багато нейронів, активні одночасно. Крім того, ми побачимо в розділі навчання, що гальмування відіграє ключову роль у процесі навчання, аналогічно дарвінівської динаміці «виживання найсильніших», в результаті конкурентної динаміки, виробленої гальмуванням.

Почнемо з короткого огляду біології нейронних мереж в неокортексе.