8.10: Мультимодальне сприйняття

Лорін Лакс

Каліфорнійський державний університет, Фресно

Більшу частину часу ми сприймаємо світ як єдиний пучок відчуттів з декількох сенсорних модальностей. Іншими словами, наше сприйняття мультимодальне. Цей модуль надає огляд мультимодального сприйняття, включаючи інформацію про його нейробіологію та психологічні ефекти.

навчальні цілі

• Визначте основну термінологію та основні принципи мультимодального сприйняття.
• Опишіть нейроанатомію мультисенсорної інтеграції та назвіть деякі ділянки кори та середнього мозку, які були залучені до мультисенсорної обробки.
• Поясніть різницю між мультимодальними явищами і кросмодальними явищами.
• Наведіть приклади мультимодальних і кросмодальних поведінкових ефектів.

Сприйняття: Уніфіковане

Хоча традиційно вивчати різні органи чуття самостійно, більшу частину часу сприйняття діє в контексті інформації, що надається кількома сенсорними модальностями одночасно. Наприклад, уявіть, якщо ви стали свідками зіткнення автомобіля. Ви можете описати стимул, породжений цією подією, розглядаючи кожне з почуттів незалежно; тобто як набір унімодальних подразників. Ваші очі будуть стимулюватися візерунками світлової енергії, що відскакує від автомобілів, що беруть участь. Ваші вуха будуть стимулюватися візерунками акустичної енергії, що виходить від зіткнення. Ваш ніс може навіть стимулюватися запахом палаючої гуми або бензину.

Якби ви були свідком цієї сцени, ви могли б описати її, використовуючи вхідні дані багатьох ваших почуттів. Ваш досвід буде мультимодальним. [Зображення: Фото Грррррр, https://goo.gl/dzfKs8, CC BY-NC-SA 2.0, goo.gl/toc0zf]

Однак вся ця інформація була б актуальною для одного і того ж: вашого сприйняття автомобіля зіткнення. Дійсно, якщо хтось не повинен був прямо попросити вас описати ваше сприйняття в унімодальних умовах, ви, швидше за все, відчуєте подію як єдиний пучок відчуттів від декількох почуттів. Іншими словами, ваше сприйняття було б мультимодальним. Питання полягає в тому, чи обробляються різні джерела інформації, що беруть участь у цьому мультимодальному стимулі, окремо системою сприйняття чи ні.

Протягом останніх кількох десятиліть перцептивні дослідження вказували на важливість мультимодального сприйняття: впливу на сприйняття подій та об'єктів у світі, які спостерігаються, коли є інформація з більш ніж однієї сенсорної модальності. Більшість цих досліджень вказує на те, що в певний момент перцептивної обробки інформація з різних сенсорних модальностей інтегрується. Іншими словами, інформація поєднується і трактується як унітарне представлення світу.

Питання про мультимодальне сприйняття

Кілька теоретичних проблем піднімаються мультимодальним сприйняттям. Адже світ - це «квітучий, гуде світ плутанини», який постійно бомбардує нашу систему сприйняття світлом, звуком, теплом, тиском тощо. Щоб ускладнити ситуацію, ці подразники походять від численних подій, розподілених як у просторі, так і в часі. Повернемося до нашого прикладу: Скажімо, автомобільна аварія, яку ви спостерігали, сталася на Мейн-стріт у вашому місті. Ваше сприйняття під час автомобільної аварії може включати в себе багато стимуляції, яка не мала відношення до автомобільної аварії. Наприклад, ви також можете підслухати розмову сусідньої пари, побачити птаха, що летить на дерево, або відчути смачний аромат свіжоспеченого хліба з сусідньої пекарні (або всіх трьох!). Однак ви, швидше за все, не помилитеся, пов'язуючи будь-який з цих подразників з автомобільною аварією. Насправді ми рідко поєднуємо слухові подразники, пов'язані з однією подією, із зоровими подразниками, пов'язаними з іншою (хоча за деяких унікальних обставин - таких як вентрилоквізм - ми це робимо). Як мозок здатний приймати інформацію з окремих сенсорних модальностей і відповідати їй належним чином, щоб подразники, які належать разом, залишалися разом, тоді як подразники, які не належать разом, розглядаються окремо? Іншими словами, як система сприйняття визначає, які унімодальні стимули повинні бути інтегровані, а які ні?

Після того, як унімодальні стимули були належним чином інтегровані, ми можемо додатково запитати про наслідки цієї інтеграції: Які наслідки мультимодального сприйняття, які не були б присутніми, якби перцептивна обробка була лише унімодальною? Мабуть, найбільш надійна знахідка у вивченні мультимодального сприйняття стосується цього останнього питання. Незалежно від того, чи дивитесь ви на дії нейронів чи поведінку людей, було встановлено, що реакції на мультимодальні подразники, як правило, більші, ніж комбінована реакція на будь-яку модальність незалежно. Іншими словами, якби ви представили стимул в одній модальності за раз і виміряли реакцію на кожен з цих унімодальних стимулів, ви виявили б, що додавання їх разом все одно не зрівняється реакції на мультимодальний стимул. Цей супераддитивний ефект мультисенсорної інтеграції вказує на те, що є наслідки, що виникають внаслідок комплексної обробки мультимодальних подразників.

Ступінь супераддитивного ефекту (іноді його називають мультисенсорним посиленням) визначається силою реакції на модальність єдиного стимулу з найбільшим ефектом. Щоб зрозуміти це поняття, уявіть, що хтось розмовляє з вами в галасливому середовищі (наприклад, на переповненій вечірці). Обговорюючи цей тип мультимодального подразника, часто корисно описати його з точки зору його унімодальних компонентів: У цьому випадку існує слуховий компонент (звуки, що генеруються мовою людини, що говорить з вами) і зорова складова (візуальна форма рухів обличчя як людина говорить з вами). У переповненій вечірці слуховий компонент мови людини може бути важко оброблений (через навколишній партійний шум). Потенціал візуальної інформації про мовлення—читання по слідах - допомогти зрозуміти повідомлення оратора, в цій ситуації, досить великий. Однак, якби ви слухали, як ця ж людина говорить у тихій бібліотеці, слухової частини, ймовірно, було б достатньо для отримання повідомлення, а візуальна частина допомогла б дуже мало, якби взагалі (Sumby & Pollack, 1954). Взагалі, для подразника з мультимодальними компонентами, якщо реакція на кожен компонент (по собі) слабка, то можливість мультисенсорного посилення дуже велика. Однак, якщо одного компонента - сам по собі - достатньо, щоб викликати сильну реакцію, то можливість мультисенсорного підвищення відносно невелика. Цей висновок називається Принцип зворотної ефективності (Stein & Meredith, 1993), оскільки ефективність мультисенсорного підвищення обернено пов'язана з унімодальною реакцією з найбільшим ефектом.

Ще одне важливе теоретичне питання про мультимодальне сприйняття стосується нейробіології, яка його підтримує. Зрештою, в якийсь момент інформація від кожної сенсорної модальності безумовно відокремлена (наприклад, світло надходить через очі, а звук надходить через вуха). Як мозок бере інформацію з різних нервових систем (оптичної, слухової та ін.) І поєднує її? Якщо наш досвід світу є мультимодальним, то це повинно бути так, що в якийсь момент під час перцептивної обробки унімодальна інформація, що надходить від окремих органів чуття - таких як очі, вуха, шкіра - поєднується. Пов'язане питання запитує, де в мозку відбувається ця інтеграція. Переходимо до цих питань в наступному розділі.

Біологічні основи мультимодального сприйняття

Мультисенсорні нейрони та нейронна конвергенція

Для того, щоб ми могли ефективно сприймати світ, нейрони різних органів чуття несуть інформацію, яка інтегрована в мозок. [Зображення: Дарпа, goo.gl/kat7ws, CC0, громадське надбання, goo.gl/m25gce]

Дивно велика кількість областей мозку в середньому мозку і корі головного мозку пов'язані з мультимодальним сприйняттям. Ці регіони містять нейрони, які реагують на подразники не лише з однієї, а з декількох сенсорних модальностей. Наприклад, область, яка називається верхньою скроневою борозною, містить поодинокі нейрони, які реагують як на зоровий, так і на слуховий компоненти мови (Calvert, 2001; Calvert, Hansen, Iversen, & Brammer, 2001). Ці мультисенсорні зони конвергенції цікаві, оскільки вони є своєрідним нейронним перетином інформації, що надходить від різних органів чуття. Тобто нейрони, які присвячені обробці одного сенсу за раз - скажімо, бачення або дотик - надсилають свою інформацію до зон конвергенції, де вона обробляється разом.

Однією з найбільш ретельно вивчених мультисенсорних зон конвергенції є верхній колікулюс (Stein & Meredith, 1993), який отримує входи з багатьох різних областей мозку, включаючи регіони, що беруть участь в унімодальній обробці зорових і слухових подразників (Edwards, Ginsburgh, Henkel, & Stein, 1979) . Цікаво, що верхній колікулюс бере участь у «орієнтуючій відповіді», яка є поведінкою, пов'язаною з переміщенням погляду очей до місця побаченого або почутого подразника. Враховуючи цю функцію для верхнього колікула, навряд чи дивно, що там є мультисенсорні нейрони (Stein & Stanford, 2008).

Кросмодальні сприйнятливі поля

Деталі анатомії та функції мультисенсорних нейронів допомагають відповісти на питання про те, як мозок інтегрує подразники належним чином. Для того, щоб зрозуміти деталі, нам потрібно обговорити сприйнятливе поле нейрона. По всьому мозку можна знайти нейрони, які реагують тільки на подразники, представлені в дуже конкретній області простору, що безпосередньо оточує сприймача. Ця область називається рецептивним полем нейрона. Якщо стимул представлений в рецептивному полі нейрона, то цей нейрон реагує збільшенням або зменшенням швидкості його стрільби. Якщо подразник представлений поза рецептивним полем нейрона, то немає ніякого впливу на швидкість стрільби нейрона. Важливо, що коли два нейрони надсилають свою інформацію третьому нейрону, рецептивне поле третього нейрона - це комбінація рецептивних полів двох вхідних нейронів. Це називається нейронною конвергенцією, оскільки інформація з декількох нейронів сходиться на одному нейроні. У випадку мультисенсорних нейронів конвергенція надходить від різних сенсорних модальностей. Таким чином, рецептивні поля мультисенсорних нейронів - це поєднання рецептивних полів нейронів, розташованих в різних сенсорних шляхах.

Тепер може бути так, що нейронна конвергенція, яка призводить до мультисенсорних нейронів, встановлюється таким чином, що ігнорує розташування сприйнятливих полів вхідних нейронів. Дивно, однак, ці кросмодальні сприйнятливі поля перекриваються. Наприклад, мультисенсорний нейрон у верхньому колікулі може отримувати вхід від двох унімодальних нейронів: одного з зоровим сприйнятливим полем і одного зі слуховим сприйнятливим полем. Було встановлено, що одномодальні сприйнятливі поля відносяться до одних і тих самих місць у просторі, тобто два унімодальних нейрони реагують на подразники в одній області простору. Найважливіше, що перекриття в схрещених сприйнятливих порах відіграє життєво важливу роль у інтеграції кросмодальних стимулів. Коли інформація з окремих модальностей надходить зсередини цих перекриваються сприйнятливих полів, то вона розглядається як прийшла з того ж місця - і нейрон відповідає суперадитивною (посиленою) реакцією. Отже, частина інформації, яка використовується мозком для об'єднання мультимодальних входів, - це місце в просторі, з якого прийшли подразники.

Ця картина поширена для багатьох мультисенсорних нейронів у декількох областях мозку. Через це дослідники визначили просторовий принцип мультисенсорної інтеграції: мультисенсорне посилення спостерігається, коли джерела стимуляції просторово пов'язані один з одним. Пов'язане явище стосується термінів кросмодальних подразників. Ефекти посилення спостерігаються в мультисенсорних нейронів лише тоді, коли входи різних органів чуття надходять протягом короткого часу один від одного (наприклад, Recanzone, 2003).

Мультимодальна обробка в Unimodal Cortex

Мультисенсорні нейрони також спостерігалися поза зоною мультисенсорної конвергенції, в областях мозку, які колись вважалися присвяченими обробці однієї модальності (унімодальної кори). Наприклад, первинна зорова кора довго вважалася присвяченою обробці виключно зорової інформації. Первинна зорова кора є першою зупинкою в корі для інформації, що надходить з очей, тому вона обробляє дуже низькорівневу інформацію, як ребра. Цікаво, що нейрони були виявлені в первинній зоровій корі, яка отримує інформацію від первинної слухової кори (де обробляється звукова інформація з слухового шляху) і від верхньої скроневої борозни (згадана вище зона мультисенсорної конвергенції). Це примітно тим, що вказує на те, що на обробку візуальної інформації з самого раннього етапу впливає слухова інформація.

У людському мозку є зони, де сенсорна інформація об'єднується і інтегрована, такі як слухові, зорові та рухові кори, зображені тут. [Зображення: Брюс Блаус, https://goo.gl/UqKBI3, CC BY 3.0, goo.gl/B58TCB]

Ці мультимодальні взаємодії можуть відбуватися двома способами. По-перше, це може бути, що обробка слухової інформації на відносно пізніх стадіях обробки повертається до впливу низькорівневої обробки зорової інформації в унімодальній корі (McDonald, Teder-Sälejärvi, Russo, & Hillyard, 2003). Крім того, може бути, що ділянки унімодальної кори безпосередньо контактують один з одним (Driver & Noesselt, 2008; Macaluso & Driver, 2005), таким чином, що мультимодальна інтеграція є фундаментальним компонентом всієї сенсорної обробки.

Насправді велика кількість мультисенсорних нейронів, розподілених по всій корі - в мультисенсорних районах конвергенції та в первинних кортиках - змусила деяких дослідників припустити, що необхідна різка реконцептуалізація мозку (Ghazanfar & Schroeder, 2006). Вони стверджують, що кору не слід розглядати як поділену на ізольовані області, які обробляють лише один вид сенсорної інформації. Швидше за все, вони пропонують, що ці області воліють лише обробляти інформацію з конкретних модальностей, але займатися мультисенсорною обробкою низького рівня, коли це корисно для сприймача (Vasconcelos et al., 2011).

Поведінкові ефекти мультимодального сприйняття

Хоча нейробіологи схильні вивчати дуже прості взаємодії між нейронами, той факт, що вони виявили стільки кросмодальних областей кори, здається, натякає на те, що спосіб, який ми переживаємо світ, є принципово мультимодальним. Як обговорювалося вище, наші інтуїції щодо сприйняття відповідають цьому; не здається, що наше сприйняття подій обмежується сприйняттям кожної сенсорної модальності незалежно. Швидше, ми сприймаємо єдиний світ, незалежно від сенсорної модальності, через яку ми його сприймаємо.

Ймовірно, знадобиться ще багато років досліджень, перш ніж неврологи розкриють всі деталі нейронної техніки, що беруть участь у цьому єдиному досвіді. Тим часом експериментальні психологи внесли свій вклад в наше розуміння мультимодального сприйняття шляхом дослідження поведінкових ефектів, пов'язаних з ним. Ці ефекти діляться на два широкі класи. Перший клас - мультимодальні явища - стосується зв'язування входів з декількох сенсорних модальностей та впливу цього прив'язки на сприйняття. Другий клас - кросмодальні явища - стосується впливу однієї сенсорної модальності на сприйняття іншого (Spence, Senkowski, & Roder, 2009).

Мультимодальні явища

Аудіовізуальна мова

Мультимодальні явища стосуються подразників, які генерують одночасну (або майже одночасну) інформацію в більш ніж одній сенсорній модальності. Як обговорювалося вище, мова є класичним прикладом такого роду подразника. Коли людина говорить, вона генерує звукові хвилі, які несуть змістовну інформацію. Якщо сприймач також дивиться на мовця, то цей сприймач також має доступ до візуальних шаблонів, які несуть змістовну інформацію. Звичайно, як знає кожен, хто коли-небудь намагався поширюватися, існують обмеження на те, наскільки інформативна візуальна мова інформація. Незважаючи на це, лише візуального мовлення достатньо для дуже міцного сприйняття мови. Більшість людей припускають, що глухі люди набагато краще читають ліпи, ніж люди з нормальним слухом. Однак може стати несподіванкою дізнатися, що деякі люди з нормальним слухом також надзвичайно добре вміють читати ліпи (іноді їх називають «читанням мови»). Насправді існує широкий спектр можливостей читання мовлення як у нормальному слуху, так і у глухих людей (Andersson, Lyxell, Rönnberg, & Spens, 2001). Однак причини цього широкого діапазону продуктивності недостатньо зрозумілі (Auer & Bernstein, 2007; Bernstein, 2006; Bernstein, Auer, & Tucker, 2001; Mohammed et al., 2005).

У галасливому та погано освітленому середовищі, такому як нічний клуб, щоб розмовляти, ми покладаємось на аудіовізуальну промову, щоб зрозуміти інших. [Зображення: Джеремі Кіт, https://goo.gl/18sLfg, CC BY 2.0, goo.gl/v4y0zv]

Як зорова інформація про мову взаємодіє зі слуховою інформацією про мову? Одне з найбільш ранніх розслідувань цього питання розглядало точність розпізнавання вимовлених слів, представлених в галасливому контексті, так само, як у прикладі вище про розмови на переповненій вечірці. Для експериментального вивчення цього явища учасникам було представлено деякий нерелевантний шум («білий шум» - який звучить як радіо, налаштоване між станціями). Вбудовані в білий шум були вимовлені слова, а завдання учасників полягало в тому, щоб визначити слова. Існували дві умови: одне, при якому був представлений лише слуховий компонент слів (стан «слуховий - один»), і одне як в слуховому, так і в зоровому компонентах (стан «аудіовізуальний»). Рівні шуму також були різними, так що на деяких випробуваннях шум був дуже гучним щодо гучності слів, а на інших випробуваннях шум був дуже м'яким щодо слів. Sumby and Pollack (1954) виявили, що точність ідентифікації вимовлених слів була набагато вищою для аудіовізуального стану, ніж це було в слуховому стані. Крім того, модель результатів відповідала принципу зворотної ефективності: перевага, отримана аудіовізуальною презентацією, була найвищою, коли показники слухового стану були найнижчими (тобто, коли шум був найгучнішим). На цих рівнях шуму аудіовізуальна перевага була значною: було підраховано, що дозволити учаснику бачити динамік було еквівалентно зменшенню гучності шуму більш ніж наполовину. Зрозуміло, що аудіовізуальна перевага може мати драматичний вплив на поведінку.

Ще одним явищем, що використовує аудіовізуальну мову, є дуже відома ілюзія під назвою «ефект Макгерка» (названа на честь одного з його першовідкривачів). У класичному формулюванні ілюзії записується фільм мовця, який вимовляє склади «гага». Інший фільм зроблений з того ж оратора, який вимовляє склади «баба». Потім слухова частина фільму «баба» дублюється на візуальну частину фільму «Гага». Цей комбінований стимул представлений учасникам, яких просять повідомити про те, що сказав спікер у фільмі. Макгерк і Макдональд (1976) повідомили, що 98 відсотків їхніх учасників повідомили, що чули склад «дада» - який не був ні в зорових, ні слухових компонентах стимулу. Ці результати вказують на те, що коли зорова та слухова інформація про мовлення інтегрована, вона може мати глибокий вплив на сприйняття.

Тактильні/візуальні взаємодії у власності на тіло

Однак не всі явища мультисенсорної інтеграції стосуються мови. Одна особливо переконлива мультисенсорна ілюзія передбачає інтеграцію тактильної та зорової інформації в сприйняття власності тіла. У «ілюзії гумової руки» (Botvinick & Cohen, 1998) спостерігач розташований так, що одну з його рук не видно. Підроблена гумова рука поміщається біля затемненої руки, але на видимому місці. Потім експериментатор використовує легкий пензель, щоб одночасно погладити затемнену руку та гумову руку в тих же місцях. Наприклад, якщо чистити середній палець затемненої руки, то середній палець гумової руки теж буде почищений. Це встановлює відповідність між тактильними відчуттями (що виходять від затемненої руки) і зоровими відчуттями (гумової руки). Через короткий час (близько 10 хвилин) учасники повідомляють про відчуття, ніби гумова рука «належить» їм; тобто, що гумова рука є частиною їхнього тіла. Це почуття може бути настільки сильним, що здивування учасника, вдаривши гумову руку молотком, часто призводить до рефлексивного відведення затемненої руки - хоча це взагалі не загрожує. Виявляється, що наше усвідомлення власних тіл може бути результатом мультисенсорної інтеграції.

Кросмодальні явища

Кросмодальні явища відрізняються від мультимодальних явищ тим, що вони стосуються впливу однієї сенсорної модальності на сприйняття іншої.

Візуальний вплив на локалізацію слуху

Чревоцісти здатні обманювати нас, повіривши, що те, що ми бачимо і що чуємо, те саме, де, по правді кажучи, їх немає. [Зображення: Аманда Феррелл, CC0, громадське надбання, goo.gl/m25gce]

Знаменита (і зазвичай досвідчена) кросмодальна ілюзія називається «ефектом вентрилокізму». Коли шлуночок з'являється, щоб змусити ляльку говорити, вона обманює слухача, думаючи, що місце походження мовних звуків знаходиться в роті ляльки. Іншими словами, замість того, щоб локалізувати слуховий сигнал (що надходить з рота шлуночка) на правильне місце, наша система сприйняття локалізує його неправильно (до рота маріонетки).

Чому це може статися? Розглянемо наявну у спостерігача інформацію про розташування двох складових подразника: звуків з рота шлуночка і зоровому русі рота маріонетки. Тоді як дуже очевидно, звідки походить зоровий подразник (тому що ви його бачите), набагато складніше точно визначити місце розташування звуків. Іншими словами, дуже точне візуальне розташування руху рота, мабуть, перекриває менш чітко визначене розташування слухової інформації. Більш загалом було встановлено, що на розташування найрізноманітніших слухових подразників може впливати одночасне представлення зорового подразника (Vroomen & De Gelder, 2004). Крім того, ефект вентрилокізму був продемонстрований для об'єктів, що знаходяться в русі: Рух зорового об'єкта може впливати на сприйнятий напрямок руху рухомого джерела звуку (Soto-Faraco, Kingstone, & Spence, 2003).

Слуховий вплив на зорове сприйняття

Родинна ілюзія демонструє зворотний ефект: де звуки впливають на зорове сприйняття. У ілюзії подвійного спалаху учасника просять дивитися в центральну точку на моніторі комп'ютера. На крайньому краю зору учасника один раз коротко миготить білий коло. Існує і одночасне слухове подія: або один звуковий сигнал, або два звукових сигналу в швидкій послідовності. Примітно, що учасники повідомляють, що бачать дві візуальні спалахи, коли спалах супроводжується двома звуковими сигналами; той самий стимул розглядається як один спалах у контексті одного звукового сигналу або відсутності звукового сигналу (Shams, Kamitani, & Shimojo, 2000). Іншими словами, кількість почутих гудків впливає на кількість побачених спалахів!

Інша ілюзія передбачає сприйняття зіткнень між двома колами (званими «кульками»), що рухаються назустріч один одному і тривають один через одного. Такі подразники можуть сприйматися або як дві кулі, що рухаються один через одного, або як зіткнення між двома кульками, які потім відскакують один від одного в протилежні сторони. Sekuler, Sekuler, and Lau (1997) показали, що представлення слухового подразника в момент контакту між двома кульками сильно вплинуло на сприйняття події зіткнення. При цьому сприймається звук впливає на інтерпретацію неоднозначного зорового подразника.

Кросмодальна мова

Експерименти продемонстрували, що, просто спостерігаючи за оратором, без слухової інформації, ми можемо зібрати важливі підказки про фактичний звук їхнього голосу. [Кен Уїток, https://goo.gl/VQJssP, CC BY-NC 2.0, goo.gl/TGFYDH]

Також було виявлено кілька кросмодальних явищ для мовних подразників. Ці кросмодальні мовні ефекти зазвичай показують змінену перцептивну обробку унімодальних подразників (наприклад, акустичних моделей) в силу попереднього досвіду з альтернативним унімодальним стимулом (наприклад, оптичними візерунками). Наприклад, Розенблюм, Міллер і Санчес (2007) провели експеримент, вивчаючи здатність ознайомитись з голосом людини. Їх перша цікава знахідка була унімодальною: Так само, як і те, що відбувається, коли хтось неодноразово чує, як людина говорить, сприймачі можуть ознайомитися з «візуальним голосом» мовця. Тобто вони можуть ознайомитись зі стилем розмови людини, просто побачивши, що людина говорить. Ще більш вражаючою була їх кросмодальна знахідка: Знайомство з цією візуальною інформацією також призвело до посилення розпізнавання слухової мови мовця, до якої учасники ніколи не мали впливу.

Аналогічно було показано, що коли сприймачі бачать обличчя, що говорить, вони можуть ідентифікувати (слуховий) голос цього мовця, і навпаки (Камачі, Хілл, Ландер, & Ватикіотіс-Бейтсон, 2003; Lachs & Pisoni, 2004a, 2004b, 2004c; Розенблюм, Сміт, Ніколс, Лі, і Хейл, 2006). Іншими словами, візуальна форма оратора, який займається актом мовлення, схоже, містить інформацію про те, як повинен звучати цей оратор. Можливо, що більш дивно, що слухова форма мови як би містить інформацію про те, як повинен виглядати оратор.

Висновок

У цьому модулі ми розглянули деякі основні докази та висновки щодо ролі мультимодального сприйняття у нашому світовому досвіді. Схоже, що наша нервова система (і кора зокрема) містить значну архітектуру для обробки інформації, що надходить від багатьох органів чуття. З огляду на цю нейробіологічну установку, і різноманітність поведінкових явищ, пов'язаних з мультимодальними подразниками, цілком ймовірно, що дослідження мультимодального сприйняття і надалі буде предметом інтересу в області експериментального сприйняття на довгі роки.

Зовнішні ресурси

Стаття: Огляд нейроанатомії та методів, пов'язаних з мультимодальним сприйняттям:

http://dx.doi.org/10.1016/j.neubiorev.2011.04.015

Журнал: Експериментальні дослідження мозку Спеціальний випуск: Кросмодальна обробка

www.springerlink.com/зміст/0014-4819/198/2-3

TED Talk: Оптичні ілюзії

http://www.ted.com/talks/beau_lotto_...how_how_we_see

Відео: Демо Макгерка

Відео: Ілюзія гумових рук

Web: демонстраційна ілюзія подвійного спалаху

http://www.cns.atr.jp/~kmtn/soundInd...llusoryFlash2/

Питання для обговорення

1. Розгалужена мережа мультисенсорних областей та нейронів у корі передбачає, що велика перцептивна обробка відбувається в контексті декількох входів. Чи може обробка унімодальної інформації коли-небудь бути корисною? Чому чи чому ні?
2. Деякі дослідники стверджували, що Принцип зворотної ефективності (PoIe) є результатом стельових ефектів: мультисенсорне підвищення не може відбуватися, коли одна модальність достатня для обробки, оскільки в таких випадках неможливо покращити обробку (оскільки продуктивність вже на» стелю»). З іншого боку, інші дослідники стверджують, що POIE випливає зі здатності системи сприйняття оцінювати відносну цінність стимулюючих сигналів та використовувати найбільш надійні джерела інформації для побудови уявлення про зовнішній світ. Як ви думаєте? Чи можуть ці дві можливості коли-небудь дражнити один від одного? Які експерименти можна було б провести, щоб спробувати отримати в цьому питанні?
3. В кінці 17 століття вчений на ім'я Вільям Моліне поставив відомому філософу Джону Локку питання, актуальне для сучасних досліджень мультисенсорної обробки. Питання полягало в наступному: уявіть людину, яка була сліпим з народження, і яка здатна в силу почуття дотику ідентифікувати тривимірні форми, такі як сфери або піраміди. А тепер уявіть, що ця людина раптом отримує здатність бачити. Чи зможе людина, не використовуючи почуття дотику, візуально ідентифікувати ті самі форми? Чи можуть сучасні дослідження мультимодального сприйняття допомогти відповісти на це питання? Чому чи чому ні? Як дослідження про кросмодальні явища інформують нас про відповідь на це питання?

Лексика

Підстрибуючі кулі ілюзія

Тенденція сприймати два кола як відскакують один від одного, якщо момент їх зіткнення супроводжується слуховим подразником.

Кросмодальні явища

Ефекти, які стосуються впливу сприйняття однієї сенсорної модальності на сприйняття іншої.

Кросмодальне сприйнятливе поле

Сприйнятливе поле, яке можна стимулювати стимулом з більш ніж однієї сенсорної модальності.

Кросмодальний стимул

Стимул з компонентами в декількох сенсорних модальностей, які взаємодіють один з одним.

Подвійна ілюзія спалаху

Помилкове сприйняття двох зорових спалахів, коли одна спалах супроводжується двома слуховими звуковими сигналами.

Інтегрований

Процес, за допомогою якого система сприйняття поєднує інформацію, що виникає з більш ніж однієї модальності.

Ефект Макгерка

Ефект, при якому суперечливі зорові та слухові компоненти мовного подразника призводять до ілюзорного сприйняття.

Мультимодальні

З або відносяться до декількох сенсорних модальностей.

Мультимодальне сприйняття

Вплив, який одночасна стимуляція в більш ніж одній сенсорній модальності надає на сприйняття подій та предметів у світі.

Мультимодальні явища

Ефекти, які стосуються зв'язування входів з декількох сенсорних модальностей.

Зони мультисенсорної конвергенції

Регіони мозку, які отримують вхід з декількох унімодальних областей, що обробляють різні сенсорні модальності.

мультисенсорне підвищення

Див. «Супераддитивний ефект мультисенсорної інтеграції».

Первинна слухова кора

Область кори, присвячена обробці простої слухової інформації.

Первинна зорова кора

Область кори, присвячена обробці простої зорової інформації.

Принцип зворотної ефективності

Висновок про те, що в цілому для мультимодального стимулу, якщо реакція на кожен унімодальний компонент (по собі) слабка, то можливість мультисенсорного посилення дуже велика. Однак якщо одного компонента - самого по собі - достатньо, щоб викликати сильну реакцію, то вплив на реакцію, отриману одночасною обробкою інших компонентів стимулу, буде відносно невеликим.

Сприйнятливе поле

Частина світу, на яку реагуватиме нейрон, якщо там присутній відповідний стимул.

Гумова рука ілюзія

Помилкове сприйняття фальшивої руки як належності до сприймача, обумовлене мультимодальною сенсорною інформацією.

Сенсорні модальності

Тип почуття; наприклад, бачення або прослуховування.

Просторовий принцип мультисенсорної інтеграції

Виявлено, що суперадитивні ефекти мультисенсорної інтеграції спостерігаються, коли джерела стимуляції просторово пов'язані один з одним.

Супераддитивний ефект мультисенсорної інтеграції

Висновок, що відповіді на мультимодальні стимули, як правило, більше, ніж сума незалежних відповідей на кожен унімодальний компонент, якщо вона була представлена самостійно.

Унімодальний

З або відноситься до однієї сенсорної модальності.

Унімодальні компоненти

Частини стимулу, що мають відношення до однієї сенсорної модальності за раз.

Унімодальна кора

Область мозку, присвячена обробці інформації з єдиної сенсорної модальності.

Посилання

• Андерссон, У., Лікселл, Б., Реннберг, Дж., & Спенс, К.-Е. (2001). Когнітивні кореляти розуміння зорового мовлення у осіб з вадами слуху. Журнал глухих досліджень та освіти глухих, 6 (2), 103—116. doi: 10.1093/глухий/6.2.103
• Ауер, Е.Т., молодший, і Бернштейн, Л.Е. (2007). Покращене сприйняття зорового мовлення у осіб з раннім порушенням слуху. Журнал досліджень мови, мови та слуху, 50 (5), 1157—1165. doi: 10.1044/1092-4388 (2007/080)
• Бернштейн, Л.Е. Візуальне сприйняття мови. У Е. Ватикіотіс-Бейтсон, Г. Бейлі, & П. Пер'є (ред.), Аудіо-візуальна обробка мовлення. Кембридж, Массачусетс: MIT Press.
• Бернштейн, Л.Е., Ауер, Е.Т., молодший, і Такер, П.Е. (2001). Покращене читання мови у глухих дорослих: Чи може короткочасне навчання/практика закрити розрив для слуху дорослих? Журнал досліджень мови, мови та слуху, 44, 5—18.
• Ботвінік, М., Коен Дж. (1998). Гумові руки /`відчувають/' торкаються того, що бачать очі [10.1038/35784]. Природа, 391 (6669), 756—756.
• Калверт, Г.А. (2001). Кросмодальна обробка в мозку людини: Висновки з функціональних нейровізуалізаційних досліджень. Кора головного мозку, 11, 1110—1123.
• Калверт, Г.А., Хансен, П.К., Іверсен, С.Д., і Браммер, М.Дж. (2001). Виявлення сайтів аудіовізуальної інтеграції у людини шляхом застосування електрофізіологічних критеріїв до жирного ефекту. Нейрообраз, 14 (2), 427—438. Номер: 10.1006/німг.2001.0812
• Драйвер, Дж., Носсельт Т. Мультисенсорна взаємодія виявляє кросмодальні впливи на «сенсорно-специфічні» ділянки мозку, нейронні реакції та судження. Нейрон, 57 (1), 11—23. Доіо: 10.1016/дж.нейрон.2007.12.013
• Едвардс, С.Б., Гінсбург, К.Л., Хенкель, К.К., і Стайн, Б.Е. (1979). Джерела підкіркових проекцій до верхнього колікулюса у кішки. Журнал порівняльної неврології, 184 (2), 309—329. doi: 10.1002/cne.901840207
• Газанфар А.А., Шредер К.Е. (2006). Чи є неокортекс по суті мультисенсорним? ТЕНДЕНЦІЇ в когнітивних науках, 10 (6), 278-285. doi: 10.1016/j.tics.2006.04.008
• Камачі, М., Хілл, Х., Ландер, К., & Ватикіотіс-Бейтсон, Е. «Покладання обличчя до голосу»: Відповідність ідентичності через модальність. Сучасна біологія, 13, 1709—1714.
• Лакс, Л., Пісоні, Д.Б. (2004а). Кросмодальна ідентифікація джерел у сприйнятті мови. Екологічна психологія, 16 (3), 159—187.
• Лакс, Л., Пісоні, Д.Б. (2004b). Кросмодальна вихідна інформація та розпізнавання розмовних слів. Журнал експериментальної психології: сприйняття та продуктивність людини, 30 (2), 378—396.
• Лакс, Л., Пісоні, Д.Б. (2004 р.). Специфікація кросмодальної вихідної інформації в ізольованих кінематичних дисплеях мови. Журнал Акустичного товариства Америки, 116 (1), 507—518.
• Макалузо, Е., & Драйвер, Дж. (2005). Мультисенсорні просторові взаємодії: вікно функціональної інтеграції в мозку людини. Тенденції в нейронауках, 28 (5), 264—271. doi: 10.1016/j.tins.2005.03.008
• Макдональд, Дж., Тедер-Сялеярві, В.А., Руссо, Ф.Д., і Хіллярд, С.А. (2003). Нейронні субстрати підвищення сприйняття за допомогою крос-модальної просторової уваги. Журнал когнітивної неврології, 15 (1), 10—19. doi: 10.1162/089892903321107783
• Макгерк, Х., і Макдональд, Дж. (1976). Почувши губи і бачачи голоси. Природа, 264, 746—748.
• Мохаммед, Т., Кемпбелл, Р., Максуїні, М., Мілн, Е., Хансен, П., і Коулман, М. (2005). Навичка читання мови та чутливість до зорового руху пов'язані з глухими читачами мови. Сприйняття, 34 (2), 205—216.
• Реканцоне, Г.Х. (2003). Слуховий вплив на візуальне сприйняття темпоральної швидкості. Журнал нейрофізіології, 89 (2), 1078—1093. doi: 10.1152/jn.00706.2002
• Розенблюм, Л.Д., Міллер, Р.М., і Санчес, К. Lip-читай мене зараз, почуй мене краще пізніше: Крос-модальна передача ефектів знайомства базік. Психологічна наука, 18 (5), 392—396.
• Розенблюм, Л.Д., Сміт, Н.М., Ніколс, С.М., Лі, Дж., і Хейл, С. (2006). Слухання обличчя: Крос-модальний спікер узгодження з використанням ізольованої видимої мови. Сприйняття & Психофізика, 68, 84—93.
• Секулер, Р., Секюлер, А.Б., Лау, Р. (1997). Звук змінює візуальне сприйняття руху. [10.1038/385308a0]. Природа, 385 (6614), 308—308.
• Шамс Л., Камітані Ю., & Шимоджо С. Ілюзії. Те, що ви бачите, - це те, що ви чуєте. Природа, 408 (6814), 788. Код: 10.1038/35048669
• Сото-Фарако, С., Кінгстоун, А., & Спенс, К. Мультисенсорний внесок в сприйняття руху. Нейропсихологія, 41 (13), 1847—1862. дої: 10.1016/с0028-3932 (03) 00185-4
• Спенс, К., Сенковський, Д., & Родер, Б. (2009). Кросмодальна обробка. [Редакційний вступний]. Експериментальні дослідження мозку, 1998 (2-3), 107—111. doi: 10.1007/s00221-009-1973—4
• Стайн, Б.Е., Мередіт, М.А. (1993). Злиття почуттів. Кембридж, Массачусетс: Преса MIT.
• Стайн, Б.Е., і Стенфорд, Т. Р. (2008). Мультисенсорна інтеграція: Сучасні питання з точки зору єдиного нейрона [10.1038/nrn2331]. Природа огляди неврології, 9 (4), 255—266.
• Сумбі, В.Х., Поллак І. (1954). Візуальний внесок розбірливості мови в шумі. Журнал Акустичного товариства Америки, 26, 212—215.
• Васконселос, Н., Пантоха, Дж., Бельхіор, Х., Кайшета, Ф.В., Фабер, Дж., Фрейре, М. Рібейро С. Крос-модальні реакції в первинній зоровій корі кодують складні об'єкти і корелюють з тактильною дискримінацією. Збірник наукових праць Національної академії наук, 108 (37), 15408—15413. доі: 10.1073/pnas.1102780108
• Воромен, Дж., і Де Гелдер, Б. (2004). Перцептивні ефекти крос-модальної стимуляції: вентрилокізм та явище заморожування. В Г. Калверт, Спенс, Б.Е. Штейн (ред.), Довідник мультисенсорних процесів. Кембридж, Массачусетс: MIT Press.