Skip to main content
LibreTexts - Ukrayinska

10.5: Мультисенсорне сприйняття

  1. Last updated
  2. Save as PDF
  • Page ID
    88565

    • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

    1.png
    Малюнок 19. Те, як ми отримуємо інформацію зі світу, називається сенсацією, тоді як наша інтерпретація цієї інформації називається сприйняттям. [Зображення: Лоуренс ван Лішу]

    Хоча традиційно вивчати різні органи чуття самостійно, більшу частину часу сприйняття діє в контексті інформації, що надається кількома сенсорними модальностями одночасно. Наприклад, уявіть, якщо ви стали свідками зіткнення автомобіля. Ви можете описати стимул, породжений цією подією, розглядаючи кожне з почуттів незалежно; тобто як набір унімодальних подразників. Ваші очі будуть стимулюватися візерунками світлової енергії, що відскакує від автомобілів, що беруть участь. Ваші вуха будуть стимулюватися візерунками акустичної енергії, що виходить від зіткнення. Ваш ніс може навіть стимулюватися запахом палаючої гуми або бензину. Однак вся ця інформація була б актуальною для одного і того ж: вашого сприйняття автомобіля зіткнення. Дійсно, якщо хтось не повинен був прямо попросити вас описати ваше сприйняття в унімодальних умовах, ви, швидше за все, відчуєте подію як єдиний пучок відчуттів від декількох почуттів. Іншими словами, ваше сприйняття буде мультимодальним. Питання полягає в тому, чи обробляються різні джерела інформації, що беруть участь у цьому мультимодальному стимулі, окремо системою сприйняття чи ні.

    Протягом останніх кількох десятиліть перцептивні дослідження вказували на важливість мультимодального сприйняття: впливу на сприйняття подій та об'єктів у світі, які спостерігаються, коли є інформація з більш ніж однієї сенсорної модальності. Більшість цих досліджень вказує на те, що в певний момент перцептивної обробки інформація з різних сенсорних модальностей інтегрується. Іншими словами, інформація поєднується і трактується як унітарне представлення світу.

    Поведінкові ефекти мультимодального сприйняття

    Хоча нейробіологи схильні вивчати дуже прості взаємодії між нейронами, той факт, що вони виявили стільки кросмодальних областей кори, здається, натякає на те, що спосіб, який ми переживаємо світ, є принципово мультимодальним. Наші інтуїції щодо сприйняття узгоджуються з цим; не здається, що наше сприйняття подій обмежується сприйняттям кожної сенсорної модальності незалежно. Швидше, ми сприймаємо єдиний світ, незалежно від сенсорної модальності, через яку ми його сприймаємо.

    Ймовірно, знадобиться ще багато років досліджень, перш ніж неврологи розкриють всі деталі нейронної техніки, що беруть участь у цьому єдиному досвіді. Тим часом експериментальні психологи внесли свій вклад в наше розуміння мультимодального сприйняття шляхом дослідження поведінкових ефектів, пов'язаних з ним. Ці ефекти діляться на два широкі класи. Перший клас - мультимодальні явища - стосується зв'язування входів з декількох сенсорних модальностей та впливу цього прив'язки на сприйняття. Другий клас - кросмодальні явища - стосується впливу однієї сенсорної модальності на сприйняття іншого (Spence, Senkowski, & Roder, 2009).

    Мультимодальні явища

    Аудіовізуальна мова

    Мультимодальні явища стосуються подразників, які генерують одночасну (або майже одночасну) інформацію в більш ніж одній сенсорній модальності. Як обговорювалося вище, мова є класичним прикладом такого роду подразника. Коли людина говорить, вона генерує звукові хвилі, які несуть змістовну інформацію. Якщо сприймач також дивиться на мовця, то цей сприймач також має доступ до візуальних шаблонів, які несуть змістовну інформацію. Звичайно, як знає кожен, хто коли-небудь намагався поширюватися, існують обмеження на те, наскільки інформативна візуальна мова інформація.

    Незважаючи на це, лише візуального мовлення достатньо для дуже міцного сприйняття мови. Більшість людей припускають, що глухі люди набагато краще читають ліпи, ніж люди з нормальним слухом. Однак може стати несподіванкою дізнатися, що деякі люди з нормальним слухом також надзвичайно гарні при читанні ліпа (іноді їх називають «читанням мови»). Насправді існує широкий спектр можливостей читання мовлення як у нормальному слуху, так і у глухих людей (Andersson, Lyxell, Rönnberg, & Spens, 2001). Однак причини цього широкого діапазону продуктивності недостатньо зрозумілі (Auer & Bernstein, 2007; Bernstein, 2006; Bernstein, Auer, & Tucker, 2001; Mohammed et al., 2005).

    Як зорова інформація про мову взаємодіє зі слуховою інформацією про мову? Одне з найбільш ранніх розслідувань цього питання розглядало точність розпізнавання вимовлених слів, представлених в галасливому контексті, так само, як у прикладі вище про розмови на переповненій вечірці. Для експериментального вивчення цього явища учасникам було представлено деякий нерелевантний шум («білий шум» - який звучить як радіо, налаштоване між станціями). Вбудовані в білий шум були вимовлені слова, а завдання учасників полягало в тому, щоб визначити слова. Існували дві умови: одне, при якому був представлений лише слуховий компонент слів (стан «слуховий - один»), і одне як в слуховому, так і в зоровому компонентах (стан «аудіовізуальний»). Рівні шуму також були різними, так що на деяких випробуваннях шум був дуже гучним щодо гучності слів, а на інших випробуваннях шум був дуже м'яким щодо слів. Sumby and Pollack (1954) виявили, що точність ідентифікації вимовлених слів була набагато вищою для аудіовізуального стану, ніж це було в слуховому стані. Крім того, модель результатів відповідала принципу зворотної ефективності: перевага, отримана аудіовізуальною презентацією, була найвищою, коли показники слухового стану були найнижчими (тобто, коли шум був найгучнішим). На цих рівнях шуму аудіовізуальна перевага була значною: було підраховано, що дозволити учаснику бачити динамік було еквівалентно зменшенню гучності шуму більш ніж наполовину. Зрозуміло, що аудіовізуальна перевага може мати драматичний вплив на поведінку.

    Ще одним явищем, що використовує аудіовізуальну мову, є дуже відома ілюзія під назвою «ефект Макгерка» (названа на честь одного з його першовідкривачів). У класичному формулюванні ілюзії записується фільм мовця, який вимовляє склади «гага». Інший фільм зроблений з того ж оратора, який вимовляє склади «баба». Потім слухова частина фільму «баба» дублюється на візуальну частину фільму «Гага». Цей комбінований стимул представлений учасникам, яких просять повідомити про те, що сказав спікер у фільмі. Макгерк і Макдональд (1976) повідомили, що 98 відсотків їхніх учасників повідомили, що чули склад «дада» - який не був ні в зорових, ні слухових компонентах стимулу. Ці результати вказують на те, що коли зорова та слухова інформація про мовлення інтегрована, вона може мати глибокий вплив на сприйняття.

    Інтерактивний елемент

    Перегляньте це відео, щоб побачити приклад ефекту Макгерка.