9.6: Синтаксис і семантика в гештальті речення

Last updated
Save as PDF

Page ID: 72662

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

Малюнок\(9.10\): Синтаксична діаграма основного речення. S = речення; NP = іменна фраза; Мистецтво = стаття; N = іменник; ВП = дієслівна фраза; V = дієслово.

Освітливши деякі цікаві властивості мови на рівні окремих слів, ми тепер зробимо на одну сходинку вище, до рівня пропозицій. Цей крок приносить нам віч-на-віч з тернистим питанням синтаксису. Традиційний підхід до синтаксису передбачає, що люди збирають щось схоже на ті древоподібні синтаксичні структури, які ви вивчили (а може і ні) в школі (рис. 9.10). Але враховуючи, що цим речам потрібно чітко навчати, і, здається, не є найбільш природним способом мислення для багатьох людей, здається малоймовірним, що саме так наш мозок насправді обробляє мову.

Ці синтаксичні структури також припускають здатність до зв'язування ролей наповнювача, що насправді досить складно досягти в нейронних мережах. Наприклад, припущення полягає в тому, що ви якимось чином «прив'язуєте» іменник boy в змінну проріз, який позначений, щоб містити предмет пропозиції. І як тільки ви перейдете до наступного речення, ця прив'язка замінюється наступним. Це постійне прив'язування та відв'язування скоріше схоже на обертання колеса на автомобілі - воно, як правило, розриває все, що інакше може спробувати прикріпити до колеса. Однією з важливих причин у людей замість коліс є те, що нам потрібно забезпечити ті ноги кровопостачанням, нервами тощо, які не змогли пережити обертання колеса. Аналогічно, наші нейрони процвітають, розвиваючи довгострокові стабільні зв'язки через фізичні синапси, і не добре справляються з цим швидким процесом зв'язування та розв'язки. Ми зосереджуємося на цих питаннях більш глибоко в розділі виконавчої функції.

Альтернативний спосіб мислення про обробку речень, який базується більш безпосередньо на принципах нейронної мережі, відображений у моделі гештальту речення Сент-Джон і Макклелланд (1990). Ключова ідея полягає в тому, що і синтаксис, і семантика зливаються в розвивається розподілене уявлення, яке захоплює загальне гештальтне значення речення, не вимагаючи всіх точних синтаксичних прив'язок, передбачуваних у традиційному підході. Ми явно не прив'язуємо хлопчика до суб'єкта, а скоріше кодуємо більший сенс загального речення, що означає, що хлопчик є суб'єктом (а точніше, агентом), тому що він займається переслідуванням.

Однією з переваг такого способу мислення є те, що він більш природно займається всією неоднозначністю, що оточує процес розбору синтаксису, де специфічна семантика збору слів може кардинально змінити синтаксичну інтерпретацію. Класичною демонстрацією цієї неоднозначності є пропозиція:

Час летить, як стріла.

що може здатися не дуже неоднозначним, поки ви не розглянете альтернативи, такі як:

Плодові мухи люблять банан.

Слово мухи може бути як дієсловом, так і іменником в залежності від смислового контексту. Подальші роздуми виявляють ще кілька неоднозначних тлумачень першого речення, які весело захопити ваш мозок під час перечитування речення. Інший приклад з Rohde (2002):

Шльопанці виявила галаслива собака.
Тапочки виявив сплячий пес.

всього лише одна тонка зміна слова передає весь сенс речення, від того, де собака є агентом, до того, де вона відіграє більш периферійну роль (точний синтаксичний термін, для якого авторам невідомий).

Якщо ви не морочитеся з синтаксичним розбором в першу чергу, а просто намагаєтеся вловити сенс пропозиції, то жодна ця неоднозначність насправді не має значення. Значення речення, як правило, набагато менш неоднозначне, ніж синтаксичний розбір - отримання синтаксису точно правильно вимагає зробити багато дрібнозернистих відмінностей, які люди можуть насправді не турбувати. Але сенс залежить від точної комбінації слів, тому в реченні є багато нового значення - ось ще один приклад з Rohde (2002), де два речення синтаксично ідентичні, але мають дуже різне значення:

Нарешті ми укладаємо дитину спати.
Нарешті укладаємо собаку спати.

Поняття семантично орієнтованого гештальтного представлення речення здається привабливим, але поки реалізована модель насправді не показує, що така річ насправді працює, це все просто приємна історія. The St John & McClelland (1990) модель демонструє, що розподілене уявлення, що формується поступово, коли слова обробляються у реченні, може бути використано для відповіді на різні запитання щодо розуміння цього речення. Однак він робить це, використовуючи дуже малий простір мови, і незрозуміло, наскільки добре він узагальнюється до нових слів, або масштабується до більш реалістично складної мови. Більш складна модель Rohde (2002), яка приймає подібну загальну стратегію, дає певну обіцянку для позитивних відповідей на ці виклики. Тренування моделі Роде використовує структуровані семантичні уявлення у вигляді слот-наповнювачів пропозицій про тематичні ролі різних елементів речення. До них відносяться ролі: агент, досвідчений, мета, інструмент, пацієнт, джерело, тема, бенефіціар, супутник, місце розташування, автор, володіння, підтип, майно, якщо, тому що, час, і хоча. Цей тематичний підхід до рольової прив'язки широко використовується в області обробки природної мови для кодування семантики, але він відходить від поняття неструктурованого гештальтного представлення семантичного значення. Модель гештальту речення використовує набагато простішу форму цього тематичного рольового навчання, що здається менш суперечливим у цьому відношенні.

Модель гештальту речення

Модель речення гештальт (SG) тренується на дуже маленькому іграшковому світі, що складається з наступних елементів:

Люди: водій автобуса (дорослий самець), вчитель, (доросла жінка), школярка, глечик (хлопчик). дорослий, дитина, хтось теж використовував.
Дії: їсти, пити, перемішувати, поширювати, цілувати, давати, вдарити, кидати, водити, підніматися.
Об'єкти: пляма (собака), стейк, суп, морозиво, крекери, желе, холодний чай, kool-aid, ложка, ніж, палець, троянда, летюча миша (тварина), бита (бейсбол), м'яч (сфера), м'яч (партія), автобус, глечик, хутро.
Розташування: кухня, вітальня, сарай, парк.

Семантичні ролі, що використовуються для зондування мережі під час навчання: агент, дія, пацієнт, інструмент, співагент, співпацієнт, місцезнаходження, прислівник, реципієнт.

Основною синтаксичною змінною є наявність активної vs. пасивної конструкції, і речень, які додатково вказують події. Також, як бачите, кілька слів неоднозначні, тому контекст повинен використовуватися для усунення неоднозначності.

Модель навчається на випадково згенерованих реченнях відповідно до семантичної та синтаксичної граматики, яка визначає, які слова мають тенденцію до спільного виникнення тощо Потім перевіряється на наборі ключових тестових речень, щоб дослідити її поведінку різними способами:

Активний смисловий: Школярка розмішувала кул-аїд ложкою. (kool-aid може бути тільки пацієнт, а не агент цього речення)
Активна синтаксика: Водій автобуса подарував троянду вчителю. (Вчитель може бути або пацієнтом, або агентом - синтаксис порядку слів визначає його).
Пасивний смисловий: Желе поширювався водієм шини з ножем. (желе не може бути агентом, тому потрібно запастися терпінням)
Пасивна синтаксика: Вчителя поцілував водій автобуса. vs. Водій автобуса поцілував вчителя. (або вчитель, або busdriver може бути агентом, синтаксис сам визначає, що це таке).
Неоднозначність слів: Водій автобуса кинув м'яч у парк. , Учитель кинув м'яч у вітальню. (м'яч неоднозначний, але семантично, водій автобуса кидає м'ячі в парку, в той час як вчитель кидає м'ячі у вітальні)
Концепція екземпляра: Вчитель поцілував когось. (самець). (Вчитель завжди цілує чоловіка — чи підхопила модель на цьому?)
Рольова розробка: Школярка їла сухарики. (Пальцем); школярка їла. (суп) (це переважаючі випадки)
Онлайн оновлення: Дитина їла суп з ласощами. проти глечика їли суп з вишуканістю. (Школярка зазвичай їсть суп, тому неоднозначна дитина вирішується як школярка в першому випадку після побачення супу, але специфічний вхід глечика в другому випадку заважає цьому оновленню).
Конфлікт: Дорослий пив чай з льодом на кухні. (вітальня) (крижаний чай завжди є у вітальні).

Малюнок\(9.11\): Модель гештальту речення. Одне слово за раз представляється у вхідних даних, яке закодовано в гештальт-шар. Гештальт має контекстний шар, який підтримує копію гештальту з попереднього часового кроку (проста рекурентна мережа або SRN) - це простий механізм пам'яті, який використовується для інтеграції інформації через час. Цей гештальт досліджується шляхом запиту семантичної ролі, з навчанням, заснованим на здатності виробляти правильний вихід філлера.

Структура моделі (рис. 9.11) має однословні входи (з використанням локалістних одноодиничних уявлень слів), що проектуються вгору через кодуючий прихований шар на гештальт-шар, де розвивається розподілене уявлення сенсу пропозиції. Пам'ять для попередніх слів і сенсових інтерпретацій речення кодується через контекстний шар, який є копією стану активації гештальт-шару з попереднього введення слова. Цей контекстний шар відомий як проста рекурентна мережа (SRN), і він широко використовується в нейронних мережевих моделям тимчасово розширених завдань (ми обговорюємо це докладніше в наступному розділі про виконавчу функцію). Навчання мережі відбувається з повторного зондування мережі для різних семантичних ролей, перерахованих вище (наприклад, «агент проти пацієнта). Активується блок рольового введення, а потім мережа навчається активувати відповідну реакцію в вихідному шарі наповнювача.

Малюнок\(9.12\): Графік кластера над гештальтним шаром візерунків, пов'язаних з різними іменниками, показуючи, що ці розподілені уявлення захоплюють семантичну подібність слів (так само, як у моделі семантики, подібної до LSA-подібної, дослідженої в попередньому розділі).

Малюнок\(9.13\): Кластерний графік над гештальтним шаром візерунків, пов'язаних з різними дієсловами, показуючи, що ці розподілені уявлення захоплюють семантичну подібність слів.

Малюнок\(9.14\): Кластерна ділянка над гештальт-шаром візерунків, пов'язаних з набором тестових пропозицій, призначених для перевірки на відповідні стосунки подібності. sc = школярка; st = перемішується; ко = kool-aid; te = вчитель; bu = budddriver; пі = глечик; dr = випив; ic = крижаний чай; at = їли; so = суп; st = стейк;

На малюнку 9.12 показаний кластерний графік представлення гештальтного шару різних іменників, тоді як на малюнку 9.13 показані різні дієслова. Вони вказують на те, що мережа дійсно розвиває розумну структуру семантичної подібності для цих слів. Досліджуючи далі, на малюнку 9.14 показаний кластерний графік для ряду споріднених речень, що вказує на розумну семантичну організацію, орієнтовану на дієслово (речення, що поділяють одне і те ж дієслово, всі кластерні разом).

Розвідка

Відкрийте речення гештальту, щоб дослідити модель гештальту речення.