9.5: Латентна семантика у спільному виникненні слів

Last updated
Save as PDF

Page ID: 72684

\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

Завершуючи нашу більш поглиблену екскурсію основними шляхами в трикутній моделі читання, ми тепер перейдемо до питання семантики. Яка природа смислових уявлень, показаних у верхній частині малюнка 9.6? Зростаючий обсяг даних підтримує ідею, показану на малюнку 9.9, де значення конкретних слів кодується закономірностями діяльності в межах конкретних областей мозку, які обробляють сенсорну та рухову інформацію. Таким чином, семантика розподіляється по всьому широкому діапазону мозку, і вона принципово втілена і обґрунтована на сенсорно-моторних примітивах, які ми вперше набуваємо в житті. Таким чином, єдина область «семантики», показана в моделі трикутника, є великим спрощенням щодо фактичного широко розподіленого характеру смислового значення в мозку.

Однак з'являється також все більше доказів того, що передній кінчик або «полюс» скроневої частки відіграє особливо важливу роль у представленні семантичної інформації, можливо, найважливіше для більш абстрактних слів, які не мають сильного сенсорного або рухового кореляту. Одна з теорій полягає в тому, що ця область виступає центральним «хабом» для координації інакше розподіленої семантичної інформації (Patterson, Nestor, & Rogers, 2007).

Як ми дізнаємося значення цих більш абстрактних слів в першу чергу? На відміну від більш конкретних слів, показаних на малюнку 9.9, значення більш абстрактних слів не можуть бути так легко відсунуті в сенсорні та рухові області. Однією з переконливих ідей тут є те, що слова отримують своє значення частково від компанії, яку вони зберігають - статистика спільних слів у великому обсязі словесного введення, якому ми піддаємося, насправді може дати підказки щодо того, що означають різні слова. Один з успішних підходів до закріплення цієї ідеї у функціонуючій моделі називається латентно-семантичний аналіз (LSA) — див. http://lsa.colorado.edu для отримання повної інформації та доступу до цієї моделі.

LSA працює, записуючи статистику того, як часто слова співіснують один з одним в семантично релевантних шматках тексту, як правило, абзаців. Однак цих поверхневих статистичних даних самих по собі недостатньо, тому що, наприклад, синоніми слів зустрічаються разом відносно рідко, в порівнянні з тим, наскільки тісно вони повинні бути пов'язані між собою. І взагалі, існує велика варіативність вибору слова та індивідуальність вибору слів, які відображені в цих докладних статистичних даних. Ключовим кроком, який робить LSA у вирішенні цієї проблеми, є застосування методу зменшення розмірності під назвою Декомпозиція сингулярних значень (SVD), яка тісно пов'язана з аналізом основних компонентів (PCA), який, в свою чергу, тісно пов'язаний з Hebbian self- організація навчання, яке виконують наші нейронні мережеві моделі.

Ключовим результатом цього процесу SVD/PCA/Hebbian є вилучення найсильніших груп або кластерів слів, які спільно зустрічаються разом, таким чином, що інтегрується над багатьма частково перекриваються підмножинами груп слів. Таким чином, незважаючи на те, що синоніми, як правило, не зустрічаються один з одним, вони зустрічаються разом з багатьма тими ж іншими наборами слів, і вся ця група слів являє собою сильну статистичну угруповання, яка буде витягнута зменшенням розмірності/Hebbian самоорганізованого навчального процесу.

Цей процес точно такий же, як ми бачили з моделлю сприйнятливого поля V1 у розділі сприйняття. У цій моделі навчання Hebbian витягнуло статистичну регулярність орієнтованих країв з набору природних зображень. Будь-яке задане зображення зазвичай містить шумну часткову версію орієнтованого краю, можливо, кілька пікселів закупорені або розмиті або іншим чином спотворені. Однак, оскільки процес самоорганізованого навчання інтегрується над багатьма такими входами, ці ідіосинкразії змиваються, і найсильніші статистичні угруповання функцій з'являються як орієнтовані краї.

Однак, на відміну від моделі V1, окремі статистичні кластери, що виходять з моделі LSA (включаючи нашу версію Hebbian), не мають чіткої інтерпретації, еквівалентної «орієнтованим краям». Як ви побачите в дослідженні, ви, як правило, можете зрозуміти невеликі підмножини слів, але ніяких очевидних елементів загального значення не видно. Але це не проблема - насправді важливо те, що загальна розподілена картина діяльності по семантичному шару належним чином фіксує значення слів. І дійсно це виявляється так.

Розвідка

Відкрита семантика для sem.proj дослідження семантичного навчання співіснування слів. Модель тут була навчена на ранньому чернетці першого видання цього підручника, і, таким чином, має відносно спеціалізовані знання, сподіваюся, багато з яких зараз ділиться вами читач.