Skip to main content
LibreTexts - Ukrayinska

7.5: Реалізація категорій

  1. Last updated
  2. Save as PDF
  • Page ID
    53711

    • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

    Категорії - це концептуальні конструкції, які ми використовуємо в основному невидимим способом, коли говоримо або думаємо про них. Коли ми організовуємо наші кухні, шафи або картотечні шафи за допомогою полиць, ящиків та папок, ці фізичні місця та контейнери є видимими реалізаціями нашої персональної системи категорій, але вони не є категоріями. Ця відмінність між дизайном категорій та реалізацією очевидна, коли ми стежимо за знаками та етикетками в бібліотеках або продуктових магазинах, щоб знайти речі, шукати каталог товарів або довідник персоналу компанії або аналізувати набір економічних даних, зібраних урядом з форм податку на прибуток. Ці інституційні категорії були розроблені людьми до виділення їм ресурсів.

    Цей поділ між створенням категорій та реалізацією категорій спонукає нас запитати, як може бути реалізована система категорій. Ми не будемо обговорювати реалізацію категорій в буквальному сенсі побудови фізичних або програмних систем, що організовують ресурси. Натомість ми візьмемо перспективу вищого рівня, яка аналізує проблему реалізації, яку потрібно вирішити для різних типів категорій, обговорюваних у «Принципах створення категорій», а потім пояснимо логіку, яку слід дотримуватися, щоб правильно призначити їм ресурси.

    Реалізація перерахованих категорій

    Категорії, визначені перерахуванням, легко реалізувати. Члени або юридичні значення в наборі визначають категорію, а тестування елемента на членство означає пошук у наборі для неї. Перераховані визначення категорій знайомі у випадаючих меню та заповненні форм. Ви прокручуєте список усіх країн світу, щоб шукати потрібну адресу доставки, і все, що ви виберете, буде дійсною назвою країни, оскільки список фіксується до народження нової країни. Перераховані категорії також можуть бути реалізовані за допомогою асоціативних масивів (також відомих як хеш-таблиці або словники). З цими структурами даних тест на членство у множині є навіть більш ефективним, ніж пошук, оскільки він займає той же час для наборів будь-якого розміру (див. «Види структур»).

    Реалізація категорій, визначених властивостями

    Найбільш концептуально проста і зрозуміла реалізація категорій, визначених властивостями, приймає класичне уявлення про категорії, засноване на необхідних і достатніх ознаках. Оскільки такі категорії є нормативними з чіткими та чіткими межами, класифікація елементів за категоріями є об'єктивною та детермінованою та підтримує чітко визначене поняття валідації, щоб однозначно визначити, чи є якийсь екземпляр членом категорії. Елементи класифікуються шляхом тестування їх, щоб визначити, чи мають вони необхідні властивості та значення властивостей. Тести можуть виражатися у вигляді правил:

    • Якщо екземпляр X має властивість P, то X знаходиться в категорії Y.

    • Якщо іпотечний кредит на житло в Сан-Франциско перевищує 625 000 доларів США, то він класифікується як «джамбо» кредит Управлінням Федерального житлового нагляду США.

    • Для того, щоб число було класифіковано як просте, воно повинно відповідати двом правилам: воно повинно бути більшим за 1 і не мати додаткових дільників, крім 1 і самого себе.

    Це не означає, що тест власності завжди простий; перевірка може вимагати спеціального обладнання або розрахунків, а тести для власності можуть відрізнятися їх вартістю або ефективністю. Але з огляду на результати тесту, відповідь однозначна. Елемент є або членом категорії, або його немає. [1]

    Система ієрархічних категорій визначається послідовністю тестів властивостей в певному порядку. Найбільш природним способом реалізації багаторівневих систем категорій є дерева рішень. Просте дерево рішень - це алгоритм визначення рішення шляхом прийняття послідовності логічних або майнових тестів. Припустимо, банк використовував послідовний підхід, заснований на правилах, щоб вирішити, чи давати комусь іпотечний кредит.

    • Якщо річний дохід заявника перевищує 100 000 доларів США, а щомісячний платіж по кредиту становить менше 25% від щомісячного доходу, схваліть заяву на іпотеку.

    • В іншому випадку відмовити в оформленні кредиту.

    Це просте дерево рішень зображено на малюнку: Дерево рішень на основі правил. Правила, що використовуються банком для класифікації кредитних заявок як «Затверджені» або «Відмовлені», мають чітке уявлення в дереві. Легка інтерпретація дерев рішень робить їх загальним формалізмом для реалізації класифікаційних моделей.

    Дерево рішень на основі правил

    Блок-схема показує точки рішення. Відмовити позику, якщо дохід нижче $100k; в іншому випадку, відмовити, якщо виплата кредиту перевищує 25% щомісячного доходу; інакше затвердити позику.

    У цьому простому дереві рішень послідовність двох тестів для річного доходу позичальника та відсотка щомісячного доходу, необхідного для здійснення платежу за кредитом, класифікує заявників на категорії «відмовити» та «затвердити».

    Тим не менш, будь-яка реалізація категорії інтерпретується лише в тій мірі, в якій можна зрозуміти властивості та тести, які вона використовує при її визначенні та реалізації. Оскільки природна мова за своєю суттю неоднозначна, вона не є оптимальним форматом представництва для формально визначених інституційних категорій. Категорії, визначені природною мовою, можуть бути неповними, суперечливими або неоднозначними, оскільки слова часто мають кілька значень. Таку реалізацію банком процедури оцінки кредитів важко було б достовірно інтерпретувати:

    • Якщо заявник заможний, а потім, якщо щомісячний платіж - сума, яку заявник може легко погасити, то заявник затверджується.

    Для забезпечення їх інтерпретації дерева рішень іноді вказуються за допомогою керованих словників та обмеженого синтаксису систем «спрощеного письма» або «бізнес-правил».

    Штучні мови - це більш амбітний спосіб забезпечити точну специфікацію категорій на основі властивостей. Штучна мова стисло висловлює ідеї шляхом введення нових термінів або символів, що представляють складні ідеї поряд з синтаксичними механізмами об'єднання та роботи над ними. Математичні позначення, мови програмування, мови схем, які визначають допустимі екземпляри документа (див. «Визначення словників та схем»), а також регулярні вирази, що визначають шаблони пошуку та вибору (див. «Керування значеннями») — знайомі приклади штучних мов. Звичайно, простіше пояснити і зрозуміти теорему Піфагора, коли вона ефективно виражається як «H 2 = A 2 + B 2», ніж при більш докладному природному мовному виразі: «У всіх трикутників з таким кутом, що сторони утворюють кут перпендикулярні, твір довжини сторони, протилежної куту, таким, щоб сторони, що утворюють кут, були перпендикулярні самому собі дорівнює сумі добутків довжин двох інших сторін, кожна з собою. » [2]

    Штучні мови для визначення категорій мають давню історію в філософії та науці. (Див. бічну панель, Штучні мови для опису та класифікації). Однак переважна більшість інституційних систем категорій все ще конкретизуються природною мовою, незважаючи на її неясності, оскільки люди зазвичай розуміють мови, які вони вивчали природним шляхом, краще, ніж штучні. Іноді це навіть навмисне, щоб дозволити інституційним категоріям, втіленим у законі, розвиватися в судах та враховувати технологічний прогрес. [3]

    Схеми даних, що визначають сутності даних, елементи, ідентифікатори, атрибути та зв'язки в базах даних і «Домені ресурсів») є реалізаціями категорій, необхідних для проектування, розробки та обслуговування інформаційних систем організації. Схеми даних, як правило, жорстко визначають категорії ресурсів. [5]

    В об'єктно-орієнтованих мовах програмування класи - це схеми, які служать шаблонами для створення об'єктів. Клас мовою програмування є аналогом схеми бази даних, яка визначає структуру її екземплярів, оскільки визначення класу визначає, як будуються екземпляри класу з точки зору типів даних і можливих значень. Класи програмування також можуть вказувати, чи можна отримати доступ до даних у об'єкті-члені, і якщо так, то як. [6]

    На відміну від типів транзакційних документів, які можуть бути визначені як класичні категорії, оскільки вони часто створюються і споживаються автоматизованими процесами, типи описових документів зазвичай носять описовий характер. Ми не класифікуємо щось як роман, оскільки воно має певний набір властивостей та типів вмісту. Замість цього ми маємо поняття типових романів та їх характерних властивостей, а деякі речі, які вважаються романами, далекі від типових за своєю структурою та змістом. [7]

    Тим не менш, такі категорії, як типи описових документів, іноді можуть бути реалізовані за допомогою схем документів, які накладають лише кілька обмежень на структуру та вміст. Схема для замовлення на купівлю є дуже нормативною; вона використовує регулярні вирази, сильно набраний вміст даних та перераховані списки кодів для перевірки значення необхідних елементів, які повинні відбуватися в певному порядку. На відміну від цього, схема для типу розповідного документа мала б велику необов'язковість, була б гнучкою щодо порядку та очікувала лише тексту у своїх розділах, абзацах та заголовках. Навіть дуже слабкі схеми документів можуть бути корисними для ефективного управління вмістом, повторного використання та форматування.

    Реалізація категорій, визначених ймовірністю та подібністю

    Багато категорій не можуть бути визначені з точки зору необхідних властивостей, і замість цього повинні бути визначені імовірно, де приналежність до категорії визначається властивостями, які ресурси, ймовірно, будуть ділитися. Розглянемо категорію «друг». » Ви, напевно, вважаєте багатьох людей вашими друзями, але у вас є давні друзі, шкільні друзі, друзі на робочому місці, друзі, яких ви бачите лише в тренажерному залі, та друзі своїх батьків. Кожен з цих типів друзів являє собою різне скупчення загальних властивостей. Якщо хтось описується вам як потенційного друга або побачення, наскільки точно можна передбачити, що людина стане другом? (Див. бічну панель, Пошук друзів і дати: уроки для навчальних категорій)

    Імовірнісні категорії можуть бути складними для визначення та використання, оскільки важко пам'ятати про складні кореляції ознак та ймовірності, що виявляються різними кластерами екземплярів з певної області. Крім того, коли вивчається категорія широка з великою кількістю членів, зразок, з якого ви дізнаєтеся, сильно формує те, що ви дізнаєтеся. Наприклад, люди, які ростуть у високій щільності та різноманітних міських районах, можуть мати менш передбачувані уявлення про те, як виглядає прийнятна потенційна дата, ніж хтось у віддаленій сільській місцевості з більш однорідним населенням.

    Більш загально, якщо ви організовуєте домен, де ресурси активні, змінюєте їх стан або вимірюєте властивості, які змінюються і спільно відбуваються імовірно, вибірка, яку ви обираєте, сильно впливає на точність моделей для класифікації або прогнозування. У «Сигнал і шум» статистик Нейт Сільвер пояснює, скільки помітних прогнозів не вдалося через погані методи вибірки. Однією з поширених помилок вибірки є використання занадто короткого історичного вікна для складання навчального набору даних; це часто є наслідком другої помилки, надмірної залежності від останніх даних, оскільки він більш доступний. Наприклад, обвал цін на житло та фінансова криза 2008 року можна пояснити частково тим, що моделі, які кредитори використовували для прогнозування викупу іпотеки, базувалися на даних 1980-2005 років, коли ціни на житло, як правило, зростали вище. В результаті, коли викупи на іпотеку швидко зростали, результати були «поза зразком» і спочатку були неправильно витлумачені, затягуючи відповіді на кризу.

    Зразки з динамічних та ймовірнісних областей призводять до створення моделей, які фіксують цю мінливість. На жаль, тому що багато прогнозистів хочуть здаватися авторитетними, і багато людей не розуміють ймовірності, класифікації або прогнози, які за своєю суттю неточні, часто представляються з упевненістю і точністю, хоча вони імовірнісні з діапазоном результатів. Срібло розповідає історію катастрофічного потопу 1997 року, спричиненого, коли Червона річка чубата на 54 футів, коли дамби, що захищали місто Гранд-Форкс, були на відстані 51 футів. Служба погоди передбачила гребінь між 40 і 58 футами, але підкреслила середину діапазону, яка становила 49 футів. На жаль, більшість людей інтерпретували це імовірнісне прогнозування так, ніби це двійкова класифікація, «повені» проти «без повені», проігнорували діапазон прогнозу і не змогли підготуватися до повені, який мав близько 35% шансів на виникнення. [8]

    Імовірнісні дерева рішень

    У «Реалізації категорій, визначених властивостями», ми показали, як дерево рішень, засноване на правилах, може бути використано для впровадження суворої класифікації на основі власності, в якій банк використовує тести на властивості «річного доходу» та «щомісячного платежу за кредитом» для класифікації заявників як затверджених або відмовлено. Ми можемо адаптувати цей приклад, щоб проілюструвати імовірнісні дерева рішень, які краще підходять для реалізації категорій, в яких приналежність до категорії є імовірнісною, а не абсолютною.

    Банки, які більш гнучкі щодо надання кредитів, можуть бути більш прибутковими, оскільки вони можуть надавати кредити людям, яких жорсткіший банк відхилив би, але які все ще можуть здійснювати платежі за кредитами. Замість того, щоб забезпечити консервативні та фіксовані обмеження доходів та щомісячних платежів, ці банки розглядають більше властивостей та дивляться на додатки більш імовірнісно. Ці банки визнають, що не кожен заявник кредиту, який, ймовірно, погасить кредит, виглядає точно так само; «річний дохід» і «щомісячний платіж по кредиту» залишаються важливими властивостями, але інші фактори також можуть бути корисними предикторами, і існує більше однієї конфігурації значень, які заявник може задовольнити схвалення для отримання кредиту.

    Які властивості претендентів найкраще прогнозують, чи будуть вони погашати кредит або дефолт? Майно, яке прогнозує кожен на 50%, не є корисним, тому що банк може також перевернути монету, але властивість, яка розділяє заявників на два набори, кожен з дуже різними ймовірностями для погашення та дефолту, дуже корисно для прийняття рішення про позику.

    Банк, керований даними, спирається на історичні дані про погашення кредиту та за замовчуванням для навчання алгоритмів, які створюють дерева рішень шляхом багаторазового поділу заявників на підмножини, які є найбільш різними у своїх прогнозах. Підмножини заявників з високою ймовірністю погашення будуть затверджені, а тим, у кого велика ймовірність дефолту, буде відмовлено в кредиті. Одним із методів вибору тесту властивостей для кожного поділу є обчислення «інформаційного посилення» (див. бічну панель Використання «Теорії інформації» для кількісної оцінки організації). Цей захід фіксує ступінь, до якої кожна підмножина містить «чисту» групу, в якій кожен заявник класифікується однаково, як ймовірні погашники або ймовірні неплатники.

    Наприклад, розглянемо діаграму на малюнку: Історичні дані: Погашення кредиту на основі процентної ставки, яка є спрощеним представленням історичних даних банку про дефолти кредиту на основі початкової процентної ставки. Діаграма представляє позики, які були погашені за допомогою «o», і ті, які дефолтували «x». чи існує процентна ставка, яка ділить їх на «чисті» набори, один, який містить лише позики «o», а інший, який містить лише кредити «x»?

    Історичні дані: Погашення кредиту на основі процентної ставки

    Графік розсіювання.

    Символ «о» являє собою кредити, які були погашені позичальником; «х» являє собою кредити, за якими позичальник дефолтував. Ставка 6% (темніша вертикальна лінія) найкраще ділить позики на підмножини, які відрізняються результатом платежу.

    Ви можете бачити, що жодна процентна ставка не розділяє їх на чисті набори. Тож найкраще, що можна зробити, це знайти процентну ставку, яка розділяє їх так, щоб пропорції неплатників були найбільш різними з кожного боку лінії. [9]

    Ця розділова лінія під 6% процентною ставкою найкраще ділить тих, хто дефолт від тих, хто погасив свій кредит. Більшість людей, які позичили під 6% і більше, погашали кредит, тоді як ті, хто брав кредити за нижчою ставкою, частіше мали дефолт. Це може здатися незрозумілим, поки ви не дізнаєтеся, що позики з нижчою процентною ставкою мали регульовані ставки, які зросли через кілька років, що призвело до значного збільшення щомісячних платежів. Більш розсудливі позичальники були готові платити більш високі процентні ставки, які були фіксованими, а не регульованими, щоб уникнути радикального збільшення їх щомісячних платежів.

    Імовірнісне дерево рішень

    Блок-схема. Відмовити позику, якщо річний дохід нижче $82 тис.; відмовити в кредиті, якщо платіж за позикою перевищує 27% від щомісячного доходу; відмовити в кредиті, якщо процентна ставка нижче 6%; інакше затвердити позику.

    У цьому імовірнісному дереві рішень послідовність тестів власності та порогові значення в кожному тесті ділять заявників на позику на категорії, які відрізняються тим, наскільки ймовірними вони погашать кредит.

    Цей розрахунок проводиться для кожного з атрибутів у наборі історичних даних, щоб визначити той, який найкраще розділяє заявників на погашені та дефолтні категорії. Атрибути та значення, яке визначає правило рішення, можуть бути впорядковані для створення дерева рішень, подібного до того, яке базується на правилах, яке ми бачили в «Реалізація категорій, визначених властивостями». У нашому гіпотетичному випадку виявляється, що найкращим порядком для перевірки властивостей є дохід, щомісячний платіж та процентна ставка, як показано на малюнку: Імовірнісне дерево рішень. Кінцевим результатом все ще є набір правил, але за кожним рішенням у дереві стоять ймовірності, засновані на історичних даних, які можуть більш точно передбачити, чи буде заявник погашати або дефолт. Таким чином, замість довільних обмежень у розмірі 100 000 доларів доходу та 25% для щомісячного платежу банк може пропонувати кредити людям з меншими доходами і залишатися прибутковим, оскільки з історичних даних він знає, що оптимальним рішенням є 82 000 доларів та 27%. Використання процентної ставки в процесі прийняття рішень є додатковим випробуванням, щоб гарантувати, що люди можуть дозволити собі здійснювати платежі по кредиту, навіть якщо процентні ставки зростають. [10]

    Оскільки дерева рішень визначають послідовність правил, які роблять тести власності, вони високо інтерпретуються, що робить їх дуже популярним вибором для вчених даних, що будують моделі набагато складніше, ніж простий приклад позики тут. Але вони припускають, що кожен клас є кон'юнкцією всіх властивостей, що використовуються для їх визначення. Це робить їх сприйнятливими до надмірного пристосування, оскільки якщо вони ростуть дуже глибоко з багатьма сполучниками властивостей, вони захоплюють саме ті властивості, які описують кожен член навчального набору, ефективно запам'ятовуючи навчальні дані. Іншими словами, вони захоплюють як те, що загалом вірно за межами набору, так і те, що є особливим лише для навчального набору, коли метою є побудова моделі, яка фіксує лише те, що загалом вірно. Переоснащення дерев у прийнятті рішень можна запобігти, обрізавши дерево після того, як воно ідеально класифікувало навчальний набір, або заздалегідь обмеживши глибину дерева, по суті, попередньо обрізавши його.

    Наївні Байес Класифікатори

    Інший часто використовуваний підхід до реалізації класифікатора для імовірнісних категорій називається Naïve Bayes. Він використовує теорему Байєса для вивчення важливості певної властивості для правильної класифікації. Є деякі ідеї здорового глузду, які втілені в теоремі Байєса:

    • Коли у вас є гіпотеза або попереднє переконання про зв'язок між майном та класифікацією, нові докази, що відповідають цій вірі, повинні підвищити вашу впевненість.

    • Суперечливі докази повинні знизити впевненість у вашій вірі.

    • Якщо базова ставка для якогось події невисока, не забувайте про це, коли ви робите прогноз або класифікацію для нового конкретного екземпляра. Легко піддаватися надмірному впливу недавньої інформації.

    Тепер ми можемо втілити ці ідеї в розрахунки про те, як відбувається навчання. Для властивості A та класифікації B теорема Байєса говорить:

    Р (А | Б) = Р (Б|А) Р (А)/Р (Б)

    Ліва частина рівняння, P (A | B), - це те, що ми хочемо оцінити, але не можемо виміряти безпосередньо: ймовірність того, що A є правильною класифікацією для елемента або спостереження, що має властивість B. Це називається умовною або задньою ймовірністю, оскільки вона оцінюється після перегляду доказів властивість Б.

    P (B | A) - ймовірність того, що будь-який елемент, правильно класифікований як A, має властивість B. Це називається функцією правдоподібності.

    P (A) і P (B) є незалежними або попередніми ймовірностями A і B; яка частка предметів класифікується як A? Як часто властивість B зустрічається в деякому наборі елементів?

    Використання теореми Байєса для обчислення
    Умовна ймовірність

    Ваша особиста бібліотека містить 60% художньої літератури та 40% документальної літератури. Всі художні книги в форматі електронних книг, і половина документальної літератури книги є електронними книгами, а половина - у форматі друку. Якщо ви вибираєте книгу навмання, і вона знаходиться у форматі електронних книг, яка ймовірність того, що вона є документальною літературою?

    Теорема Байєса говорить нам, що:

    P (документальна література | електронна книга) = P (електронна книга | документальна література) x P (документальна література) /P (електронна книга).

    Ми знаємо: P (електронна книга | документальна література) = 0,5 і P (документальна література) = .4

    Ми обчислюємо P (електронну книгу), використовуючи закон загальної ймовірності для обчислення комбінованої ймовірності всіх незалежних способів, за допомогою яких електронна книга може бути вибіркова. У цьому прикладі є два способи:

    P (електронна книга) = P (електронна книга | документальна література) x P (документальна література)
    + P (електронна книга | художня література) x P (художня література)
    = (0,5 x 0,4) + (1 x 1,6) = 0,8

    Тому: P (документальна література | електронна книга) = (0,5 х 0,4) /.8 = 2.25

    Тепер давайте застосуємо теорему Байєса для реалізації фільтрації спаму електронної пошти. Повідомлення класифікуються як СПАМ або HAM (тобто неспам); перші надсилаються до папки SPAM, а другі - у вашу поштову скриньку.

    1. Виберіть «Властивості». Ми починаємо з набору властивостей, деякі з метаданих повідомлення, таких як адреса електронної пошти відправника або кількість одержувачів, а деякі з вмісту повідомлення. Кожне слово, яке з'являється в повідомленнях, можна розглядати як окрему властивість [11]

    2. Зберіть навчальні дані. Ми збираємо набір повідомлень електронної пошти, які були правильно присвоєні до категорій СПАМ і HAM. Ці мічені екземпляри складають навчальний набір.

    3. Проаналізуйте навчальні дані. Для кожного повідомлення, чи містить воно певну властивість? Для кожного повідомлення воно класифікується як СПАМ? Якщо повідомлення класифікується як СПАМ, чи містить воно певну властивість? (Це три ймовірності на правій стороні рівняння Байєса).

    4. Вчіться. Перераховується умовна ймовірність (ліва частина рівняння Байєса), коригуючи прогнозне значення кожної властивості. Взяті разом усі властивості тепер можуть правильно призначити (більшість) повідомлень до категорій, до яких вони належали в навчальному наборі.

    5. Класифікувати. Навчений класифікатор тепер готовий класифікувати некласифіковані повідомлення до категорій СПАМ або HAM.

    6. Поліпшити. Класифікатор може підвищити свою точність, якщо користувач дає йому зворотний зв'язок, перекласифікуючи СПАМ-повідомлення на HAM або навпаки. Найбільш ефективне навчання відбувається, коли алгоритм використовує методи «активного навчання», щоб вибрати власні навчальні дані, запитуючи відгуки користувачів лише там, де він не впевнений щодо того, як класифікувати повідомлення. Наприклад, алгоритм може бути впевнений, що повідомлення з «Дешеві наркотики» в рядку теми є СПАМ, але якщо повідомлення надходить від давнього кореспондента, алгоритм може попросити користувача підтвердити, що класифікація. [12]

    Категорії, створені за допомогою кластеризації

    У попередніх двох розділах ми обговорювали, як імовірнісні дерева рішень та наївні класифікатори Байєса реалізують категорії, які визначаються типово спільними властивостями та подібністю. Обидва є прикладами контрольованого навчання, оскільки їм потрібні правильно класифіковані приклади як навчальні дані, і вони вивчають категорії, які їм навчають.

    Навпаки, методи кластеризації є неконтрольованими; вони аналізують колекцію некласифікованих ресурсів, щоб виявити статистичні закономірності або структуру серед елементів, створюючи набір категорій без будь-яких мічених навчальних даних.

    Методи кластеризації поділяють мету створення значущих категорій із колекції предметів, властивості яких важко безпосередньо сприймати та оцінювати, що означає, що приналежність до категорій не може бути легко зведена до конкретних тестів властивостей, а натомість повинна базуватися на подібності. Наприклад, з великими наборами документів або поведінкових даних методи кластеризації можуть знаходити категорії документів з однаковими темами, жанром або настроями, або категорії людей зі схожими звичками та уподобаннями.

    Оскільки методи кластеризації не контролюються, вони створюють категорії на основі розрахунків подібності між ресурсами, максимізуючи схожість ресурсів всередині категорії та максимізуючи відмінності між ними. Ці статистично вивчені категорії не завжди є значущими, які можуть бути названі і використані людьми, а вибір властивостей і методів обчислення подібності може привести до дуже різних чисел і типів категорій. Деякі методи кластеризації текстових ресурсів пропонують назви кластерів на основі важливих слів у документах в центрі кожного кластера. Однак, якщо не існує позначеного набору ресурсів з того ж домену, які можуть бути використані як перевірка, щоб перевірити, чи виявлено кластеризація однакові категорії, аналітик даних або інформатик повинен зрозуміти виявлені кластери або теми.

    Існує багато різних методів кластеризації на основі відстані, але вони поділяють три основні методи.

    • Перший спільний метод полягає в тому, що методи кластеризації починаються з спочатку некласифікованого набору елементів або документів, які представлені таким чином, що дозволяють обчислювати міри схожості між елементами. Це подання найчастіше є вектором значень властивостей або ймовірностями різних властивостей, так що елементи можуть бути представлені в багатовимірному просторі і подібності обчислюється за допомогою функції відстані, подібної до тих, які описані в «Геометричних моделям подібності». [13]

    • Другий спільний метод полягає в тому, що категорії створюються шляхом розміщення елементів, які найбільш схожі в одну категорію. Ієрархічні підходи кластеризації починаються з кожного елемента у власній категорії. Інші підходи, зокрема один, який називається «K-означає кластеризацію», починаються з фіксованої кількості K категорій, ініціалізованих випадково обраним елементом або документом із повного набору.

    • Третім спільним методом є вдосконалення системи категорій шляхом ітераційного перерахунку подібності кожного разу, коли елемент додається до категорії. Підходи, які починаються з кожного елемента у власній категорії, створюють ієрархічну систему категорій шляхом об'єднання двох найбільш схожих категорій, переобчислення схожості між новою категорією та іншими, і повторення цього процесу до тих пір, поки всі категорії не будуть об'єднані в єдину категорію на корінь дерева категорій. Методи, які починаються з фіксованої кількості категорій, не створюють нових, а замість цього багаторазово перераховують «центроїд» категорії, коригуючи її представлення властивостей до середнього значення всіх її членів після додавання нового члена. [14]

    Має сенс, що алгоритми, що створюють кластери або категорії подібних елементів, пізніше можуть бути використані як класифікатори, використовуючи ті самі заходи подібності для порівняння некласифікованих елементів з елементами, які позначені категоріями. Існують різні варіанти щодо того, які елементи порівнювати з некласифікованими:

    • Центроїд: прототипний або середній елемент, розрахований на властивості всіх членів категорії. Однак центроїд може не відповідати жодному фактичному члену (див. Бічну панель Медіана проти середнього), і це може утруднити інтерпретацію класифікації.

    • Елементи, які насправді існують: Оскільки елементи в категоріях, визначених схожістю, не є однаково типовими або хорошими членами, більш надійним є тестування на більш ніж одному зразку. Класифікатори, які використовують такий підхід, називаються прийомами найближчих сусідів, і вони по суті голосують між собою і за новим пунктом присвоюється категорія більшості.

    • Крайові випадки: Це екземпляри, які є найближчими до межі між двома категоріями, тому їх повинно бути принаймні два, по одному в кожній категорії. Оскільки вони не є типовими членами категорії, їх найважче класифікувати спочатку, але використання їх у класифікаторах підкреслює властивості, які є найбільш дискримінуючими. Це підхід, який використовують опорні векторні машини, які не є алгоритмами кластеризації, але чимось схожі на алгоритми найближчого сусіда в тому, що вони обчислюють подібність некласифікованого елемента до цих крайових випадків. Їх назва має більше сенсу, якщо ви думаєте про вектори, які представляють «крайові випадки», які використовуються для «підтримки» межі категорії, яка потрапляє між ними.

    Нейронні мережі

    Серед найбільш ефективних класифікаторів для категоризації за подібністю та імовірнісною належністю є ті, що реалізуються за допомогою нейронних мереж, і особливо ті, що використовують методи глибокого навчання. Алгоритми глибокого навчання можуть вивчати категорії з мічених навчальних даних або за допомогою автокодування, неконтрольованої методики навчання, яка навчає нейронну мережу реконструювати свої вхідні дані. Однак замість використання властивостей, визначених у даних, алгоритми глибокого навчання розробляють дуже велику кількість функцій у прихованих ієрархічних шарах, що робить їх неінтерпретаційними людьми. Ключовою ідеєю, яка зробила можливим глибоке навчання, є використання «зворотного розповсюдження» для регулювання ваг на об'єктах, працюючи назад від виходу (класифікації об'єктів, виробленої мережею) аж до входу. Використання глибокого навчання для класифікації зображень було згадано в «Описі зображень». [15]

    Реалізація цільових категорій

    Категорії, засновані на цілі, дуже індивідуалізовані і часто використовуються лише один раз у дуже конкретному контексті. Однак корисно врахувати, що ми могли б реалізувати моделі похідних від цілей категорії як дерева рішень, заснованих на правилах, упорядкувавши рішення, щоб забезпечити задоволення будь-яких підцілей відповідно до їх пріоритету. Ми могли б розібратися в категорії «Речі взяти з палаючого будинку», спочатку поставивши питання «Чи є в будинку живі істоти? » тому що це може бути найважливішою підметою. Якщо відповідь на це питання «так», ми можемо продовжити інший шлях, ніж якщо відповідь «ні». Аналогічно, ми можемо поставити вищий пріоритет на речі, які неможливо замінити (бабусині фотографії), ніж ті, які можуть (паспорт).

    Реалізація теорії на основі категорій

    Категорії, засновані на теорії, виникають у сферах, в яких предмети, що підлягають класифікації, характеризуються абстрактними або складними взаємозв'язками з їх особливостями та один з одним. За допомогою цієї моделі суб'єкт не повинен розумітися як за своєю суттю, що володіє особливостями, спільними з іншою сутністю. Швидше за все, люди проектують особливості від однієї речі до іншої в пошуку конгруїтності між речами, так само, як приймачі ключів у другому раунді гри Піраміда пошук конгруїтності між прикладами, наданими давачем підказки, щоб вгадати цільову категорію. Наприклад, підказка на кшталт «кричить малюк» може підказати багато категорій, як може «паркувальний лічильник». Але ймовірне перетин взаємодій, які можна мати з немовлятами та паркувальними лічильниками, полягає в тому, що вони обидва є «Речами, які потрібно годувати. »

    Категорії, засновані на теорії, створюються як когнітивні конструкції, коли ми використовуємо аналогії та класифікуємо, оскільки речі, зібрані за аналогією, мають абстрактну, а не буквальну схожість. Найвпливовішою моделлю аналогічної обробки є Structure Mapping, розробкою та застосуванням якого керував Дедре Гентнер вже більше трьох десятиліть.

    Ключовим розумінням у структурному відображенні є те, що аналогія «A T - це як B» створюється шляхом зіставлення реляційних структур, а не властивостей між базовим доменом B та цільовим доменом T. Ми беремо будь-які дві речі, аналізуємо реляційні структури, які вони містять, і вирівнюємо їх, щоб знайти відповідність між ними. Властивості об'єктів у двох областях не повинні збігатися, і насправді, якщо занадто багато властивостей збігаються аналогія йде і ми маємо буквальну схожість:

    • Аналогія: Атом водню схожий на нашу Сонячну систему

    • Буквальне схожість: зоряна система X12 в галактиці Андромеди схожа на нашу Сонячну систему

    Теорія картографування структур була реалізована в структурно-картографічному двигуні (SME), який формалізував теорію та запропонував обчислювально-розв'язуваний алгоритм для проведення процесу відображення структур та проведення висновків. [16]

    1. Наприклад, ви можете перевірити, чи є число простим, розділивши його на кожне число менше квадратного кореня, але цей алгоритм смішно недоцільний для будь-якого корисного застосування. Багато криптографічних систем множать прості числа для створення ключів шифрування, розраховуючи на складність факторингу їх для захисту ключів; тому дуже важливо довести, що все більші числа є простими. Див. (Крандалл і Померанс 2006).

      Якщо вам цікаво, чому прості числа не вважаються перелічувальною категорією, враховуючи, що кожне число, яке є простим, вже існує, це тому, що ми ще не знайшли їх усіх, і нам потрібно перевірити до нескінченності.

      БІРЖА


    2. Цей приклад походить від (Perlman 1984), який представив ідею «природних штучних мов» як тих, які призначені для того, щоб їх було легко вивчати та використовувати, оскільки вони використовують мнемонічні символи, сугестивні імена та послідовний синтаксис.

      БІРЖА


    3. Коли Конгрес США переглянув закон про авторське право в 1976 році, він кодифікував положення про «добросовісне використання», щоб дозволити деяке обмежене використання захищених авторським правом творів, але сумлінне використання в цифрову епоху сьогодні значно відрізняється; кешування веб-сайтів для підвищення продуктивності та посилання, які повертають мініатюру версії зображень - це справедливе використання, яке не було мислимо, коли був написаний закон. Закон, який точно визначив справедливе використання з використанням сучасних технологій, швидко застаріло б, але один, написаний більш якісно, щоб забезпечити інтерпретацію судами, залишився життєздатним. Див. (Самуельсон 2009).

      БІРЖА


    4. (Вілкінс 1668) і (Борхес 1952)

      БІРЖА


    5. «Rigid» може здатися негативним, але жорстко визначений ресурс також точно визначено. Точне визначення має важливе значення при створенні, захопленні та отриманні даних, а також коли інформацію про ресурси в різних організаційних системах потрібно комбінувати або порівнювати. Наприклад, у традиційній реляційній базі даних кожна таблиця містить поле або комбінацію полів, відоме як первинний ключ, який використовується для визначення та обмеження членства в таблиці. Таблиця повідомлень електронної пошти в базі даних може визначати повідомлення електронної пошти як унікальну комбінацію адреси відправника, адреси одержувача та дату/часу, коли повідомлення було відправлено, шляхом застосування первинного ключа до комбінації цих полів. Подібно до категорії членства на основі єдиного, моноетичного набору властивостей, членство в цій таблиці повідомлень електронної пошти базується на єдиному наборі необхідних критеріїв. Товар без адреси одержувача не може бути допущений до таблиці. З точки зору категоризації, елемент не є членом класу «email message», оскільки він не має всіх властивостей, необхідних для членства.

      БІРЖА


    6. Як і схеми даних, класи програмування визначають та застосовують правила при побудові та маніпулюванні даними. Однак класи програмування, як і інші реалізації, які характеризуються специфічністю і виконанням правил, можуть сильно відрізнятися в тій мірі, в якій правила уточнюються і виконуються. Хоча деякі визначення класів дуже жорсткі, інші більш гнучкі. Деякі мови мають абстрактні типи, які не мають примірників, але служать для надання спільного предка для конкретних реалізованих типів.

      БІРЖА


    7. Існування глав може припустити, що предмет є романом; однак відсутність глав не повинно автоматично вказувати на те, що елемент не є романом. Деякі романи - це гіпертексти, які спонукають читачів йти альтернативними шляхами. Багато творів Джеймса Джойса та Семюеля Беккета є «потоком свідомості» твори, які не мають узгодженого сюжету, але вони широко розглядаються як романи.

      БІРЖА


    8. Див. (Срібло 2012). Над залежністю від даних, які є легкодоступними, є евристика прийняття рішень, запропонована (Тверський і Канеман 1974), який розробив психологічні основи поведінкової економіки. (Див. бічну панель, Поведінкова економіка.)

      БІРЖА


    9. Якщо бути точним, то цей розрахунок «різниці пропорцій» використовує алгоритм, який також використовує логарифм пропорцій для обчислення ентропії, міри невизначеності в розподілі ймовірностей. Ентропія нуля означає, що результат можна ідеально передбачити, а ентропія збільшується, оскільки результати менш передбачувані. Інформаційний приріст атрибута - це те, наскільки він зменшує ентропію після того, як він використовується для поділу набору даних.

      БІРЖА


    10. На жаль, цей раціональний процес, керований даними, для класифікації кредитних заявок як «Затверджено» або «Відмовлено» був відмовлений під час «житлового міхура» початку 2000-х років. Оскільки кредитні банки могли швидко продавати свої іпотечні кредити інвестиційним банкам, які об'єднали їх у цінні папери, забезпечені іпотекою, заявники були затверджені без будь-якої перевірки доходу для «субстандартних» кредитів, які спочатку мали дуже низькі регульовані процентні ставки. Звичайно, коли ставки значно зросли через кілька років, дефолти та викупи стрімко зросли. Ця сумна історія розповідається в пізнавальній, розважальній, але гнітючій манері в «Великому короткому» (Lewis, 2010) і в однойменному фільмі 2015 року.

      БІРЖА


    11. Алгоритми машинного навчання відрізняються тим, які властивості вони використовують в тому, як вони їх вибирають. Простий метод полягає в тому, щоб запустити алгоритми, використовуючи різні набори властивостей, і вибрати набір, який дає найкращий результат. Однак запуск алгоритмів кілька разів може бути дуже дорогим, особливо коли кількість властивостей велика. Швидшою альтернативою є вибір або фільтрування функцій на основі того, наскільки добре вони прогнозують класифікацію. Розрахунок посилення інформації, розглянутий у «Імовірнісних деревах рішень», є прикладом методу фільтрування.

      Наївні класифікатори Байєса роблять спрощене припущення, що властивості є незалежними, припущення, яке рідко є правильним, тому підхід називають наївним. Наприклад, документ, який містить слово «страхування», також, швидше за все, містить «бенефіціар», тому їх присутність в повідомленнях не є самостійним.

      Тим не менш, незважаючи на те, що припущення про незалежність зазвичай порушується, класифікатори Naive Bayes часто працюють дуже добре. Крім того, розглядати властивості як незалежні означає, що класифікатору потрібно набагато менше даних для навчання, ніж якби нам довелося обчислити умовні ймовірності всіх комбінацій властивостей. Натомість нам просто потрібно підрахувати окремо кількість разів, коли кожна властивість виникає з кожним з двох результатів класифікації.

      БІРЖА


    12. Див. (Blanzieri and Bryl 2009) для огляду проблеми спаму та політики та технологічних методів боротьби з нею. (Upsana and Chakravarty 2010) дещо новіший і більш вузько орієнтований на методи класифікації тексту.

      Дуже ретельним, але дуже читабельним вступом до активного навчання є (Settles 2012).

      БІРЖА


    13. Зокрема, документи зазвичай представляються у вигляді векторів частотно-зважених термінів. Інші підходи починаються більш безпосередньо з міри подібності, отриманої або прямими судженнями подібності кожної пари предметів, або непрямими заходами, такими як точність у вирішенні того, чи два звуки, кольори чи зображення однакові чи різні. Припущення полягає в тому, що заплутаність двох пунктів відображає, наскільки вони схожі.

      БІРЖА


    14. На відміну від ієрархічних методів кластеризації, які мають чітке правило зупинки при створенні кореневої категорії, методи кластеризації k-means працюють до тих пір, поки центроїди категоризації не стабілізуються. Крім того, оскільки алгоритм k-means - це в основному просто сходження на пагорб, а елементи початкової категорії «насіння» є випадковими, він може легко застрягти в локальному оптимумі. Тому бажано спробувати багато різних стартових конфігурацій для різних варіантів K.

      БІРЖА


    15. Крім того, складні функції представлення нейронних мереж обчислюють дуже точні вимірювання подібності, які дозволяють шукати конкретні зображення або знайти дублікати.

      БІРЖА


    16. Теорія структурного відображення була запропонована в (Gentner 1983), а механізм відображення структури послідував через кілька років (Falkenhainer et al 1989). МСП критикували за те, що він покладався на рукописні уявлення знань, обмеження, подолане (Turney 2008), який використовував методи обробки тексту для вилучення семантичних відносин, що використовуються Structure Mapping.

      БІРЖА