Skip to main content
LibreTexts - Ukrayinska

5.4: Опис нетекстових ресурсів

  1. Last updated
  2. Save as PDF
  • Page ID
    53848

    • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \) \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)\(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\) \(\newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\) \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\) \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\) \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\) \( \newcommand{\Span}{\mathrm{span}}\)

    Багато принципів і методів опису ресурсів були розроблені для опису текстових ресурсів у фізичних форматах. Ці принципи повинні були розвиватися, щоб мати справу з різними типами ресурсів, які люди хочуть описати та організувати, від картин та статуй до MP3, JPEG та MPEG.

    Деякі описи для нетекстових ресурсів засновані на тексті і найчастіше призначаються людьми. Інші описи в нетекстових форматах витягуються алгоритмічно з вмісту нетекстового ресурсу. Ці останні описи ресурсів на основі вмісту захоплюють внутрішні технічні властивості, а в деяких областях здатні описувати інформацію з певною точністю, завдяки проривам у машинному навчанні.

    Опис музейних та художніх ресурсів

    Проблеми, пов'язані з описом мультимедійних ресурсів, не всі нові. Куратори музею боролися з ними з тих пір, як вони вперше почали збирати, зберігати та описувати артефакти сотні років тому. Багато артефактів можуть представляти один і той же твір (подумайте про осколки кераміки, які, можливо, колись були частиною тієї ж вази). Матеріали і форми не передають семантику самостійно. Без додаткових досліджень та опису ми нічого не знаємо про вазу; вона не має жодної титульної сторінки чи тега, що пов'язує її з поселенням майя 9-го століття. Оскільки музеї можуть придбати великі партії артефактів відразу, їм доводиться приймати рішення про те, які ресурси вони можуть собі дозволити описати і скільки вони можуть їх описати.

    Німецький мистецтвознавець Ервін Панофський вперше кодифікував один підхід до цих проблем опису. У своїх класичних дослідженнях з іконології він визначив три рівні опису, які можуть бути застосовані до художнього твору чи музейного артефакту. Малюнок: Контрастні описи твору мистецтва протиставляють ці три рівні в описах мармурової статуї. Він також показує вражаючі відмінності між описом EXIF на цифровій фотографії статуї та тими, що створені людьми. [1]

    Професіонали, які створюють описи музейних та художніх ресурсів, архітектури та інших культурних творів, зазвичай використовують ядро VRA з Бібліотеки Конгресу або категорії Getty Trust для опису творів Мистецтво (CDWA), масивний керований словник з 532 категоріями та підкатегоріями. А [2]

    Контрастні описи для твору мистецтва

    На цьому малюнку є одне зображення і чотири текстові блоки. Зображення являє собою цифрову фотографію твору мистецтва. Перший текстовий блок - це опис EXIF, створене цифровою камерою. Три залишилися текстові блоки є первинним, вторинним і інтерпретаційним описом зображення. Первинний опис: «Мармурова статуя оголеної жінки, що стоїть на черепашці». Вторинний опис: «Статуя, виготовлена в 2005 році Лусіо Карузі з Каррари, Італія, під назвою «Венера», виготовлена з місцевого мармуру». Інтерпретаційний опис: «Це 3d трансформація картини 1486 року Сондро Боттічеллі під назвою «Народження Венери», яка зараз знаходиться в галереї Уффіці у Флоренції. Венера Карузі значно стрункіша за пропорціями, ніж Боттічеллі через зміну уявлень про жіночу красу».

    Описи творів мистецтва можуть сильно контрастувати, особливо між тими, що зняті пристроєм, як цифрова камера, і тими, що створені людьми. Крім того, описи, створені людьми, відрізняються залежно від досвіду творця та кількості суб'єктивного тлумачення, застосованого в описі.

    (Фото Р.Глушко. Статуя під назвою «Венера» була виготовлена Лусіо Карузі з Каррари, Італія, і в даний час є частиною приватної колекції.)

    Опис зображень

    Цифрові камери, в тому числі і в мобільних телефонах, роблять мільйони фотографій щодня. На відміну від зображень у музеях та галереях, більшість цих зображень отримують мало описів, крім тих, що створені пристроєм, який їх зробив. Тим не менш, багато хто з них закінчується деякими обмеженими описами у Facebook, Instagram, Flickr, Picasa, DeviantArt або інших численних місцях, де люди діляться зображеннями, або в професійних додатках зображень, таких як Light Кімната. Всі ці сайти надають деякі можливості для користувачів, щоб призначити теги зображенням або розташувати їх у названих групах.

    Для опису або класифікації зображень було використано багато різних обчислювальних підходів. Один підхід використовує візуальний підпис зображення, витягнутого з низькорівневих ознак, таких як колір, форма, текстура та світність, які потім використовуються для розрізнення значних областей та об'єктів. Подібність зображень обчислюється для створення категорій зображень, які містять однакові кольори, об'єкти або налаштування, що дозволяє легко знаходити дублікати або змінені зображення. [3]

    Щоб комп'ютери ідентифікували конкретні об'єкти або людей на зображеннях, логічно необхідно навчити їх із зображеннями, які вже ідентифіковані. У 2005 році Луїс ван Ан розробив розумний спосіб зібрати велику кількість помічених зображень за допомогою веб-гри під назвою ESP, яка випадковим чином спарювала людей, щоб запропонувати мітки або теги для зображення. Очевидний вибір був вилучений із суперечок, тому фотографія птаха проти синього неба вже може вдарити «птах» та «небо» із набору прийнятних слів, залишаючи користувачам пропонувати такі слова, як «літаючий» та «безхмарний». Ван Ан також винайшов техніку reCAPTCHA, яка представляє зображення тексту зі старих книг, які оцифровуються, що підвищує точність оцифровки, перевіряючи, що користувач веб-сайту є людиною, а не програмою робота. [4]

    Однак, якщо короткі текстові описи або низькорівневі властивості зображення є єдиними можливостями, доступними для тренування зображення, інакше невідповідні варіації положення, орієнтації або освітленості об'єктів на зображеннях дуже ускладнять розрізнення об'єктів, схожих на білий вовк і вовкоподібну білу собаку називають самоедом. Цю проблему можна вирішити за допомогою глибоких нейронних мереж, які використовують ідею про те, що низькорівневі функції зображення можуть бути об'єднані у багато шарів вищого рівня; краї поєднуються, утворюючи мотиви або візерунки, візерунки поєднуються, утворюючи частини знайомих предметів, а частини об'єднуються, утворюючи цілісні об'єкти. Ця ієрархічна композиція дозволяє представництвам найвищого рівня стати нечутливими до варіацій нижчого рівня, які заважають іншим підходам.

    У 2012 році, коли методи глибокого навчання були застосовані до набору даних із близько мільйона зображень, які містили тисячу різних категорій об'єктів, вони зменшили частоту помилок вдвічі. Цей вражаючий прорив і той факт, що методи глибокого навчання, які отримують шари функцій із вхідних даних, є повністю загальними, швидко призвели до застосування глибокого навчання до багатьох інших областей з високошвидкісними даними. Facebook використовує глибоке навчання для ідентифікації людей на фотографіях, Google використовує його для розпізнавання мовлення та перекладу мови, а швидкі підписи до зображень та відео знаходяться на горизонті. Носимі комп'ютери можуть використовувати його для нанесення корисної інформації на погляди людей на світ, створюючи доповнену реальність в режимі реального часу. [5]

    Опис музики

    Опис музики представляє виклики, зовсім відмінні від тих, що беруть участь в описі текстів або зображень. Вірші та картини - це відчутні речі, на які ми можемо дивитися і споглядати, тоді як звукова природа музики означає, що це швидкоплинне явище, яке можна пережити лише в перформативний момент. Навіть музичні партитури та записи, хоча такі ж відчутні речі, як картини та вірші, є лише контейнерами, які тримають потенціал для музичного досвіду, а не самої музики. Найбільш популярна сучасна музика у вигляді пісень, в яких тексти налаштовані на мелодію і підтримуються інструментальними гармоніями. Якщо ми хочемо класифікувати або описати таку музику за її ліричним змістом, ми все одно можемо покладатися на методи опису текстів. Але якщо ми хочемо описати саму музику, нам потрібно скористатися дещо іншим підходом.

    Кілька людей та компаній, що працюють у мультимедіа, досліджували різні процеси опису пісень. Що стосується сильно технологічної сторони, програмні програми, такі як Shazam та Midomi, можуть створювати аудіо відбиток на основі вмісту з фрагмента музики. Аудіо відбитків пальців надає цифровий опис музичного твору, який комп'ютер може потім інтерпретувати та порівняти з іншими цифровими описами в бібліотеці. [6]

    На перший погляд сучасні музичні потокові сервіси представляють вершину класифікації та опису музики. Пандора, наприклад, використовує навчених музикознавців для прослуховування музики, а потім класифікувати жанри та музичні матеріали відповідно до висококонтрольованої музичної лексики. Отриманий алгоритм, «Музичний геном», може по суті навчитися визначати музичні смаки слухача за допомогою цього музичного тегування, а потім може використовувати цю інформацію, щоб запропонувати іншу музику з подібними характеристиками. [7]

    Але музиканти століттями думали про те, як описати музику, і хоча Геном музики, безумовно, наповнений складністю, він блідне в порівнянні з витонченістю набагато старіших методів «ручки і паперу», з яких вона походить. Етномузикологія (вільно визначається як вивчення глобальних музичних практик у їхніх соціальних контекстах), можливо, зробила більші кроки до всебічних описів музичних ресурсів, ніж будь-яка інша галузь музикознавчого дослідження. З кінця 19 століття етномузикознавці створили складні методи позначення і стилістичних таксономій для захоплення і категоризації музики як західних, так і незахідних культур.

    Угорський композитор і вчений Бела Барток зібрав і транскрибував тисячі східноєвропейських народних пісень, до яких він застосував складну систему класифікації, щоб згрупувати їх у «сім'ї», похідні від мелодійних архетипів. Зовсім недавно американський етномузикознавець Алан Ломакс Cantometrics проект класифікував пісні, зібрані з усього слова відповідно до 37 факторів стилю, намагаючись створити загальний керований словниковий запас, який полегшить міжкультурне порівняння. і аналіз. [8]

    На більш деталізованому рівні музиканти нескінченно новаторські в пошуку способів категоризації, опису та аналізу не просто масштабних музичних жанрів, а самих нот. На супровідній фотографії, що демонструє рекордну колекцію професійного діджея «Kid Kameleon», ми бачимо, що записи розставлені не просто за жанрами, а й по ударам за хвилину (BPM). Для Kid Kameleon ці записи представляють ресурси його музичного творчого процесу, а їх організація BPM дозволяє йому витягнути саме правильний музичний матеріал, який йому потрібен, щоб музика текла під час виступу. Тому його система класифікації - це таксономія, яка рухається від широких штрихів жанру до дрібних зерен конкретних аранжувань нот і ритмів. Ця фотографія — це не просто картина рекордної колекції: це візуальне відображення творчого процесу митця. [9]

    Опис відео

    Відео - це ще один ресурс домену, де триває робота над створенням описів ресурсів, щоб зробити пошук більш ефективним. Методи відеоаналітики можуть сегментувати відео на коротші кліпи, описані відповідно до їх кольору, напрямку руху, розміру об'єктів та інших характеристик. Виявлення аномальних подій та облич людей у відео має очевидні застосування в безпеці та спостереженні. [10] Визначення конкретних деталей вмісту про відео наразі вимагає значного втручання людини, хоча можливо, що алгоритми узгодження підпису зображень візьмуть на себе в майбутньому, оскільки вони дозволять автоматизувати розміщення реклами у відео та телебаченні. [11]

    1. (Панофський 1972) пропонує ці три рівні опису:

      Первинна тематика

      На цьому рівні ми описуємо основні елементи роботи загальним способом, який був би впізнаваний будь-ким незалежно від досвіду чи підготовки. Наприклад, картину «Таємна вечеря» можна охарактеризувати як «13 людей, які обідають. »

      Вторинна тематика

      Тут ми вводимо рівень базового культурного розуміння в опис. Наприклад, хтось знайомий із загальним тлумаченням Біблії, тепер міг бачити Таємну вечерю як представляє Ісуса в оточенні своїх учнів.

      Внутрішнє значення або тлумачення

      На цьому рівні вступає в гру контекст і глибше розуміння — в тому числі те, що творець опису знає про ситуацію, в якій був створений твір. Чому, наприклад, саме цей художник створив саме це зображення «Таємної вечері» саме таким чином? Панофський зазначив, що тут потрібні професійні мистецтвознавці, тому що саме вони мають освіту та досвід, необхідні для того, щоб черпати сенс у творі.

      Іншими словами, Панофський бачив необхідність багатьох різних типів дескрипторів — включаючи фізичні, культурні та контекстуальні — для спільної роботи під час створення повного опису артефакту.

      ←


    2. Для (Гарпринг 2009) на http://www.getty.edu/research/publications/electronic_publications/cdwa/.

      Для (Гетті 2006) на http://www.getty.edu/research/publications/electronic_publications/cdwa/cdwalite.pdf.

      ←


    3. Див. (Датта та співавт. 2008). Компанія Idée розробляє різноманітні алгоритми пошуку зображень, які використовують підписи зображень та заходи візуальної схожості для повернення фотографій, подібних до тих, які користувач просить побачити.

      ←


    4. (фон Ан і Деббіш 2008).

      ←


    5. Ключовою ідеєю, яка зробила можливим глибоке навчання, є використання «зворотного розповсюдження» для регулювання ваг на об'єктах, працюючи назад від виходу (класифікації об'єктів, виробленої мережею) аж до входу. Математично досвідчені читачі можуть знайти стислі пояснення та історію глибокого навчання в (LeCun, Bengio та Hinton 2015). LECun і Hinton були частиною дослідницьких груп, які самостійно винайшли зворотне поширення в середині 1980-х років. Сьогодні ЛеКун очолює дослідницьку групу Facebook зі штучного інтелекту, а Хінтон відіграє аналогічну роль у Google.

      ←


    6. (Кано та співавт. 2005).

      ←


    7. (Уокер 2009).

      ←


    8. Метод Бартока для транскрипції та класифікації кожної мелодії на сім'ї був таким:

      1. Всі мелодії закінчуються на ноті «g» для зручності порівняння;

      2. Мелодії поділяються і класифікуються за кількістю рядків;

      3. Мелодії класифікуються за розміщенням кінцевої ноти різних мелодійних ліній з кінцевою нотою, позначеною цифрами;

      4. Підгрупи класифікуються за кількістю складів до кожного рядка мелодії;

      5. Мелодії класифікуються відповідно до їх мелодійний компас з найменшою і найвищою нотою кожної мелодії позначені.

      Неважко побачити паралелі цього методу з алгоритмом Пандори, а також більший рівень описової деталізації, який надає метод Бартока. Див. (Барток 1981).

      Кожна колекція народних пісень містить кілька прикладів однієї і тієї ж пісні, виконаної в різний час одним і тим же співаком або багатьма різними співаками. Часто ці різні пісні (або «варіанти») настільки кардинально відрізняються, що ми починаємо задавати питання: «В який момент варіант стає абсолютно новим музичним твором? До початку двадцятого століття багато вчених вважали, що варіанти - це просто погані виступи народних співаків, які намагалися відтворити первозданну, архетипічну версію пісні.

      До тих пір, поки австралійський колекціонер Персі Грейнгер припустив, що варіанти представляють життєво важливу та динамічну практику виконання серед народних співаків, що ідея варіантів як хибних архетипів поступилася місцем тому, в якому всі вистави були унікальними сутностями самі, які володіють тим, що Вітгенштейн врешті-решт назвав би «сімейними схожістю» один з одним. (Грейнгер 1908)

      Зовсім недавно журнал Newsweek склав список з 60 різних версій «Алілуя» Леонарда Коена, багато з яких настільки різко відрізняються від оригіналу Коена, що здаються абсолютно різними піснями лише з найбільш рудиментарною сім'єю. схожість. Чи існує «Алілуя» як «твір» навіть більше? Або це просто ідея, потенціал для музики, який існує лише під час кожного різноманітного виступу? (http://www.newsweek.com/60-versions-leonard-cohens-hallelujah-ranked-303580).

      ←


    9. Цей метод організації музичних ресурсів для готового доступу (фізично і пізнавально) - такий, який має як прославлене минуле, так і захоплююче майбутнє. Музикознавець Роберт Гердінген вивчив спосіб, яким композитори в Неаполі 18 століття навчилися своєму мистецтву, вивчаючи організовану систему музичних схем, які можна було б розширити, нанизувати та різноманітно створити нескінченну серію приємних композиції в галантовому стилі періоду (Gjerdingen 2007). Сучасний підхід до цієї ж ідеї можна знайти в творчості композитора Девіда Коупа, експерименти якого в програмному забезпеченні Musical Intelligence («Еммі» і наступного покоління «Емілі Хауелл») можуть аналізувати існуючу музику, зламати її музичні ресурси вниз в ідентифіковану схему, а потім рекомбінувати ці схеми, щоб створити музичний вихід у стилі оригінального музичного введення (Cope 2001). Еммі може рекомбінувати ці елементи мільйонами різних способів, щоб створити переконливі, переконливі і кілька нервуючі твори в стилі будь-якого композитора, чия музика подавалася їй. Хоча всі вони можуть здатися різними, неаполітанці 18 століття, Малюк Камелеон та Еммі представляють творчий процес, залежний від введення, опису, організації, рекомбінації та виходу музичних ресурсів.

      ←


    10. (Regazzoni et al. 2010) представити спеціальний випуск в IEEE обробки сигналів з візуальної аналітики.

      ←


    11. Однією з організацій, яка бачить майбутнє у складанні кращих описів відеоконтенту, є Національна футбольна ліга Сполучених Штатів (Burmester 2007).

      ←