10.5: Оцінка взаємодій

Управління якістю взаємодії стосовно її наміру або мети є вирішальною частиною кожного кроку від проектування до реалізації і особливо під час експлуатації. Оцінка якості взаємодій в різний час в процесі проектування (концепція дизайну, прототип, реалізація та експлуатація) виявляє як сильні, так і слабкі сторони дизайнерів або операторів організаційної системи.

Під час етапів проектування та впровадження взаємодія повинна бути перевірена на основі початкових цілей взаємодії та обмежень, які накладаються організаційною системою, її ресурсами та зовнішніми умовами. Дуже часто процеси у взаємодіях налаштовуються або налаштовуються, щоб краще відповідати початковим цілям та намірам взаємодії. Оцінка на цих етапах часто намагається забезпечити розрахунковий спосіб вимірювання цієї відповідності та підтримує процес тонкої настройки. Вона повинна бути невід'ємною частиною ітеративного процесу проектування.

Під час більш пізніх етапів впровадження та експлуатації оцінюються взаємодії щодо динамічно мінливих умов організаційної системи та її середовища. Очікування користувачів, а також умови або обмеження навколишнього середовища можуть змінюватися і їх потрібно періодично перевіряти. Систематична оцінка взаємодій гарантує, що зміни, які впливають на взаємодію, спостерігаються рано і можуть бути інтегровані з метою коригування та навіть поліпшення взаємодії. На цих етапах більш суб'єктивні аспекти оцінки, такі як задоволення, досвід, репутація або «почуття», також відіграють певну роль у точному налаштуванні взаємодій. Ця суб'єктивна частина процесу оцінки так само важлива, як і кількісна, об'єктивна частина. Багато факторів під час процесів проектування та впровадження потрібно враховувати та змусити працювати разом. Постійна оцінка якості та зворотний зв'язок гарантує, що взаємодія працює за призначенням.

Аспекти оцінки можна розрізнити різними способами: зусиллями та часом їх виконання (як збір даних, так і аналіз); за тим, наскільки вони кількісно оцінюються або наскільки вони порівнянні з заходами в інших організаційних системах; за яким компонентом взаємодії або організаційної системи вони зосереджуються; або шляхом дисципліни, експертизи або методології, які використовуються для оцінки.

Загальною та важливою відмінністю є різниця між ефективністю, ефективністю та задоволеністю. Взаємодія ефективна, коли вона виконує свої дії своєчасно та економно, ефективна, коли виконує свої дії правильно та повністю, задовільно, коли виконує належним чином. Задоволення є найменш кількісним з аспектів оцінки, оскільки воно сильно залежить від індивідуальних смаків та досвіду.

Припустимо, що ShopStyle.com розробляє нову взаємодію, яка дозволяє порівнювати довжину пальто з пропозицій їх різних роздрібних продавців. Після того, як взаємодія розроблена, проводиться оцінка, щоб визначити, чи всі пальто та їх довжини інтегровані у взаємодію та чи правильно вимірюються та порівнюються довжини пальто. Дизайнери хотіли б не тільки знати, чи правильно представлені довжини пальто, але й чи ефективно взаємодія. Коли взаємодія буде готова до виходу (зазвичай спочатку в бета-версії або тестовому статусі), користувачів та роздрібних продавців запитають, чи покращує взаємодія їхній досвід покупок, чи виконується порівняння так, як вони очікували, і що вони змінять. Ці стилі оцінки працюють рука об руку, щоб поліпшити взаємодію.

Ефективність

При оцінці ефективності організаційної системи ми орієнтуємося на тимчасові, енергетичні та економічні ресурси, необхідні для досягнення цілей взаємодії системи. Як правило, чим менше ресурсів потрібно для досягнення успішної взаємодії, тим ефективніше взаємодія.

Заходи ефективності зазвичай пов'язані з інженерними аспектами, такими як час виконання дії, кількість кроків для здійснення взаємодії або кількість використовуваних обчислювальних ресурсів. Ефективність щодо людських витрат на навантаження пам'яті, увагу та когнітивну обробку також важлива, якщо має бути безперебійний користувальницький досвід, де користувачі можуть своєчасно взаємодіяти з системою.

Однак для багатьох організаційних системних взаємодій ефективність є більш важливим аспектом, особливо для тих взаємодій, які ми розглядали досі. Якщо результати пошуку будуть невірними, то користувачів не влаштує навіть самий зручний інтерфейс. Багато взаємодій оцінюються щодо їх здатності повертати відповідні ресурси. Чому і як це оцінюється, - це основна увага решти цього розділу.

Ефективність

Ефективність оцінює правильний результат або результати взаємодії. Ефективна взаємодія дозволяє досягти відповідних, запланованих або очікуваних результатів. Поняття релевантності та її зв'язок з ефективністю є ключовим у взаємодії з пошуком інформації та машинним навчанням. («Релевантність») Заходи ефективності часто розробляються в галузях, які розробили алгоритм взаємодії, пошуку інформації або машинного навчання. Точність і відкликання є основними показниками релевантності або ефективності в пошуку інформації або взаємодії з машинним навчанням. («Відкликання/Точність компромісу»)

Актуальність

Актуальність широко розглядається як фундаментальна концепція пошуку інформації, і, як наслідок, всієї інформатики. Незважаючи на те, що це одна з найбільш інтуїтивних концепцій у людському спілкуванні, актуальність, як відомо, важко визначити, і вона була предметом багатьох дискусій протягом останнього століття.

Історично актуальність розглядалася в логіці та філософії, оскільки поняття висновку було кодифіковано (щоб зробити висновок B від A, A повинен мати відношення до B). Інші галузі намагалися розібратися з актуальністю, зокрема: соціологія, лінгвістика та психологія. Погляд предметного знання, погляд предметної літератури, логічний погляд, погляд системи, погляд призначення, погляд доречності, прагматичний погляд та теоретико-утилітна інтерпретація - це різні точки зору на питання про те, коли щось актуальне. ^[1]

У 1997 році Міццаро обстежив 160 дослідницьких статей на актуальну тему і прийшов до цього визначення: «релевантність можна розглядати як точку в чотиривимірному просторі, значення кожного з чотирьох вимірів: (i) сурогат, документ, інформація; ( ii) запит, запит, інформаційна потреба, проблема; (iii) тема, контекст та кожна їх комбінація; і (iv) різні моменти часу від виникнення проблеми до її вирішення. » ^[2]

Це досить абстрактне визначення вказує на термінологічну неоднозначність, що оточує поняття.

З метою організації систем релевантність - це концепція оцінки ефективності, яка описує, чи задовольняється заявлена або неявна інформаційна потреба в конкретному користувацькому контексті і в конкретний час. Однією з проблем оцінки релевантності в організаційних системах є розрив між інформаційною потребою користувача (часто прямо не заявленої) та вираженням цієї інформаційної потреби (запит). Цей розрив може призвести до неоднозначних результатів у взаємодії. Наприклад, припустимо, хтось говорить слово «Париж» (запит) в додаток смарт-телефон шукає поради про те, як подорожувати до Парижа, Франція. Відповідь включає пропозиції для готелю Paris в Лас-Вегасі. Чи задовольняє отриманий результат інформаційну потребу? Що робити, якщо шукач отримує поради щодо Парижа, але вже бачив кожен із ресурсів, які пропонує система організації? Яке тут правильне рішення про актуальність?

Ключем до розрахунку ефективності є усвідомлення того, що вимірюється. Якщо вимірюється інформаційна потреба, виражена в запиті, аналізується актуальність або актуальність — системна перспектива. Якщо вимірюється інформаційна потреба, як у свідомості людини, аналізується доречність, корисність або ситуативна релевантність — суб'єктивна, особистісна перспектива. Таке зіставлення є точкою багатьох досліджень і суперечок у сфері пошуку інформації, оскільки актуальність актуальності об'єктивно вимірна, але реальною метою є суб'єктивна релевантність. Для того, щоб оцінити актуальність у будь-якій взаємодії, важливою передумовою є рішення, яке з цих понять, що має значення для розгляду.

Відкликання/Точність компромісу

Точність вимірює точність результуючого набору, тобто, скільки з отриманих ресурсів для запиту є релевантними. Нагадаємо, вимірює повноту результуючого набору, тобто скільки відповідних ресурсів у колекції було отримано. Припустимо, що колекція містить 20 релевантних ресурсів для запиту. Взаємодія пошуку витягує 10 ресурсів у результуючому наборі, 5 з отриманих ресурсів є релевантними. Точність цієї взаємодії становить 50% (5 з 10 отриманих ресурсів є актуальними); відкликання - 25% (було отримано 5 з 20 відповідних ресурсів). ^[3]

Саме в природі інформаційно-пошукових взаємодій відкликання і точність компромісуються один з одним. Щоб знайти всі відповідні ресурси в колекції, взаємодія повинна виливати широку мережу і не буде дуже точною. Для того, щоб бути дуже точним і повернути шукачеві лише відповідні ресурси, взаємодія повинна бути дуже розбірливою і, ймовірно, не знайде всіх відповідних ресурсів. Коли колекція дуже велика і містить багато відповідних ресурсів для будь-якого заданого запиту, пріоритетом, як правило, є підвищення точності. Однак, коли колекція невелика або потреба в інформації також вимагає пошуку всіх відповідних документів (наприклад, у прецедентному праві, патентних пошуках або підтримці медичної діагностики), тоді пріоритет ставиться на збільшення відкликання.

Повнота та деталізація принципів організації в організаційній системі мають великий вплив на компроміс між відкликанням та точністю. (Див. розділ Ресурси в організації систем.) Коли ресурси організовані в дрібнозернистих системах категорій і описуються багато різних властивостей ресурсів, можливі високоточні пошуки, оскільки потрібний ресурс можна шукати так точно, як це дозволяє опис або організація системи. Однак дуже спеціалізований опис та організація можуть перешкоджати знаходженню певних ресурсів; отже, відкликання може бути принесено в жертву. Якщо організація поверхнева - наприклад, ваш ящик для шкарпеток, - ви можете знайти всі шкарпетки, які хочете (високий відгук), але вам доведеться перебрати багато шкарпеток, щоб знайти потрібну пару (низька точність). Компроміс між відкликанням і точністю тісно пов'язаний з масштабами організації.

Задоволення

Задоволеність оцінює думку, досвід або ставлення користувача до взаємодії. Оскільки задоволення залежить від індивідуальних думок користувачів, важко кількісно оцінити. Заходи задоволеності виникають з досвіду користувача з взаємодією - це здебільшого аспекти користувальницьких інтерфейсів, зручності використання або суб'єктивних та естетичних вражень.

Юзабіліті вимірює, чи взаємодія та призначений для неї призначений для користувача інтерфейс відповідають очікуванням користувача щодо того, як вони повинні функціонувати. Він особливо зосереджений на корисності взаємодії. Юзабіліті аналізує простоту використання, навчальність та пізнавальні зусилля, щоб виміряти, наскільки добре користувачі можуть використовувати взаємодію для досягнення свого завдання.

Хоча ефективність, ефективність та задоволеність вимірюються по-різному і впливають на різні компоненти взаємодії, вони однаково важливі для успіху взаємодії. Навіть якщо взаємодія швидка, це не дуже корисно, якщо воно приходить до неправильних результатів. Навіть якщо взаємодія працює правильно, задоволення користувачів не гарантується. Однією з проблем при розробці взаємодій є те, що ці фактори незмінно передбачають компроміси. Швидка система не може бути такою точною, як та, яка надає пріоритет використанню контекстної інформації. Ефективна взаємодія може вимагати від користувача великих зусиль, що не робить його дуже простим у використанні, тому задоволення користувачів може знизитися. Пріоритети організаційної системи та її конструкторів визначать, які властивості оптимізувати.

Давайте продовжимо наш приклад взаємодії порівняння довжини пальто Shopstyle. Коли розрахунок довжини пальто виконується в прийнятний проміжок часу і не споживає багато ресурсів організуючих систем, взаємодія ефективна. Коли всі довжини пальто правильно виміряні та порівнюються, взаємодія ефективна. Коли взаємодія легко інтегрована в процес покупок, візуально підтримується в інтерфейсі, а не когнітивно виснажлива, це, ймовірно, задовільно для користувача, оскільки надає корисну послугу (особливо для тих, хто має неправильні розміри тіла). Який аспект повинен надавати пріоритети Shopstyle? Це, ймовірно, зважить наслідки ефективності проти ефективності та задоволення. Для системи організації, орієнтованої на роздрібну торгівлю та споживача, задоволення, мабуть, є одним із найважливіших аспектів, тому велика ймовірність того, що ефективність та ефективність можуть бути принесені в жертву (в міру) на користь задоволення.

---

1. Простір не дозволяє суттєво обговорювати ці погляди тут, див. (Сарацевич 1975), і (Schamber et al. 1990).

   ✔

   
   

2. (Міццаро 1997).

   ✔

   
   

3. Згадка і точність є лише основою заходів, які були розроблені в інформаційному пошуку для оцінки ефективності пошукових алгоритмів. Див. (Баеза-Ятс і Рібейро 2011), (Меннінг та співавт. 2008) Гл. 8; (Демартіні та Міццаро 2006).

   ✔