1.7: Оцінка точності

Після того, як ми підготували класифікацію земного покриву (або іншу) із зображення дистанційного зондування, очевидне запитання: «наскільки точна ця карта?» Важливо відповісти на це питання, оскільки ми хочемо, щоб користувачі карти мали відповідну довіру до неї. Якщо карта ідеальна, ми хочемо, щоб люди знали це, щоб вони могли отримати максимальну кількість використання з неї. І якщо карта не більш точна, що випадкове призначення класів пікселів було б, ми також хочемо, щоб люди знали це, тому вони не використовують її ні для чого (крім, можливо, повісити її на стіну або показати студентам як приклад того, що не робити...).

Предмет оцінки точності також виходить за рамки класифікацій до карт безперервних змінних, таких як температура поверхні Землі, приповерхнева концентрація CO ₂, здоров'я рослинності або інші змінні мають форму безперервних, а не дискретних змінних. Незалежно від того, що показує ваша карта, ви хочете, щоб люди знали, наскільки вона хороша, наскільки вони можуть їй довіряти. Хоча існує подібність між оцінкою карт категоріальних та безперервних змінних, конкретні заходи, що використовуються для кількісної оцінки точності, відрізняються між ними, тому в цьому розділі ми розглянемо кожну по черзі.

Оцінка точності класифікацій

Основним принципом для всієї оцінки точності є порівняння оцінок з реальністю та кількісна оцінка різниці між ними. У контексті класифікацій земного покриву на основі дистанційного зондування «оцінки» - це класи, відображені для кожного пікселя, а «реальність» - це фактичний земний покрив у районах, відповідних кожному пікселю. Враховуючи, що алгоритм класифікації вже надав нам «оцінки», першою проблемою в оцінці точності є пошук даних про «реальність». Такі дані часто називають даними «земної правди» і, як правило, складаються з географічних спостережень за земним покривом. Метод, який часто використовується, полягає в тому, щоб фізично зайти в досліджувану зону за допомогою GPS та камери та робити фотографії з географічними посиланнями, які, в свою чергу, дозволяють візуально визначити земний покрив з кожної фотографії. Оскільки люди можуть візуально розрізняти різні види земельного покриву з великою точністю, такі дані можна розумно вважати «реальністю». Однак у багатьох випадках термін «наземна правда» переоцінює точність такої інформації. Люди можуть добре розрізняти «пустелю» та «ліс» на фотографії, але вони явно менш добре розрізняють «ліс високої щільності» та «ліс середньої щільності». Особливо, якщо різниця між двома класами базується на відсотковому покритті (наприклад, різниця між лісами середньої щільності та високої щільності може полягати в тому, чи покривають дерева більше або менше 50% площі поверхні) польові спостереження не завжди можуть призвести до ідеального опису реальності. Тому багато вчених дистанційного зондування віддають перевагу терміну «дані перевірки», припускаючи, що ці дані є доцільними як основа для порівняння з класифікаціями на основі дистанційного зондування, одночасно визнаючи потенціал, що вони не повністю відповідають «правді».

Створення валідаційних даних

Якщо ви хочете зробити чесну та неупереджену оцінку точності вашої карти земельного покриву (і я припускаю, що ви робите!) , є кілька речей, які слід враховувати, коли ви створюєте свій набір даних перевірки:

• Ви повинні мати дані перевірки, що охоплюють всі різні класи земного покриву на вашій карті. Якщо ви цього не зробите, ви дійсно зможете оцінити точність частин карти, охоплених класами, для яких ви маєте дані.
• Ви також повинні в ідеалі мати дані перевірки, які розподіляються випадковим чином (або більш-менш рівномірно) по всій області дослідження. Для отримання набору даних перевірки, які охоплюють всі класи і мають хороший просторовий розподіл у вашій досліджуваній області, часто використовується стратифікований випадковий вибір точок перевірки (тобто включаючи кількість точок з кожного класу, при цьому ці точки, що належать кожному класу, випадковим чином розподіляються всередині площа, яку охоплює цей клас).
• Кількість точок даних, що використовуються для кожного класу, повинна бути або однаковою, або повинна відображати відносну ступінь кожного класу на вашій карті. Перший підхід найбільш підходить, якщо ви хочете порівняти класи і дізнатися, які з них відображені краще за інших. Останній підхід найбільш підходить, якщо ви хочете зробити єдину оцінку точності для всієї карти.
• Чим більше даних перевірки, тим краще. Однак створення даних перевірки може зайняти час і гроші, тому отримання «достатньої кількості» даних часто є розумною метою. Існують практичні правила щодо того, що становить «достатньо» даних (наприклад, 50 на клас), але є багато винятків з цих правил.

Якщо ви використовуєте польові спостереження для створення даних перевірки, важливо пам'ятати, що дані перевірки повинні бути порівнянними з класами, отриманими з вашого зображення, кількома способами:

• Визначення, що використовуються для кожного класу, повинні бути однаковими між класифікацією та даними перевірки. Наприклад, якщо у вашій класифікації ви вважали, що «водне тіло» розміром принаймні 0,1 км ², вам потрібно мати це на увазі під час створення даних перевірки, тому, коли ви йдете в поле, і одна з ваших точок даних знаходиться в калюжі, ви не вважаєте це «водним тілом», а замість цього з'ясуйте що таке земний покрив навколо калюжі.
• Що стосується вищезазначеного пункту, майте на увазі просторову роздільну здатність зображення, яке використовується для створення вашої класифікації. Якщо ви базували свою класифікацію на зображеннях Landsat (TM, ETM+, OLI) без збільшення різкості, кожен піксель відповідає площі приблизно 30 х 30 метрів на землі. Отже, коли ви йдете в поле, ви повинні документувати домінуючий земельний покрив в 30 х 30 метрів, а не земельний покрив у точних координатах точки даних.

Альтернативним підходом до створення валідаційних даних, корисним при поїздці на досліджувану територію та зборі польових спостережень занадто дорого, є візуальний огляд знімків дистанційного зондування з високою роздільною здатністю. Якщо ви виберете такий підхід, ви повинні бути впевнені, що зможете візуально виділити всі різні класи, від образу, з високою точністю. Люди іноді використовують зображення з Google Планета Земля для перевірки, або вони використовують візуальну інтерпретацію того самого зображення, яке використовується для класифікації. Останній варіант здається трохи круговим — як у «навіщо використовувати класифікатор в першу чергу, якщо можна впевнено призначати класи на основі візуальної інтерпретації зображення?» Однак візуальна інтерпретація може бути цілком придатною для точного визначення земельного покриву для ряду точок даних перевірки, тоді як візуальна інтерпретація всього зображення може бути надзвичайно трудомістким завданням. Ті самі міркування, викладені в пунктах вище, стосуються того, чи створюються дані перевірки за допомогою польових спостережень візуальної інтерпретації зображень.

Цікавим новим підходом до створення даних перевірки є використання загальнодоступних фотографій з геотегами, таких як ті, які доступні через Flickr або інші сайти, де люди діляться своїми фотографіями. Спеціально для міст та популярних туристичних сайтів Інтернет містить велике сховище фотографій з геотегами, які можуть бути використані будь-ким як польові спостереження. Однак необхідний певний контроль якості, оскільки не всі фотографії, доступні в Інтернеті, автоматично геотегуються за допомогою GPS (деякі вручну «геотегами» при розміщенні в Інтернеті), і більшість фотографій показують умови земного покриву в той час, який відрізняється від моменту придбання зображення дистанційного зондування (наприклад, зима проти літа).

Матриця плутанини

Після того, як ви створили набір даних перевірки, яким ви довіряєте, ви можете використовувати їх географічне прив'язку, щоб з'єднати їх із відповідним земним покривом, відображеним у класифікації. Ви можете думати про отримане порівняння як таблицю, яка виглядає приблизно так:

Таблиця 5: Порівняння оцінок, отриманих за алгоритмом класифікації (зліва), з даними перевірки (праворуч).

Карта земельного покриву (кошторис)	Дані перевірки (реальність)
Ліс	Ліс
Вода	Вода
Ліс	Пасовища
Пасовища	Пасовища
Пасовища	Голий грунт
Голий грунт	Голий грунт
...	...

При багатьох точках даних перевірки необхідний метод для узагальнення всієї цієї інформації, а в дистанційному зондуванні метод, який використовується повсюдно і був протягом десятиліть, називається матрицею плутанини (також називається «матрицею помилок» або «таблицею надзвичайних ситуацій»). Використовуючи чотири класи, перераховані в прикладі вище, кадр матриці плутанини буде виглядати наступним чином:

Таблиця 6: Приклад матриці плутанини, перед введенням значень.

		Дані валідації
	Клас	Ліс	Вода	Пасовища	Голий грунт	Всього
Класифікація	Ліс
	Вода
	Пасовища
	Голий грунт
	Всього

Читайте уздовж рядків, кожен рядок повідомляє вам, що пікселі, класифіковані в даний клас, є насправді відповідно до даних перевірки. Читайте уздовж стовпців, кожен стовпець повідомляє вам, що дані перевірки, відомі як даний клас, були класифіковані як. Наприклад:

Таблиця 7: Матриця плутанини зі введеними значеннями.

		Дані валідації
	Клас	Ліс	Вода	Пасовища	Голий грунт	Всього
Класифікація	Ліс	56	0	4	2	62
	Вода	1	67	1	0	69
	Пасовища	5	0	34	7	46
	Голий грунт	2	0	9	42	53
	Всього	64	67	48	51	230

Читаючи вздовж рядків, таблиця вище говорить вам, що 56 пікселів, класифікованих як «ліс», також вважалися «лісом» в даних перевірки, що 0 пікселів, класифікованих як «ліс», вважалися «водою» в даних перевірки, 4 пікселі, класифіковані як «ліс», вважалися «пасовищами» у даних перевірки, і 2 пікселі, класифіковані як «ліс», вважалися «голою ґрунтом» в даних перевірки, загалом 62 пікселі класифікуються як ліс. І так далі.

Користувач, виробник та загальна точність

Використовуючи інформацію в матриці плутанини, ми можемо знайти відповіді на обґрунтовані питання щодо точності карти земного покриву, виготовленої з класифікацією. Існує три види питань, які зазвичай задаються та відповідають за допомогою матриці плутанини.

Точність користувача відповідає на питання наступного типу: «Якщо у мене є ваша карта, і я йду до пікселя, який ваша карта показує як клас «x», наскільки ймовірно, що я насправді знайду там клас 'x'? ' Використовуючи приклад «пасовища» з таблиці вище, ми бачимо, що загалом 46 пікселів, класифікованих як «пасовища», були перевірені на дані перевірки. З цих 46 пікселів 34 вважалися «пасовищами» у даних перевірки. Іншими словами, 34 пікселі з 46 пікселів, класифікованих як «пасовища», насправді є «пасовищами». 34 з 46 становить 74%, тому точність класифікації користувачів для класу «пасовища» становить 74%. Точність користувачів варіюється в різних класах, оскільки деякі класи легше відрізнити від інших класів, ніж інші класи. Водні об'єкти, як правило, легко відображати, оскільки вони темні та сині, і не так багато об'єктів, знайдених на суші, схожі на них. У наведеному вище прикладі точність користувача для класу «вода» становить 67 з 69, або 97%.

Точність виробника відповідає на питання наступного типу: «Якщо область насправді є класом «x», наскільки ймовірно, що вона також була відображена як така?» Знову ж таки, використовуючи приклад «пасовища», ми бачимо, що загалом 48 точок даних перевірки вважалися «пасовищами», і 34 з них також були класифіковані як такі. 34 з 48 - 71%, тому точність виробника для класу «пасовища» становить 71%.

Хоча точність користувача та виробника зосереджена на окремих класах, загальна точність відповідає на наступне питання: «Яка частка карти правильно класифікована?» , який часто можна інтерпретувати просто як «наскільки точна карта?». Дивлячись на значення діагоналі матриці плутанини у наведеному вище прикладі, ми бачимо, що 56 пікселів вважалися «лісом» у даних перевірки, а також були класифіковані як «ліс», і ми бачимо подібні цифри 67 для «води», 34 для «пасовищ» та 42 для «голого ґрунту». Ці суми складають 56+67+34+42=199, із загальної кількості 230 пікселів у наборі даних перевірки. 199 з 230 становить 87%, тому на основі даних перевірки ми оцінюємо, що 87% карти правильно класифіковано.

Загальну точність потрібно повідомляти з обережністю, як проілюструє наступний приклад. Уявіть, що зображення, яке ви використовували для класифікації, охоплювало прибережну зону, а суборбітальна доріжка супутника була трохи офшорною, тому 80% зображення було покрито «водою». Решта 20% зображення було покрито «голою грунтом» або «рослинністю». Якщо ви відбили цей нерівномірний розподіл при створенні даних перевірки, 80% ваших даних перевірки буде над водою, і оскільки воду відносно легко відрізнити від інших типів поверхні, ваша матриця плутанини може виглядати приблизно так:

Таблиця 8: Ще один приклад матриці плутанини. Зверніть увагу на дуже різну кількість точок перевірки, що використовуються для кожного класу.

		Дані валідації
	Клас	Вода	Рослинність	Голий грунт	Всього
Класифікація	Вода	82	1	0	83
	Рослинність	0	12	2	14
	Голий грунт	0	2	9	11
	Всього	82	15	11	108

Хоча точність користувача та виробника для «рослинності» та «голого ґрунту» не вражає у цьому сценарії, як очікувалося, «вода» класифікована майже ідеально. Домінування пікселів «води» впливає на розрахунок загальної точності, яка закінчується як 82+12+9 = 103 з 108, загальна точність 95%. Якщо мета карти полягає в тому, щоб з'ясувати, де знаходиться берегова лінія, або щось інше, що дійсно вимагає відокремлення води від суші, це може бути прийнятним як оцінка того, наскільки хороша карта. Але якщо ви зробили карту для органу місцевого самоврядування, якому доручено контролювати прибережну рослинність, загальна точність 95% може помилково дати думку про те, що карту слід використовувати з упевненістю для цієї мети, що значною мірою вимагатиме відокремлення «рослинності» від «голого ґрунту».

Загалом, поки ви повідомляєте а) як ви створили карту, б) як ви створили дані перевірки, і в) всю матрицю плутанини разом з будь-якою додатковою мірою точності, отриманою з неї, інтелектуальний читач зможе судити, чи підходить карта для певної мети чи ні.

Оцінка точності класифікацій, коли ви намагаєтеся лише зіставити одне

Окремий випадок оцінки точності представляє себе, коли ви складаєте карту одного типу об'єкта, наприклад будинків, басейнів і так далі. Хоча це все ще рідко зустрічається в дистанційному зондуванні, воно стає все більш необхідним з об'єктним аналізом зображень, який є ефективним засобом відображення конкретних типів об'єктів. Як приклад ми будемо використовувати басейни. Уявіть, що ви створили процес аналізу зображень на основі об'єктів, який приймає супутникове зображення з високою роздільною здатністю і намагається виявити всі басейни в області, охопленій зображенням. Продукт цього робочого процесу являє собою набір полігонів, які окреслюють всі басейни, визначені на зображенні. Аналогічно, дані перевірки складаються з набору полігонів, які окреслюють всі басейни, ідентифіковані вручну на зображенні, для невеликої частини зображення, яке ви використовуєте для перевірки. Отже, тепер у вас є два набори полігонів для порівняння, один - ваша «оцінка», інший - «реальність». Ваша матриця плутанини може бути налаштована так (пояснення нижче):

Таблиця 9: Матриця плутанини використовується для обчислення балу F1, коли точність оцінюється для виявлення лише одного виду об'єктів.

		Дані валідації
	Клас	Присутність	Відсутність	Всього
Класифікація	Присутність	ТП	ФП	Точність = ТП/(ТП + ФП)
	Відсутність	ФН
	Всього	Відкликати = ТП/(ТП + ФН)

У цій таблиці «наявність» вказує на наявність басейну (в будь-якому наборі даних), а відсутність вказує на відсутність басейну (також у будь-якому наборі даних). TP - це кількість True Positives - басейни, які існують у даних перевірки, і які були правильно визначені на вашій карті як басейни. FP - це кількість помилкових присутностей - об'єкт, ідентифікований на вашій карті як басейни, але які насправді є чимось іншим. FN - це кількість помилкових негативів - басейнів, які існують насправді, але які вашій карті не вдалося виявити. Зверніть увагу, що в цій таблиці немає справжніх негативів (об'єктів, які насправді не є басейнами, а також не були ідентифіковані на зображенні як басейни). Це було опущено, оскільки у випадку аналізу зображення, який має на меті знайти лише одне, жодні інші об'єкти не ідентифікуються ні на зображенні, ні в даних перевірки.

Метою хорошого аналізу зображень є, звичайно, наявність великої кількості справжніх присутностей, а також невелика кількість помилкових присутностей та невелика кількість помилкових негативів. Щоб кількісно оцінити, наскільки добре аналіз зображення досяг успіху, значення, яке зазвичай обчислюється, називається балом F1, який обчислюється як: F1 = (2* точність* Відкликання)/(Точність+Відкликання). Оцінка F1 має приємну властивість мати значення, які варіюються від 0 (найгірше) до 1 (найкраще), що полегшує інтерпретацію.

Оцінка точності для неперервних змінних

При роботі з безперервними змінними порівняння «оцінок» та «реальності» більше не є випадком перевірки, чи є вони ідентичними чи ні, оскільки при вимірюванні з достатньою деталізацією вони ніколи не є. Наприклад, ви, можливо, зіставили піксель як температуру поверхні 31,546° C, тоді як ваше відповідне польове спостереження говорить, що насправді це 31,543° C. незважаючи на те, що ці два значення не ідентичні, ви, мабуть, не хочете, щоб це просто вважалося «без відповідності». Натомість нам потрібно надати користувачам карти уявлення про те, яка типова різниця між відображеною оцінкою та реальністю.

Створення валідаційних даних

Оскільки при оцінці точності класифікації потрібен набір валідаційних даних, які вважаються представниками реальності. Вони майже повсюдно походять від польових вимірювань, і важливо пам'ятати, що, як і при оцінці точності класифікацій, дані валідації повинні бути порівнянними з показниками, отриманими з вашого зображення. Особливо питання просторового дозволу тут може бути проблематичним, оскільки проводити точні вимірювання на великих площах за допомогою більшості польового обладнання важко. Розглянемо випадок температури поверхні, яку зазвичай вимірюють за допомогою ручного інфрачервоного термометра (рис. 62).

Інфрачервоний термометр (як вушні термометри, які використовуються для перевірки, чи є у вас лихоманка чи ні) вимірює випромінювання, що надходить з невеликої круглої ділянки поверхні Землі, куди б не був спрямований термометр. Супутники по суті вимірюють те саме випромінювання та оцінюють температуру так само, як і портативний інфрачервоний термометр, за винятком того, що вони інтегрують випромінювання, виміряне на більшій площі (100 х 100 метрів, у випадку TIRS на Landsat 8), тоді як портативна версія вимірює дуже невелику площу (наприклад, 0.5 x 0,5 метра). Оскільки температура поверхні змінюється залежно від вологості ґрунту, рослинного покриву та поверхневого матеріалу, серед іншого, вимірювання в полі, яке є репрезентативним для середньої температури поверхні на площі 100 х 100 м, є майже непереборною проблемою в неоднорідних середовищах. Один із способів цього полягає в тому, щоб створити всі ваші дані перевірки в областях, які є максимально однорідними, інший - зробити кілька вимірювань і використовувати середні значення на кожному сайті, щоб створити одну точку даних перевірки. Незалежно від вашої стратегії, узгодження даних перевірки з просторовою роздільною здатністю зображення має важливе значення для отримання значущої оцінки точності.

62: Ручний інфрачервоний термометр такого типу, який використовується для вимірювання температури поверхні на невеликій площі. Ізометричний медичний цифровий безконтактний інфрачервоний термометр Пристрій для вимірювання температури синій білий від Jernej Furman, Flickr, CC BY 2.0.

Після того, як у вас є хороший набір даних перевірки, таблиця, яка є основою для оцінки точності, є таблицею, яка порівнює числові значення, як у наведеному нижче прикладі деревної біомаси на га в лісі:

Таблиця 10: Приклад таблиці, що використовується для порівняння відображених оцінок безперервної змінної з даними перевірки польових спостережень:

Картована біомаса, тонн на га (кошторис)	Спостережувана біомаса, тонн на га (реальність)
10.1	9.2
5.7	4.8
3.2	4.0
6.7	6.6
7.8	7.1
9.3	9.1
...	...

Одне з перших речей, які ми можемо кількісно оцінити за допомогою такого роду даних, - це те, чи відображаються оцінки, як правило, занижені або завищені, якщо порівнювати з даними перевірки. Якщо це так, то робочий процес (алгоритм), який виробляв кошториси, вважається упередженим, і перегляд його може бути в порядку. Зміщення можна обчислити як середню похибку, тобто середнє значення оцінки мінус валідації. Ми можемо обчислити це, оновивши таблицю 10, щоб дістатися до таблиці 11:

Таблиця 11: Ухил розраховується як середня похибка оцінок.

Картована біомаса, тонн на га (кошторис)	Спостережувана біомаса, тонн на га (реальність)	Помилка (оцінка — реальність)
10.1	9.2	0.9
5.7	4.8	0.9
3.2	4.0	-0.8
6.7	6.6	0.1
7.8	7.1	0.7
9.3	9.1	0.2
...	...
Середня помилка:		0,33

У таблиці 11 ми бачимо, що оцінки мають середню похибку 0,33. Іншими словами, в середньому оцінки біомаси на нашій карті завищують реальність на 0,33 т/га. Це може або не може вимагати уточнення алгоритму, який використовується для отримання оцінок, але, принаймні, варто повідомити потенційним користувачам карти біомаси, яка містить завищені оцінки.

Ще одна важлива річ для кількісної оцінки - це те, наскільки неправильні оцінки, як правило, є. Це важливо, тому що ви можете уявити собі неупереджену карту, яка сильно завищує біомасу в одній частині і сильно недооцінює її в інших місцях. Така карта, неупереджена, все одно всюди помилялася б! Найпростіший спосіб повідомити про це за допомогою середньої абсолютної помилки, як показано в таблиці 12:

Таблиця 12: Зазвичай повідомляється про середню абсолютну помилку (MAE), щоб показати, наскільки «точною» є карта.

Картована біомаса, тонн на га (кошторис)	Спостережувана біомаса, тонн на га (реальність)	Помилка (оцінка — реальність)	Абсолютна похибка
10.1	9.2	0.9	0.9
5.7	4.8	0.9	0.9
3.2	4.0	-0.8	0.8
6.7	6.6	0.1	0.1
7.8	7.1	0.7	0.7
9.3	9.1	0.2	0.2
...	...
Середня абсолютна похибка:			0.6

MAE говорить вам, яку різницю слід очікувати між оцінкою та реальністю, але не чи набуває ця різниця у вигляді завищення чи заниження. Оскільки більшість алгоритмів, що використовуються для відображення безперервних змінних, дуже ефективні при мінімізації зміщення, MAE часто використовується для порівняння різних підходів до відображення безперервної змінної, враховуючи підхід, який призводить до найнижчого MAE, як «найкращий».

Альтернативною мірою «точності» для неперервних змінних є помилка середнього кореня в квадраті (RMSE), яка обчислюється, як показано в таблиці 13:

Таблиця 13: Розрахунок середньокореневої помилки в квадраті.

Картована біомаса, тонн на га (кошторис)	Спостережувана біомаса, тонн на га (реальність)	Помилка (оцінка — реальність)	Помилка в квадраті
10.1	9.2	0.9	0,81
5.7	4.8	0.9	0,81
3.2	4.0	-0.8	0,64
6.7	6.6	0.1	0,01
7.8	7.1	0.7	0,49
9.3	9.1	0.2	0,04
...	...
Середня квадратна помилка:			0,47
Помилка середнього кореня в квадраті:			0,68

RMSE більше, ніж MAE (або дорівнює йому, у вкрай рідкісних випадках), оскільки важить великі похибки в його обчисленні. Алгоритми, які уникають великих помилок, таким чином, виграють при порівнянні з використанням RMSE, тоді як алгоритми, які часто мають дуже низькі помилки, але іноді мають дуже великі помилки, не мають.

Нарешті, ще одне значення, яке зазвичай повідомляється при відображенні безперервної змінної, - це коефіцієнт визначення, або R ², який вказує, наскільки різниця у значеннях даних перевірки («реальність») передбачувана з оцінок.

Хоча важливо розуміти, чому і як повідомляти про точність будь-якої карти, яку ви робите, на практиці це простіше, ніж може здатися в вищезазначених розділах. Більшість програмного забезпечення, що використовується для обробки зображень, має вбудовані функції для оцінки точності, і часто навіть надає функціональні можливості, які допоможуть вам створити дані перевірки. Якщо програмне забезпечення, яке ви використовуєте, не дозволяє обчислити конкретну міру (наприклад, MAE або показник F1), це, ймовірно, допоможе вам експортувати необхідні дані у файл, який легко читається в Excel, R або будь-якому іншому програмному забезпеченні, з яким ви знайомі, і можете використовувати для виконання решти обчислень вручну.