1.5: Візуалізація та маніпулювання супутниковими знімками

Більшість цього курсу стосуватимуться типового типу «супутникового зображення», яке ви можете побачити в новині або в Google Планета Земля, іншими словами, вид зображення, вироблене пасивними оптичними датчиками. Ці зображення багато в чому можна вважати схожими на фотографії, які ви робите за допомогою телефону, тому ви можете робити подібні речі з ними, щоб зробити їх кращими. За винятком того, що в контексті дистанційного зондування «краще» не означає фотошопінг, щоб видалити червоні очі та створити більш яскраві кольори, це означає показувати їх таким чином, щоб краще інтерпретувати їх для конкретних цілей. Це форма наукової візуалізації, процес, в якому відображення даних допомагає їх досліджувати і розуміти. Причина вивчення даних візуально може бути більш корисним, ніж запуск їх через комп'ютерний алгоритм, полягає в тому, що люди виключно вмілі інтерпретувати просторові закономірності. Як приклад, просто уявіть, що ви йдете по полю в Східній Канаді і побачите сцену нижче. Ви відразу можете зрозуміти, що темна частина зображення здається «недоречною» і, таким чином, може бути важливою, форма підказує вам, що це велика тварина, і ви можете принести всілякий контекст (час року, навколишнє середовище, той факт, що ведмеді, як відомо, живуть в цьому районі), щоб допомогти у вашому тлумачення того, що відбувається.

29: Люди надзвичайно добре розпізнають структури на зображеннях, і хоча комп'ютерний зір стрімко розвивається, людський мозок все ще часто перевершує штучний інтелект у цій галузі. Ведмідь в лісі Лінда Таннер, Flickr, CC BY-NC-ND 2.0.

Розширений дисплей у відтінках сірого

Багато що відбувається за лаштунками, коли ви виводите зображення на екран комп'ютера. Щоб подивитися на деталі, ми спочатку візьмемо найпростіший можливий приклад, 8-бітове зображення у градаціях сірого, але майте на увазі, що ті ж принципи застосовуються до даних різного типу. 8-бітове зображення у градаціях сірого (зазвичай, але вводить в оману, яке також називають чорно-білим зображенням) відповідає одному двовимірному шару даних зі значеннями від 0 до 255. У цифровому вигляді файл зображення (наприклад, jpg, png, tif або інший файл зображення) містить купу цифр, а також деяку інформацію про розміри зображення. У наведеному нижче прикладі зображення містить 16 пікселів, розташованих у 4 рядки та 4 стовпці, а значення від 0 до 255 пов'язане з кожною коміркою. Це значення цифрове число (DN). Більшість комп'ютерних екранів здатні відображати 256 різної інтенсивності світла і використовувати три кольори (червоний, зелений і синій) для цього, що дозволяє виробляти 256 * 256 * 256 = 16,8 мільйонів кольорів. Подумайте, що всередині кожного пікселя на екрані комп'ютера є три маленькі «кольорові світлові гармати», які визначають, скільки світла виробляти кожного кольору в кожному пікселі. При відображенні зображень у градаціях сірого інтенсивність світла червоного, зеленого та синього кольорів однакова, дозволяючи 256 відтінків сірого. Найтемніший з них (0 інтенсивності світла червоним, 0 - зеленим та 0 синім) створює чорний колір на екрані, а найяскравіший (255 червоним, 255 зеленим та 255 у синьому) - білий. Таким чином, приклад, показаний на малюнку 30, є найпростішою візуалізацією (праворуч) значень DN у файлі (зліва).

30: Одношарове зображення у градаціях сірого, що показує цифрові цифри зліва та їх візуалізація праворуч. Андерс Кнудбі, CC BY 4.0.

Непокращений дисплей із справжнім кольором

Більшість зображень мають більше одного шару даних і, таким чином, можуть бути використані для створення кольорових зображень. Телефонні камери записують файли зображень з трьома шарами, що відповідають червоному, зеленому та синьому кольорам, тому візуалізувати ці файли легко за допомогою трьох «кольорових пістолетів» на екрані комп'ютера. Візуалізація справжнього кольору, не дивно, в якій ви відображаєте «червоний» шар даних, використовуючи червоний «кольоровий пістолет» тощо. Наприклад:

31: значення DN у червоному, зеленому та синьому діапазонах та їх пряме відображення у композиційному кольорі. Андерс Кнудбі, CC BY 4.0.

Непокращений дисплей помилкового кольору

Більшість пасивних оптичних датчиків на супутниках записують світло в більш ніж трьох «діапазонах», і таким чином створюють файли зображень з більш ніж трьома шарами даних. Деякі з цих смуг можуть бути різними відтінками видимого світла (наприклад, фіолетового), тоді як інші, такі як інфрачервоний і ультрафіолетовий, потрапляють за межі видимого для людини спектра. Для показу таких даних використовуються помилкові кольорові візуалізації. Назва false-color просто стверджує, що те, що показано, не представляє, як виглядатиме область зображень для людини, це не означає, що з зображенням щось не так (насправді помилкові кольорові дисплеї дуже корисні). Фальшиві кольорові дисплеї мають багато смаків - просто уявіть собі кількість різних комбінацій трьох діапазонів, які ви можете зробити за допомогою даних датчиків, які мають більше 200 діапазонів... Найпоширенішу візуалізацію помилкового кольору часто називають «кольорово-інфрачервоним», і вона відображає «ближній інфрачервоний» діапазон за допомогою червоного кольоровий пістолет, «червона» смуга за допомогою пістолета зеленого кольору та «зелена» смуга за допомогою пістолета синього кольору. На малюнку 32 представлено порівняльне порівняння справжнього кольору та помилкового відображення зображення Landsat, що містить місто Занзібар.

32: Істинно-кольорові та кольорові інфрачервоні дисплеї зображення Landsat, що містить місто Занзібар. Андерс Кнудбі, CC BY 4.0.

Покращення зображення

У попередніх прикладах ми уявляли, що зображення завжди містили значення від 0 до 255, акуратно забезпечуючи 256 різних можливих значень, які можуть відображати кольорові гармати на типовому екрані комп'ютера. Існує дві ситуації, коли використання значення DN, знайденого у файлі зображення безпосередньо для визначення інтенсивності світла, виробленого кольоровим пістолетом, не є найкращим варіантом:

• Не всі датчики записують дані, використовуючи 8 біт на піксель (на колір). Для (старіших) датчиків, які використовують менше 8 біт, або (новіших) датчиків, які використовують більше 8 біт, зазвичай необхідно перетворення між значенням DN та інтенсивністю, з якою воно повинно відображатися.
• Якщо датчик створив зображення над особливо яскравою або темною областю, або, принаймні, якщо така область представляє особливий інтерес, значення, знайдені в цій області (наприклад, від 50 до 80), можуть відображатися за допомогою більш широкого діапазону інтенсивностей на екрані (наприклад, від 20 до 110), тим самим покращуючи візуальний контраст над цікавою областю.

Щоб краще розібратися в цих питаннях, нам потрібно розглянути, як значення DN зберігаються в пам'яті комп'ютера. Ми розглянемо один піксель і його значення DN для однієї смуги. Для 8-бітного датчика це значення DN зберігається в 8 бітах, кожен з яких може бути або ON (1) або OFF (0). Значення закодовано так, як показано на малюнку 33. У цьому прикладі біти, що представляють значення 128, 32, 16, 8 і 2, є увімкненими, а інші - OFF. Таким чином, значення DN пікселя обчислюється як 128 + 32 + 16 + 8 + 2 = 186. Діапазон можливих значень з 8 бітами йде від 0 (всі біти вимкнені) до 255 (всі біти увімкнені), загалом 256 можливих значень. Насправді кількість можливих значень, задане кількість бітів, легко обчислюється як 2 ^n, де n - кількість бітів.

33: Цей приклад ілюструє 8-бітний піксель зі значенням 186. Андерс Кнудбі, CC BY 4.0.

Це причина, чому датчики, які використовують менше 8 біт для зберігання DN для кожного пікселя, не можуть створювати 256 різних значень. Однак, тільки заради аргументу, якби ми мали відображати 4-бітні значення DN (значення DN в діапазоні від 0 до 15) безпосередньо без перетворення, ми б побачили лише дуже темні відтінки сірого (жодні фактичні датчики не записують інформацію, використовуючи лише 4 біти, але перші датчики Landsat використовували лише 6 біт, і проблема полягає в те ж саме).

З іншого боку, датчики, які використовують 12 біт для зберігання кожного значення DN (як це роблять багато сучасних датчиків), містять значення від 0 до 2 ¹² -1 = 4095. Щоб відобразити цей діапазон значень, нам потрібно перетворити їх на всі розміри між 0 і 255, що найпростіше зробити, просто розділивши на 16 і округлення вниз. Зверніть увагу, що в цьому випадку, поки екран комп'ютера не здатний відображати дані у всіх його деталах, алгоритми обробки зображень все одно зможуть ним скористатися.

Речі стають цікавішими, коли ми маємо зображення, в якому конкретний діапазон значень представляє найбільший інтерес. Поширеним прикладом є вид зображення, показаного на малюнку 32, який містить деяку кількість води (дуже темна), земля (відносно темна і в значній мірі зелена) та хмари (дуже яскраві). Якщо ми спеціально не зацікавлені у вивченні хмар на цьому зображенні, нам насправді не потрібно вміти розрізняти пікселі зі значеннями DN 245 проти 250 проти 255. Те, що ми можемо зробити, це відобразити всі «яскраві» пікселі, про які ми насправді не дбаємо, з тим самим кольором (білим), і, таким чином, «резервувати» більше різних яскравостей, за допомогою яких ми можемо відображати пікселі для значень DN, про які ми дбаємо більше. Математично це означає створення таблиці, яка переводить кожне значення DN для кожної смуги в еквівалентне значення яскравості, з яким воно буде відображатися на екрані. Графічно ми можемо показати це, як це робиться нижче на малюнку 34, де значення DN показані на осі x, а яскравість, з якою вони відображаються, відображається на осі y. Синя лінія представляє пряме використання значення DN без посилення контрастності. Помаранчева лінія являє собою лінійне посилення контрастності, при якому всі значення DN менше 50 відображаються з яскравістю 0, а всі значення DN більше 240 відображаються з яскравістю 255. Це дозволяє нам використовувати решту 254 можливих значень яскравості для кращого відображення менших відмінностей між пікселями зі значеннями DN між 50 і 240. Сіра лінія - це перетворення квадратного кореня, яке зберігає певний контраст уздовж усього діапазону значень DN, але фокусується на відображенні відмінностей між пікселями з низькими значеннями DN, за рахунок тих, що мають високі значення DN. Приклади того, як може виглядати таке посилення контрасту на практиці, наведені на малюнках 35-37:

34: Три варіанти відображення 8-бітових даних. Андерс Кнудбі, CC BY 4.0.

35: Немає посилення контрасту. Андерс Кнудбі, CC BY 4.0.

36: Лінійне підвищення контрастності з використанням мінімальних і максимальних значень зображення замість 50 і 240 у наведеному вище прикладі. Андерс Кнудбі, CC BY 4.0.

37: Підвищення контрасту, відоме як вирівнювання гістограми. Це математично складніше, ніж наведені вище приклади, але часто дає хороші результати. Андерс Кнудбі, CC BY 4.0.

Сковорода-заточка

Коли ви дивитеся голлівудські фільми та аналітик ЦРУ або напрочуд гарний поліцейський натискає кнопку, щоб «покращити» кадри з камери спостереження, таким чином розкриваючи риси обличчя з того, що раніше було розмитим краплею, ну, це Голлівуд. Річ у зображеннях полягає в тому, що вони є лише даними, і ви не можете зробити деталі (нові дані) з'являтися там, де їх немає в вихідних даних. Тут є смішне пояснення цієї загальної ідеї. Однак з деякими супутниковими знімками є один вид «покращення», яке насправді працює (хоча це завдає хаосу тонкими способами на радіометрії зображення). Розглянута техніка називається пан-різкістю, що стосується того факту, що більшість пасивних оптичних супутникових датчиків мають «пан-хроматичну» смугу, яка записує дані про яскравість у всіх видимих смугах та з більш високою просторовою роздільною здатністю, ніж окремі кольорові смуги. Наприклад, датчики на супутниках Landsat 4-7 мають синю, зелену та червону смуги, всі з 30-метровою просторовою роздільною здатністю та панхроматичну смугу, яка записує синє та зелене, а також червоне світло, з просторовою роздільною здатністю 15 метрів. Для сучасних датчиків з високою роздільною здатністю різниця в просторовій роздільній здатності ще більша: WorldView-2 має кольорові смуги з роздільною здатністю 2 метри і панхроматичну смугу з роздільною здатністю 50 см. Загалом, ми можемо об'єднати інформацію про колір з окремих колірних смуг з просторовою деталізацією з панхроматичної смуги, щоб отримати щось подібне до того, що ви бачите на малюнку 38.

Існує кілька алгоритмів, які можуть бути використані для виконання цієї операції, і кожен використовує різний набір припущень і правил для того, як генерувати інформацію про колір для кожного з пікселів на панорамованому зображенні. Хоча контекст визначає, який алгоритм перевершує для даного зображення, результати більшості алгоритмів вражають і можуть значно допомогти у візуальній інтерпретації супутникових знімків. Більшість комерційних пакетів програмного забезпечення для обробки зображень мають один або кілька алгоритмів панорамування різкості, тому, хоча сам процес досить складний, насправді його застосування до зображення здійснюється натисканням кнопки.

Малюнок 7) Фу та ін., CC BY 4.0.

Співвідношення діапазонів та інші групи математики

Попередні розділи здебільшого розглядалися різні способи відображення значень DN, знайдених у кожній смузі - у відтінках сірого або кольоровому, безпосередньо або перетвореному за допомогою посилення контрастності, панорамування чи ні. Альтернативою є створення нових груп за допомогою процесу, який зазвичай називають «Band Math'.

Наприклад, ми можемо захотіти створити групу, яка кількісно визначає, як «червоне» щось є. Проблема з оригінальною «червоною» смугою на типовому супутниковому знімку видно, порівнюючи значення «червоного» DN з верхньої лівої частини малюнка 31 з кольорами, показаними в нижній правій частині того ж малюнка. Можливо, піксель, який знаходиться у верхньому лівому куті, - це те, що більшість людей вважають «червоним», але два пікселі з найвищими значеннями DN у «червоній» смузі - це жовті та білі пікселі (обидва мають «червоні» значення DN 255). Незважаючи на високе значення «червоного» DN, ці пікселі не відображаються «червоними», оскільки вони також мають високі значення DN в одному або декількох інших кольорах. Щоб краще оцінити «червоний» вигляд кожного пікселя, ми можемо обчислити щось, що називається «червона хроматична координата» (RCC). Для кожного пікселя це обчислюється як RCC = Red/(Red + Green + Blue), де Червоний, Зелений і Синій представляють відповідні значення DN в кожному пікселі. Як видно з розрахунків на малюнку 39, червоний піксель у верхньому лівому куті має більше значення RCC, ніж будь-який з інших пікселів, а потім жовтий піксель поруч з ним (оскільки жовтий «близький до» червоного). Зверніть увагу, що band math працює над кожним пікселем окремо і виконує ту саму математичну операцію для всіх пікселів зображення. При цьому він виробляє нову групу, яка є функцією оригінальних смуг. Іншим поширеним використанням смугової математики є обчислення «діапазонних коефіцієнтів», таких як індекс рослинності, який називається «Просте співвідношення», який обчислюється як SR = NIR/Red, де NIR - це значення (в ідеалі коефіцієнт відбиття TOA) в ближньому інфрачервоному діапазоні, а червоний - те саме значення в червоній смузі. Оскільки здорові рослини дуже ефективно відбивають ближнє інфрачервоне світло, тоді як вони поглинають більшість червоного світла (і, таким чином, відображають дуже мало червоного світла для виявлення датчика), ділянки з рослинністю, як правило, мають високу коефіцієнт відбиття та значення DN в ближньому інфрачервоному діапазоні та низькі значення в червоній смузі. Це призводить до того, що райони з рослинністю мають дуже високі значення простого співвідношення, і тому це співвідношення смуг може бути використано для швидкого та легкого створення візуалізації, яка допомагає людям розрізняти рослинні та нерослинні області. Ще більш популярним вегетаційним індексом є нормалізований індекс різниці вегетації (NDVI), який обчислюється як NDVI = (NIR - червоний)/(NIR + Red).

Малюнок 31. Червона хроматична координата (RCC) обчислюється як RCC = червоний/(червоний+зелений+синій). Пікселі зі значеннями DN 0 у всіх діапазонах (тобто чорні пікселі) отримали значення NoData (NA). Андерс Кнудбі, CC BY 4.0.

Математика діапазонів може бути використана для обчислення нових смуг з будь-якою комбінацією вхідних смуг, яку ви можете придумати, і різні види смугової математики використовуються, серед багатьох інших додатків, для моніторингу глобальної вирубки лісів, відстеження сезонних змін снігового покриву, карти глибини води та моніторингу розростання міст.

Трансформація ковпачка з пензликами (TCT)

Для даних Landsat було розроблено особливе застосування смугової математики, яке називається перетворенням кришки з пензликами, і зараз зазвичай використовується для створення стандартизованого та легко інтерпретуваного набору смуг з вихідних даних. Спочатку він був розроблений для приладу під назвою Landsat MSS (який більше не працює), і з тих пір був оновлений для ТМ Landsat (датчики на Landsat 4 і 5), ETM+ (датчик на Landsat 7) та OLI (пасивний оптичний датчик на Landsat 8). Ідея трансформації ковпачка з пензликами полягає в тому, щоб створити три нові смуги, «зеленість», «яскравість» та «вологість», які описують фактичні зміни цих параметрів на зображенні. У типовому супутниковому знімку сільського ландшафту ділянки, покриті водою (сині точки) та голою ґрунтом (червоні точки), утворюватимуть «лінію» у двовимірному (NIR/RED) просторі, тоді як рослинність (зелені точки) буде лежати подалі від лінії, а різні етапи росту рослин разом утворюватимуть форму, приблизно схожу на кисточку ковпачок (рис. 40). Три нові смуги створюються шляхом ефективного обертання осей системи координат, тому «яскравість» визначається вздовж «лінії ґрунтів» на малюнку 40, «зеленість» визначається вздовж осі, яка відходить від лінії ґрунтів і збільшується в цінності, коли вона рухається до вершини «кистоподібної шапки», і 'мокнутість' визначається вздовж третьої осі (не показано на рис. 40) перпендикулярно першим двом. Приклад результатів, заснований на зображенні IKONOS з Айдахо, США, показаний на малюнку 41. У практичному плані кожна складова кришечки з пензликом розраховується як зважена сума значень у вихідних смугах. Наприклад, для даних ТМ Landsat «яскравість» розраховується як BR = 0,3037* СИНІЙ + 0,2793* ЗЕЛЕНИЙ + 0,4343 * ЧЕРВОНИЙ + 0,5585* NIR + 0,5082* SWIR1 + 0,1863 * SWIR2 (SWIR1 і SWIR2 - це два короткохвильових інфрачервоні діапазони, також присутні на датчиках Landsat TM).

40: Принцип трансформації кепки з пензликами. Голі ґрунти різної яскравості падають уздовж лінії при нанесенні їх значень у смугах RED та NIR, тоді як рослинність зростаючої щільності знаходиться в межах «шапки», вгору та зліва від лінії ґрунтів. Вегетація на різних стадіях росту, зростаючи на грунтах різної яскравості, утворює таким чином форму, схожу на пензликовий капелюшок. Оригінальна рецептура кепки з пензликами включала в себе третій вимір, використовуючи зелену смугу. Трансформація кисточок для світлого і темного ґрунту від Гуркенгребера (адаптовано з Річардса та Джіа), Wikimedia Commons, CC BY-SA 4.0.

41: Приклад перетворення кришки з пензликом, застосованого до зображення IKONOS з Айдахо, США. tcap_example Джейсон Карл, Ландшафтний набір інструментів, CC0 1.0.

Аналіз основних компонентів (PCA)

42: Двовимірний приклад аналізу основних компонентів. GaussiansCatterPCA Нікогуаро, Wikimedia Commons, CC BY 4.0.

Останній вид математики смуг, який ми розглянемо в цьому розділі, схожий на перетворення кришки з пензликом тим, що розрахунок передбачає зважену суму вихідних смуг, але він відрізняється в тому сенсі, що ваги визначаються з властивостей самого зображення, і як такі вони відрізняються від зображення. до зображення. Рисунок 42 дає хорошу ілюстрацію того, як це працює. Ми можемо собі уявити, що кожна точка на графіку розкиду - це піксель з нашого зображення, і що він будується відповідно до його значення в одній смузі на осі x та іншій смузі на осі y. З розподілу точок на малюнку 42 зрозуміло, що точки з високими значеннями в одній смузі, як правило, також мають високі значення в іншій смузі, і що більша частина розподілу точок проходить вздовж уявної лінії зліва знизу до правого верхнього краю ділянки. Орієнтація цієї уявної лінії називається першим головним компонентом (ПК ₁) і ілюструється найдовшою стрілкою. Але є також певна варіація ортогонально (перпендикулярно) до ПК ₁. Це орієнтація другого основного компонента, ПК ₂, проілюстрована коротшою стрілкою. Залежно від того, скільки смуг знаходиться на зображенні, можна продовжувати знаходити нові такі лінії в третьому, четвертому і т.д. розмірах, кожна орієнтована вздовж найбільшого розподілу точок у будь-якій орієнтації, перпендикулярній всім попереднім основним компонентам. На малюнку 42 вихідний набір даних мав лише два виміри, тому було створено дві основні компоненти. Довжина кожної стрілки відповідає сумі загального розподілу, захопленого кожним основним компонентом, і зрозуміло, що ПК ₂ захопив досить мало розподілу в початкових точках. Це можна інтерпретувати як ПК ₂, що містить дуже мало інформації, і часто основні компоненти з вищим номером можуть бути повністю видалені з невеликою втратою інформації. Завдяки цим знанням можна створити нові смуги, в яких значення кожного пікселя вже не є його значенням DN у вихідних діапазонах, а скоріше його значенням уздовж кожної з головних осей компонента. Це основна сила PCA: що вона дозволяє перетворити дані в меншу кількість смуг (тим самим займаючи менше місця на жорсткому диску та дозволяючи швидше читати та обробляти), не втрачаючи багато інформації. Дослідження навіть показали, що для деяких видів зображень (наприклад, безхмарного зображення Landsat сільськогосподарської місцевості) конкретні основні компоненти, як правило, відповідають конкретним змінним навколишнього середовища, таким як вологість ґрунту, рослинний покрив тощо. Однак тут важлива нота обережності. Оскільки орієнтація основних компонентів (стрілки на рис. 42) залежить від розподілу сукупності значень пікселів у кожному окремому зображенні, значення основних компонентів пікселя безпосередньо не інтерпретуються і можуть різко відрізнятися між зображеннями, навіть для однакових пікселів. Таким чином, PCA може допомогти вам зменшити обсяг даних зображення, але це руйнує (або, принаймні, ускладнює) інтерпретацію в процесі. Ще одне дійсно гарне пояснення PCA, включаючи анімований розсіювач, який, на мою думку, пояснює речі дуже добре, знаходиться тут.