1.10: Фотограмметрія та структура від руху

Усі застосування даних дистанційного зондування, розглянуті в попередніх розділах, базувалися або на окремих зображеннях (наприклад, класифікації), або на часових рядах зображень (наприклад, виявлення змін). Однак, коли два (або більше) зображення отримані з однієї області, швидко послідовно і з різних кутів, можна витягти геометричну інформацію про відображену область, так само, як наші очі і мозок витягують 3D-інформацію про навколишній світ, коли ми дивимося на нього двома очима. Це підобласть дистанційного зондування під назвою фотограмметрія.

Традиційна (одиночне зображення і стерео) фотограмметрія

Фотограмметрія передбачає використання інформації про геометрію зображення (відстань між датчиком і об'єктом, положення та орієнтацію датчика, а також внутрішню геометрію датчика) для отримання інформації про положення, форми та розміри об'єктів, що спостерігаються на знімках. Фотограмметрія використовується з самого раннього використання аерофотозйомки, і основною ідеєю в цій галузі є можливість вимірювання відстаней на зображенні. Таким чином, фотограмметрія дозволяє з'ясувати, наскільки довгий відрізок дороги, наскільки він знаходиться від точки А до точки Б, і наскільки великий насправді ваш місцевий каток (якщо припустити, що у вас є добре відкаліброване зображення, тобто). Ви можете думати про це з точки зору зйомки аерофотознімка та маніпулювання нею таким чином, що ви можете накладати її в ГІС або на Google Планета Земля. Після того, як географічні координати пов'язані із зображенням, стає можливим вимірювання відстаней.

Одне вертикальне зображення, плоска місцевість

Найпростіший можливий сценарій фотограмметрії полягає в тому, що у вас є зображення, створене датчиком, спрямованим безпосередньо на Землю, і що зображення містить ідеально рівну місцевість. Якщо припустити, що зображення було зроблено датчиком, розташованим або на літаку, що летить на дуже великій висоті, або на супутнику, і що зображення охоплює лише дуже невелику площу, ми можемо зробити спрощене припущення, що кожна частина зображення була зображена саме з зеніту, і що в результаті відстань між датчиком і поверхнею Землі однаково по всьому зображенню (рис. 75).

При цьому масштаб зображення дорівнює співвідношенню фокусної відстані камери (f, або еквівалентної міри для типів датчиків, відмінних від точкових камер) і відстані між датчиком і землею (H):

Масштаб = f/H

Якщо ви знаєте масштаб вашого зображення, ви можете виміряти відстані між реальними об'єктами, виміряючи їх відстань на зображенні і розділивши на шкалу (зверніть увагу, що шкала - це дріб, який має 1 в чисельнику, тому ділення на шкалу таке ж, як множення на знаменник).

75: Насправді зображення створюється зі світла, що досягає датчика під різними кутами з різних частин земної поверхні. Для нинішніх цілей ми можемо припустити, що ці кути насправді не відрізняються, і що в результаті відстань між датчиком і поверхнею Землі однакова на всьому зображенні. Насправді це припущення не є правильним, і масштабування/просторова роздільна здатність фактично змінюється від центру зображення до країв зображення. Андерс Кнудбі, CC BY 4.0.

Це визначення масштабу дійсно актуально лише для аналогової аерофотозйомки, де зображення продукту друкується на папері і фіксована залежність між довжиною речей на зображенні і довжиною тих самих речей в реальному світі. Для цифрової аерофотозйомки або коли супутникові знімки використовуються в фотограмметрії, «масштаб» зображення залежить від рівня масштабування, який користувач може варіювати, тому більш релевантною мірою просторової деталізації є просторова роздільна здатність, яку ми вже розглядали в попередніх розділах. Просторова роздільна здатність визначається як довжина однієї сторони пікселя на землі, і це не змінюється залежно від рівня масштабування (що змінюється при збільшенні та зменшенні масштабу - це просто зернистість, з якою зображення з'являється на екрані). Однак ми можемо визначити «рідну» просторову роздільну здатність подібно до того, що використовується для аналогових зображень, на основі фокусної відстані (f), розміру окремих елементів виявлення на датчику камери (d) та відстані між датчиком та землею (H):

Роздільна здатність = (f* d) /H

Одне вертикальне зображення, горбиста місцевість

Ситуація ускладнюється, коли зображення приймається по місцевості, яку не можна розумно вважати ідеально рівним, або коли відстань між датчиком і землею досить мала, або площа, покрита зображенням, досить велика, що фактична відстань між датчиком і ґрунт істотно змінюється між різними частинами зображення:

76: Коли зображення робиться ближче до поверхні Землі або на більш горбистій місцевості, відстань між датчиком і поверхнею Землі не можна вважати постійною протягом усього зображення. Якщо не брати до уваги, це призводить як до вертикального, так і горизонтального зміщення зображуваних об'єктів. Андерс Кнудбі, CC BY 4.0.

Горбиста місцевість викликає ряд проблем в фотограмметрії, головне вертикальне і горизонтальне зміщення зображуваних об'єктів. Як показано на малюнку 76, якщо передбачається, що точка X лежить на плоскій поверхні (а не на пагорбі, де вона насправді знайдена), на основі геометрії зображення її горизонтальне положення буде вважатися на X», оскільки саме там «світловий промінь» перетинає рівну землю. Насправді, звичайно, його горизонтальне положення не на X '. Якщо поверхнева місцевість зображеної області відома, наприклад, завдяки наявності високоякісної цифрової моделі висот, це може бути враховано під час географічного прив'язки зображення та правильного перетину між «світловим променем» та землею (на пагорбі). Однак, якщо цифрової моделі висот не існує, ефект рельєфу - відомий як рельєфне зміщення - не може бути явно врахований, навіть якщо це очевидно на отриманих зображеннях.

Стереозображення

Ще десять років тому, ймовірно, найбільш передовим використанням фотограмметрії було використання стерео-пари (два зображення, що охоплюють одну і ту ж область з різних точок зору), щоб безпосередньо отримати цифрову модель висоти із зображень, що також дозволило такі речі, як вимірювання висоти речей, таких як будівлі, дерева, автомобілі, і так далі. Основним принципом стереоскопії, як називається методика, є відтворення того, що ви робите двома очима весь час — переглядаючи об'єкт або пейзаж під двома різними кутами, можна реконструювати його тривимірну модель. Хоча існує складне мистецтво робити це з високою точністю (мистецтво, яке ми не можемо дослідити в рамках цього курсу), ми розглянемо основну ідею тут.

77: Ілюстрація того, як видимі горизонтальні положення точок A і B змінюються між двома зображеннями, які утворюють стереовид області. Розмір датчика був значно перебільшений, щоб показати розташування кожної точки на головній площині. Андерс Кнудбі, CC BY 4.0.

На малюнку 77 зображення 1 та зображення 2 представляють стерео вигляд ландшафту, який містить певну плоску місцевість та два пагорби, з точками A та B. На лівій стороні фігури (зображення 1) a та b позначають місця, в яких кожна точка буде записана на головній площині цього зображення, що відповідає тому, де точки будуть в отриманому зображенні. У правій частині фігури камера перемістилася вліво (слідуючи за траєкторією польоту літака або рухом супутника на його орбіті), і знову b 'і a' позначають місця, в яких кожна точка буде записана на головній площині на цьому зображенні. Важливо відзначити, що a відрізняється від a ', оскільки датчик перемістився між двома зображеннями, і аналогічно b відрізняється від b'. Більш конкретно, як показано на малюнку 78, відстань між a та a' більше, ніж відстань між b і b ', оскільки A ближче до датчика, ніж B. Ці відстані, відомі як паралакс, - це те, що передають інформацію про відстань між датчиком та кожною точкою, а отже, про висоту, на якій розташована кожна точка. Насправді отримання висоти A відносно рівного рівня землі або відносного рівня моря або вертикальної бази, або навіть краще отримання цифрової моделі висот для всієї області, вимагає ретельного відносного позиціонування двох зображень (як правило, робиться шляхом визначення великої кількості об'єктів поверхні, які можуть бути розпізнані. в обох зображеннях), а також знати щось про положення та орієнтацію датчика, коли два зображення були отримані (як правило, це робиться за допомогою GPS-інформації), і, нарешті, знаючи щось про внутрішню геометрію датчика (зазвичай ця інформація надається виробником датчик).

Малюнок 77. Андерс Кнудбі, CC BY 4.0.

Математика, застосована в стереоскопії, досить складна, але на практиці навіть новачок може виробляти корисні цифрові моделі висоти зі стереозображень за допомогою комерційного програмного забезпечення. Хоча існує спеціалізоване програмне забезпечення для фотограмметрії, великі комерційні пакети програмного забезпечення дистанційного зондування, як правило, включають «модуль фотограмметрії», який може допомогти вам створити цифрові моделі висоти, навіть якщо ви не є експертом фотограмметристом. У вищесказаному ми припустили зображення, що виглядають надиром (тобто, що датчик був спрямований прямо на Землю для кожного зображення), оскільки концепції ускладнюються, коли це не так, але математичні рішення існують і для косих зображень. Насправді, одним з корисних атрибутів декількох сучасних супутників, що несуть датчики зображення, є їх здатність нахилятися, що дозволяє два зображення бути захоплені одним і тим же датчиком на одній орбіті. Коли супутник наближається до своєї мети, він може бути спрямований вперед для зйомки зображення, а пізніше на орбіті він може бути спрямований назад, щоб знову зобразити ту саму область під іншим кутом.

Структура від руху (фотограмметрія з кількома зображеннями)

Як це трапляється іноді в галузі дистанційного зондування, методи, розроблені спочатку для інших цілей (наприклад, медична візуалізація, машинне навчання та комп'ютерний зір), показують потенціал для обробки знімків дистанційного зондування, і іноді вони в кінцевому підсумку революціонізують частину дисципліни. Такий випадок з технікою, відомою як Structure-from motion (SfM, так, «f» має на увазі нижній регістр), на розвиток якої вплинула фотограмметрія, але значною мірою базувалася в спільноті комп'ютерного бачення/штучного інтелекту. Основну ідею в SfM можна пояснити іншим людським зором паралельно - якщо стереоскопія імітує здатність вашої системи око-мозку використовувати два погляди на область, придбану з різних кутів, щоб отримати 3D-інформацію про неї, SfM імітує вашу здатність закрити одне око і бігати навколо області, отримуючи 3D-інформацію про це, як ви рухаєтеся (не намагайтеся це в класі, просто уявіть, як це може насправді працювати!). Іншими словами, SfM здатний реконструювати 3D-модель області на основі декількох зображень, що перекриваються однією і тією ж камерою з різних кутів (або з різними камерами насправді, але це ускладнюється і рідко стосується програм дистанційного зондування).

Є кілька причин, чому SfM швидко зробила революцію в області фотограмметрії, аж до того, що традиційна стереоскопія може швидко піти в минуле. Деякі важливі відмінності між ними перераховані нижче:

• Традиційна (два-зображення) стереоскопія вимагає, щоб внутрішня геометрія камери характеризувалася добре. Хоча існують встановлені процеси для з'ясування того, що це за геометрія, вони вимагають помірного рівня знань і вимагають від користувача фактично пройти і «калібрувати» камеру. SfM робить цю калібрування камери, використовуючи ті самі зображення, які використовуються для відображення області інтересу.
• У подібному ключі традиційна стереоскопія вимагає, щоб положення та орієнтація (наведення) камери були відомі з великою точністю для кожного зображення. SfM виграє від приблизної інформації за деякими або всіма цими параметрами, але строго не потребує їх і вміє дуже точно виводити їх з самих зображень. Оскільки багато сучасних камер (наприклад, у вашому телефоні) мають внутрішні GPS-приймачі, які надають приблизну інформацію про місцезнаходження, це дозволяє використовувати камери споживчого класу для отримання надзвичайно точних цифрових моделей висоти.
• Для обох методів, якщо положення камери невідомі, 3D-модель, реконструйована з зображень, може бути прив'язана до географічних точок відомого місця розташування. Таким чином дві техніки схожі.
• Швидка еволюція безпілотників забезпечила середнім людям платформу для переміщення камери споживчого класу навколо способами, які раніше були обмежені людьми, які мали доступ до пілотованих літаків. Зображення, зроблені безпілотними камерами споживчого класу, є саме таким входом, необхідним у робочому процесі SFM, хоча вони не працюють добре в традиційному робочому процесі стереоскопії.

Як згадувалося вище, SfM використовує кілька фотографій, що перекриваються, для створення 3D-моделі області, зображеної на фотографіях. Це робиться в ряд кроків, як зазначено нижче і показано на малюнку 79:

Крок 1) Визначте однакові функції в декількох зображеннях. Щоб мати можливість ідентифікувати однакові функції на фотографіях, зроблених з різних ракурсів, з різних відстаней, при цьому камери не завжди орієнтуються однаково, можливо, навіть при різних умовах освітлення, в крайньому випадку навіть з різними камерами, SfM починається з ідентифікації функцій за допомогою алгоритм SIFT. Ці функції, як правило, ті, що виділяються з оточення, такі як кути або краї, або об'єкти, які темніші або яскравіші, ніж їх оточення. Хоча багато таких функцій легко ідентифікувати для людей, а інші - ні, алгоритм SIFT спеціально розроблений, щоб дозволити ідентифікувати ті ж функції, незважаючи на виклики обставин, викладених вище. Це дозволяє йому особливо добре працювати в контексті SFM.

Крок 2) Використовуйте ці функції для отримання інформації про внутрішню та зовнішню камеру, а також 3D-позиції функцій. Після того, як декілька об'єктів були ідентифіковані в декількох зображеннях, що перекриваються, вирішується набір рівнянь, щоб мінімізувати загальну відносну похибку позиціонування точок на всіх зображеннях. Наприклад, розглянемо наступні три (або більше) зображення, на яких були ідентифіковані однакові множинні точки (показано у вигляді кольорових крапок):

79: Приклад регулювання блоку зв'язки в SfM. Sfm1 Майтенг, Вікісховище, CC BY-SA 4.0.

Знаючи, що червона точка в P1 така ж, як і червона точка в P2 і P3 та будь-яких інших задіяних камерах, і аналогічно для інших точок, можна вивести відносне положення обох точок і розташування камери та орієнтації (а також оптичні параметри, що беруть участь у процесі формування зображення камери). (Зауважте, що термін «камера», який використовується тут, ідентичний «зображенню»).

Початковим результатом цього процесу є відносне розташування всіх точок і камер — іншими словами алгоритм визначив розташування кожного об'єкта і камери в довільній тривимірній системі координат. Дві частини додаткової інформації можуть бути використані для перетворення координат з цієї довільної системи в реальні координати, такі як широта і довгота.

Якщо геолокація кожної камери відома до цього процесу, наприклад, якщо камера створювала зображення з геотегами, місця розташування камер у довільній системі координат можна порівняти з їх реальними місцями в реальному світі, і перетворення координат може бути визначено, а також застосовано до розташування виявлених ознак. Крім того, якщо відомі місця розташування деяких ідентифікованих ознак (наприклад, з вимірювань GPS у полі), можна використовувати подібне перетворення координат. Для цілей дистанційного зондування один з цих двох джерел інформації про геолокацію в реальному світі необхідний для того, щоб отриманий продукт був корисним.

Крок 3) Виходячи з тепер гео-розташованих функцій, визначте більше функцій у декількох зображеннях та реконструюйте їх 3D-положення. Уявіть, що поруч із червоною точкою на малюнку 79 є маленька сіра точка, скажімо, ¼ шляху до зеленої точки, в цьому напрямку (немає, тому вам потрібно це уявити!). Ця маленька сіра точка була занадто слабкою, щоб її можна було використовувати як функцію SIFT, і тому не використовувалася для отримання початкового розташування функцій та орієнтацій камер. Однак тепер, коли ми знаємо, де знайти червону крапку на кожному зображенні, і ми знаємо відносне положення кожної з інших точок, ми можемо оцінити, де ця сіра крапка повинна бути знайдена на кожному з зображень. Виходячи з цієї оцінки, ми можемо знайти сіру крапку на кожному зображенні і таким чином оцінити її розташування в просторі. Після ідентифікації та розташування у просторі ми також можемо призначити колір точці, виходячи з його кольору на кожному із зображень, на яких він був знайдений. Робити це для мільйонів функцій, знайдених у повному наборі зображень, називається ущільненням хмари точок, і це необов'язковий, але майже універсально прийнятий крок у SfM. У областях з достатньою різницею між кольорами сусідніх пікселів на відповідних зображеннях цей крок часто може призвести до виведення розташування кожного окремого пікселя на невеликій ділянці зображення. Таким чином, результатом цього кроку є неймовірно щільна «хмара точок», в якій мільйони точок розташовані в реальному світі. Приклад наведено нижче:

80: Приклад щільної хмари точок, створеної для частини парку Гатіно за допомогою знімків безпілотників. Андерс Кнудбі, CC BY 4.0.

Крок 4) За бажанням використовуйте всі ці 3D-позиціонування функції для створення ортомозаїки, цифрової моделі висот або іншого корисного продукту. Щільна хмара точок може бути використана для цілого ряду різних цілей - деякі з найбільш часто використовуваних є створення ортомозаїки та цифрової моделі висот. Ортомозаїка - це тип растрових даних, в якому область розділена на комірки (пікселі), а колір у кожній клітинці - це те, що виглядало б, якби цю комірку розглядали безпосередньо зверху. Ортомозаїка, таким чином, схожа на карту, за винятком того, що вона містить інформацію про колір поверхні і представляє, як виглядатиме область на зображенні, взятому з нескінченно далеко (але з дуже хорошою просторовою роздільною здатністю). Ортомозаїки часто використовуються самостійно, оскільки вони дають людям швидке візуальне враження про місцевість, а також вони складають основу для створення карт шляхом оцифровки, класифікації та інших підходів. Крім того, оскільки висота відома для кожної точки хмари точок, висоту кожної комірки можна визначити, щоб створити цифрову модель висоти. Для цього можуть бути використані різні алгоритми, наприклад, визначення найнижчої точки в кожній комірці для створення цифрової моделі місцевості «гола земля», або шляхом визначення найвищої точки в кожній комірці для створення цифрової моделі поверхні. Можна зробити ще більш досконалі продукти, наприклад, віднімаючи модель з оголеною землею з моделі поверхні, щоб отримати оцінки таких речей, як дерево та висота будівлі.

Виявлення змін за допомогою фотограмметрії

Хоча створення цифрових моделей висот або інших продуктів з використанням стереоскопії або підходів Структура-від руху може бути корисним самостійно, все більш поширене застосування цих методів є для виявлення змін поверхні. Якщо, наприклад, цифрова модель висоти створюється для льодовика один рік, а нова створена через два роки, зміни форми поверхні льодовика можуть бути відображені з великою точністю. Зсуви, спади відлиги, зміна рослинності, зміна глибини снігу протягом сезону - багато змін у фізичному середовищі можна виявити та кількісно визначити, вимірюючи зміни горизонтального або вертикального положення або поверхні Землі. Враховуючи відносно недавній розвиток технології SfM, а також все ще розвиваються можливості та вартість безпілотників, обладнаних камерою, це стрімко розвивається поле, ймовірно, буде корисним у дивовижних та несподіваних ділянках поля дистанційного зондування. Рисунок 81 ілюструє цей принцип порівняння контуру і льодовика і зміни висоти поверхні в два різні часи.

Малюнок 7) Мьольга та Больха, CC BY 4.0.