4.2: Програми, натхненні природними механо-сенсорними системами

4.2 Програми, натхненні природними механо-сенсорними системами

Існує багато потенційних застосувань для механосенсорних систем. Як видно з прикладів додатків, які слідують, існують численні природні парадигми, які слід розглянути для натхнення нових дизайнерських ідей. Наприклад, сови, цвіркуни, кажани, дельфіни та равлики приматів являють собою зразок конструкцій, виконаних шляхом спроби продемонструвати або побудувати механосенсорні системи на основі біологічного натхнення. Існує також багато корисних додатків, що призводять до розбіжності від біомімікрії, таких як перетворення фотонної енергії в звукову енергію та надання організму (сліпої людини) можливості навчитися бачити на основі стимульованих слухових сигналів.

4.2.1 Слуховий шлях сипуха [Lazz90]

Сипуха локалізує свою здобич, використовуючи затримки часу між двома вухами для визначення азимута (кута безпосередньо вперед) та варіацій інтенсивності для визначення висоти (кута від горизонту) щодо себе. Результатом є конформне відображення на нижньому колікулюсі (ІС) звукових подій у слуховому просторі. Кожне джерело звуку відображається на певному місці в ІС, що представляє азимут і висоту по відношенню до себе [Lazz90].

Слухові сигнали від равлики діляться на два первинні шляхи, які в кінцевому підсумку зустрічаються в ІС. Перший - шлях інтенсивності і проходить через ядро angularis (NA), кодуючи інформацію про висоту. Це можливо частково завдяки варіаціям звукопоглинання, викликаним малюнками пір'я на обличчі та шиї. Другий - це шлях кодування часу і проходить через ядро magnocellularis (NM) на ламінаріс ядра (NL), де він відповідає відповідним сигналам від шляху кодування часу з протилежного боку.

Малюнок 4.2.1-1 представляє два інформаційні шляхи, що ведуть до ІС. Деталі ІС позбавлені уваги, щоб більше зосередитись на структурі шляху. На малюнку 4.2.1-2 показано умовне поняття виявлення збігів в ланцюгах ГРМ НЛ. Як намальовано, просторове розташування вихідних сигналів являє собою однаковий просторовий напрямок (азимут або курс) вихідного джерела звуку.

Сенсорний шлях для сигналів інтенсивності є більш прямим, ніж для синхронізації сигналів, оскільки використовується затримка від протилежного боку подразника.

Припустимо, загальний час, необхідний звуку для проходження відстані від одного вуха до іншого, ділиться на 8 тимчасових затримок, кожна позначається на Δt, як показано на моделі (рис. 4.2.1-2). Стимул на безпосередній лівій стороні сови (ліва сторона малюнка 4.2.1-2) проїжджав би через нижній ряд затримок до того, як права сторона отримала стимул, що призводить до кореляції з лівого боку. Аналогічно, стимул на безпосередній правій стороні сови призведе до кореляції на правій стороні моделі. Стимули між безпосереднім лівим або правим призведе до кореляції десь між цими двома крайнощами.

Слухова система кодування часу

Архітектура кодування часу сипуха реалізована в кремнієвому контурі слухової локалізації [Lazz90], як показано на малюнку 4.2.1-3. Звук надходить в систему з лівого і правого вух у відповідну кремнієву равлику, описану в попередньому розділі. Звідти 62 однаково розташовані крани (що представляють нейрони базилярної мембрани в природній равлиці) кодують спектральну сигнатуру з кожного боку. Кожен кран живить ланцюг волосяних клітин, який виконує напівхвильове випрямлення, нелінійне стиснення та генерацію потенціалу дії. Потенціали дії в кремнієвому варіанті є імпульсами фіксованої ширини з фіксованою висотою. Як і в природних нейронів, частота імпульсів потенціалу дії представляє інтенсивність, а хронометраж зберігає тимчасові характеристики сигналу.

Деталі схем волосяної клітини показані на малюнку 4.2.1-4. Напівхвильовий випрямляч і нелінійне стиснення імітують внутрішні волосяні клітини, а генератор потенціалу дії імітує природні спіральні гангліозні клітини, які приймають сигнали від равлики у сов, приматів та інших видів. Для сипуха ці схеми живлять лінії затримки моделі NL, як ті, що моделюються на малюнку 4.2.1-2.

Через затримки елементів кореляції будуть відбуватися в різних місцях стимулювання.

Малюнок 4.2.1-3. Слухова система кодування часу імітує систему сипуха [LAZZ90].

Малюнок 4.2.1-4. Деталі схеми клітин волосся кремнію сипуха сови на малюнку 4.2.1-3 [LAZZ90].

4.2.2 Роботизована реалізація фонотаксису крикету [Webb01, Webb02]

Крикет Фонотаксис

Самець цвіркун дає шлюбний заклик залучити жінок-цвіркунів, а самка може знайти конкретного самця за допомогою фонотаксису, що означає рух у відповідь на звуковий подразник. За наявності інших шумів самка використовує ці слухові сигнали, щоб покрити від 10 до 20 метрів через рослинність та місцевість та навколо перешкод, щоб знайти покликаного самця. Фонотаксис, як правило, розглядається як серія рухів старт-стоп з коригуючими поворотами.

«Крикетний робот», що реалізує фонотаксис у цьому прикладі, може бути змодельований як спочатку розпізнавання правильної пісні, а потім рухається до джерела. Кожен вид має специфічний звук, що характеризується несучою частотою і тимчасовою структурою повторення. Типовий візерунок - це десять-тридцять другий склад чистого тону (близько 4-5 кГц), згрупований у відмінні візерунки, або щебетання. Основним сигналом, який служить для розрізнення видів, є інтервал повторення складу в пісні. Правильне розпізнавання цієї конспецифічної (тієї ж видової) пісні потрібно перед міграцією до джерела.

Цвіркун не використовує сигнали затримки часу між двома вухами, оскільки ссавці не можуть виявити фазу вхідного сигналу. Геометрія анатомічної структури компенсує цю нездатність і дає цвіркуну таку ж здатність без складної схемотехніки. Він має барабанну перетинку на кожній ніжці, з'єднану наповненою повітрям трахеальної трубкою і двома додатковими отворами на тілі цвіркуна. Звук досягає кожної барабанної перетинки двома основними шляхами: один прямий, вражає барабанну перетинку з тієї ж сторони цвіркуна, що і звук, а інший - непрямий, що йде з протилежного боку тіла цвіркуна. Оскільки ці акустичні коливання знаходяться з протилежних сторін барабанної перетинки, їх ефект, як правило, скасовується. Однак існує затримка через більшу довжину шляху, а також затримку через властивості трахеальної трубки. Ці затримки спричиняють різниці фаз між протилежними акустичними сигналами, щоб амплітуди не скасовувалися.

Роботизована реалізація

Роботизована модель фонотаксису крикету включає програмоване електронне джерело звуку для моделювання крикетного виклику та нейронну мережу, що моделює динаміку клітинних мембранних потенціалів. Модель нейронної мережі - це не загальна архітектура, а специфічна архітектура, покликана більш тісно імітувати нейронну структуру крикета:

«Архітектури представляють нейронні процеси на відповідних рівнях деталізації, а не використовують стандартні штучні нейронні мережеві абстракції. Окремі властивості нейронів та ідентифіковані зв'язності включені, а не методи навчання, що застосовуються до загальних архітектур». [стор. 3, Вебб01]

Робот є модифікацією існуючого мініатюрного робота (Khepera, «K-team 1994»), діаметром 6 см і висотою 4 см. Він був обраний, оскільки він ближче до розміру крикету, ніж інші доступні роботи, хоча цей розмір все ще набагато масивніший, ніж крикет. А модифікація для вух додала ще 6 см у висоту. Робот має 2 приводних колеса і 2 коліщатка і запрограмований в C на процесорі 68332. Через обмеження швидкості процесора нейрональну модель довелося переглянути (спростити), щоб працювати в режимі реального часу. Це загальна тема в біоміметичних системах: Хоча звичайні процесори на 5 або 6 порядків швидші, ніж біологічні нейрони, ми все одно повинні піти на жертви в обчисленнях, щоб досягти будь-якої подоби біомімікрії в реальному часі.

На малюнку 4.2.2-1 показані імітовані нейрональні взаємозв'язки для робота для крикету. Поділ між вухами мікрофона може бути різноманітним, але встановлюється на одній чверті частоти носія імітованих видів. Ще одна чверть періоду затримки запрограмована в інгібіторне з'єднання для імітації затримки в трахеальній трубці. Інвертор (посилення —1) імітує протилежні ефекти прямих і непрямих шляхів, що вражають барабанну перетинку з протилежних сторін. У справжніх цвіркунів слуховий нейрон посилає сигнали в мозок, де зв'язність і функціональність ще не зрозумілі. Роботизована модель включає мембранні потенціали, які призводять до генерації сигналу потенціалу дії (спайка), але зменшення до чотирьох простих нейронів було зроблено в роботизованій реалізації частково, щоб зберегти моделювання в режимі реального часу.

Малюнок 4.2.2-1. Модель нейронального фонотаксису Вебба в крикетному роботі. [Вебб01]

Мікрофонна змінна поділу вуха, встановлена за замовчуванням ¼ довжини хвилі; непрямий інгібіторний (посилення - 1) шлях з програмованою затримкою (z ^-1), також встановлений за замовчуванням ¼ довжини хвилі.

Кожен раз, коли руховий нейрон на малюнку 4.2.2-1 призводить до потенціалу дії, робот рухається поступово в цьому напрямку. Слухові нейрони спалахують (посилають потенціали дії) при перевищенні порогу для стрільби. Усі нейрони демонструють негерметичну інтеграцію, так що бродячі шуми не призведуть до потенціалів дії. Постійний вхід сильніший, ніж сигнал, що просочується, повинен бути підтриманий для того, щоб привести нейрон до запуску потенціалу дії. Однак слухові нейрони швидко спалахують після початку. Це моделюється шляхом повернення мембранного потенціалу ближче до порогу (тип -55 мВ) після потенціалу дії замість повернення до потенціалу спокою (тип -70 мВ).

Частота виклику становить 4,7 кГц, щоб відповідати конкретному виду, Gryllas bimaculatus. Мікрофони роботів були розміщені на відстані 18 мм один від одного, що становить чверть довжини хвилі частоти виклику 4.7 кГц. Додаткова затримка періоду на одну чверть також запрограмована в схему як затримка 53 usa. Коли сигнал приймається з прямого кута до заголовка, то комбіновані затримки додадуть до половини довжини хвилі, яка при інвертуванні поєднується з прямим сигналом, щоб дати максимальний сигнал для рухового нейрона, щоб повернути робота до звуку. Протилежний моторний нейрон отримував би прямий сигнал і інвертований непрямий сигнал одночасно, скасовуючи таким чином. Коли безпосередньо перед роботом, один і той же сигнал буде отриманий на обох рухових нейронів, щоб поворот вліво-вправо скасувався, а робот продовжував би прямо.

Результати та обговорення [Webb01]

Фізичне відділення вуха ¼ довжини хвилі та програмована затримка ¼ довжини хвилі для носія 4.7 кГц виявилися імітувати біологічне спостереження. Експериментальні результати показали, що робот мігрував до сигналу 4.7 кГц сильніше, ніж сигнал 2.35 кГц, і ігнорував сигнал 9.4 кГц. Він також рухатиметься до сигналу 4.7 кГц, коли відтворюється одночасно з сигналом 6.7 кГц.

Налаштовуючи константи часу, відповідь може бути зроблена вибірковою для смуги складів. В одному прикладі робот реагував на зміни напрямку сигналу, коли склади були довжиною від 20 до 30 мс, але не відповідав на більш короткі або довші склади. Програмованість, вбудована в цей робот для цвіркунів, дозволить додатково вивчити альтернативні гіпотези про те, як цвіркуни та інші види тварин виконують фонотаксис. Система також дозволить додатково вивчити нефонотаксисні можливості такої сенсомоторної системи.

Хоча модель з чотирма нейронами не імітує складність мозку крикету, вона демонструє мінімальну конфігурацію для виконання основних функцій фонотаксису, таких як відстеження джерел звуку, вибірковість для конкретних частот, вибірковість для швидкості складу, відстеження поведінки без спрямований вхід і відстеження поведінки при наявності інших джерел звуку.

4.2.3 Мідова/Ліонська кремнієва равлика [Lyon89]

Мід/Ліон [Lyon89] Кремнієва равлика - це лінія передачі схем підсилювачів другого порядку, показаних на малюнку 4.2.3-1. Етапи першого порядку - це прості схеми, такі як диференціатори або інтегратори, крокові реакції яких, як правило, є експоненціальною реакцією на сталий стан. Етапи другого порядку забезпечують синусоїдальні характеристики відгуку на ступінчасті реакції, які забезпечать пікову реакцію на резонансній частоті. У початковій схемі кремнієвої равлики існувало 100 ланцюгів другого порядку з 10 відводами напруги, рівномірно розташованими вздовж конструкції.

Кожна схема другого порядку складається з трьох операційних підсилювачів та двох конденсаторів, виконаних у вигляді каскадних ланцюгів послідовника-інтегратора з підсилювачем зворотного зв'язку, що забезпечує коливальні реакції. Транспровідність підсилювача зворотного зв'язку контролюється зовнішнім напругою зміщення. Для низької транспровідності зворотного зв'язку схема поводиться як двоступеневий послідовник-інтегратор, який слідує за вхідною напругою. У міру збільшення транспровідності зворотного зв'язку позитивний зворотний зв'язок змушує другий інтегратор-послідовник трохи стрибати вперед і коливатися до стабільного значення стану. Якщо транспровідність встановлена занадто високою, ланцюг коливається з-під контролю (йде нестабільно).

Після відповідного калібрування (налаштування) пікова характеристика кожної схеми другого порядку є функцією вхідної частоти. Оскільки кожен етап за своєю суттю додає ефект згладжування, окремі частоти вхідних сигналів напруги матимуть пікову реакцію десь уздовж 100-ступінчастої схеми. Як і в природній равлиці, просторовий розподіл відводів напруги забезпечує зразок Фур'є подання вхідного сигналу напруги. Однак у природній равлиці механічна конструкція базилярної мембрани забезпечує фізичні пікові відхилення (відповідні компонентам частоти сигналу, присутнім у вхідному сигналі), тоді як ця конструкція моделює механічну кохлеарну структуру з банком електронних фільтрів ^2-го порядку.

Малюнок 4.3-1. Кремнієва равлика - лінія затримки ланцюгів ^2-го порядку [Lyon89]

4.2.4 Електронна равлика на основі MEMS [Andr01]

Приклад підходу мікроелектромеханічної системи (MEMS) до кремнієвої електронної равлики описано в [Андр01]. MEMS дозволяє механічним спотворенням через падаючу звукову енергію змінювати відстань між двома полікремнієвими пластинами, які реалізуються у вигляді конденсатора. Ця концепція дизайну включає датчик градієнта акустичного тиску на основі MEMS та банк фільтрів, який розкладає падаючу акустичну енергію на її вейвлет-компоненти. Датчик тиску являє собою звичайну полікремнієву мембрану MEMS, підвішену в повітрі над полікремнієвою задньою пластиною. Натхненні механічно зв'язаними акустичними органами чуття паразитоїдної мухи, перетворювачі з'єднані першим шаром полікремнієвого пучка, що дозволяє вимірювати градієнт тиску. Коли акустична енергія вражає зовнішню пластину, пластина спотворюється до задньої панелі, зменшуючи відстань повітря, що розділяє дві пластини. Це викликає зниження ємності у відповідь на акустичний тиск. Реалізація кремнієвої равлики MEMS складається з банків фільтрів MEMS, які дозволяють в режимі реального часу вейвлет-розкладання отриманої акустичної енергії.

Перевагами підходу на основі MEMS перед аналоговим підходом VLSI є менша потреба в потужності, оскільки фізична енергія звукових хвиль виконує частину роботи підсилювачів транспровідності СБІС. Крім того, оскільки підхід на основі MEMS більше нагадує природні системи, існує більш пряма кореляція з реакцією системи на вхідну акустичну енергію.

Інше застосування технології MEMS для біоміметичних роботів включає консольні мікроперемикачі для моделювання поведінки антени та забезпечення датчиків потоку води. Ці датчики на базі MEMS використовуються для моделювання поведінки омарів та скорпіонів на підводних роботизованих апаратах [McGr02].

4.2.5 Конструкція «Побачи-Слухайте» для сліпих шляхом перепідготовки слухової системи [Mead89]

Концепція «Побачи-Слухай» призначена для того, щоб допомогти сліпий людині «бачити», почувши різні звуки на основі об'єктів, видимих у системі камер, встановленої на голові [Mead89, Ch 13]. Успішна реалізація вимагає перетворення візуальних сигналів в акустичні сигнали, щоб користувачі могли створити модель зорового світу зі своєю слуховою системою.

Обидві системи зору та слухової системи мають сприйнятливі поля, що представляють розподіл даних у місцевому середовищі. Система зору відображає світлові випромінювання та відбиття від 3D-об'єктів на 2D фоторецепторну мозаїку в сітківці, конформне відображення якої на мозок називається ретинотопною картою. Аналогічно, слухова система приймає частотні компоненти місцевої звукової енергії і відображає спектр на базилярну мембрану в равлику, а згодом (через кохлеарний нерв) на конформну карту мозку, яка називається тонотопною картою.

Як зору, так і слухової системи займаються виявленням минущих подій. Система зору виявляє рух, беручи похідні від розподілу інтенсивності світла в часовому просторі. Перехідні процеси допомагають локалізувати події як у просторі, так і в часі, а мозок будує 3D-модель світу за допомогою руху паралакса, який є видимим рухом об'єкта на тлі, викликаного рухом спостерігача. Якщо спостерігач зосереджений на точці в нескінченності і рухається повільно, то навколишні об'єкти, здається, швидко рухаються на нескінченному тлі, тоді як об'єкти, що віддалені, здаються, рухаються повільніше. Перехідні звуки також легко виявляються і локалізуються в слуховій системі.

Зір і слухова системи відрізняються тим, як обробляється периферична інформація:

«У баченні розташування пікселя в 2D масиві нейронів сітківки відповідає розташуванню об'єктів у 2D проекції зорової сцени. Інформація про місцезнаходження зберігається по паралельних каналах шляхом ретинотопного відображення. Слухова система, навпаки, має лише два вхідні канали; інформація про місцезнаходження кодується в тимчасових схемах сигналів у двох улиток. Ці тимчасові моделі забезпечують сигнали, які вищі слухові центри використовують для побудови 2D уявлення акустичного середовища, подібного до зорового, в якому положення нейрона відповідає розташуванню подразника, який він виявляє». [Медовуха 89]

Ключові концепції біологічного бачення, що використовуються в чіпі See-Hear, включають [Мед 89]:

- Логарифм інтенсивності світла, зібраного на фоторецепторі; за допомогою логарифмічної функції розширюється наявний динамічний діапазон порівняно з лінійною функцією.

- Просторова орієнтація джерел світла (що включає відбите світло) зберігається від фоторецепторної мозаїки через ретинотопну карту

- Глибинні сигнали, необхідні для ментальної реконструкції тривимірного простору, забезпечуються похідними за часом сигналами профілю інтенсивності світла

До ключових слухових сигналів локалізації звуку відносяться:

- Затримка часу (350 —650 мікросекунд) між вухами, що забезпечує горизонтальне розміщення кия

- Акустичне високочастотне загасання, що забезпечує подальше горизонтальне розміщення кия

- Прямі та непрямі шляхи у зовнішньому вусі, що спричиняють деструктивну інтерференційну картину, яка є функцією підйому, забезпечуючи тим самим вертикальний сигнал розміщення

Як і в системі природного зору, система See-Hear приймає фотонну енергію через об'єктив і фокусує енергію на 2D масив пікселів. (Піксель - це просто елемент зображення). Кожне значення пікселя представляє світло, що надходить з певного напрямку в 3D-світі. Чіп See-Hear включає локальну обробку в кожному місці пікселя.

Кожен піксельний процесор реагує на похідну за часом логарифма інтенсивності падаючого світла. Вхідні фотони світла потрапляють в область виснаження біполярного переходу фототранзистора, створюючи електронно-діркові пари в кількостях, пропорційних інтенсивності світла. Два з'єднаних з діодом МОП-транзистора, з'єднані з емітером, викликають падіння напруги у відповідь на логарифм інтенсивності світла. Підсилювач транспровідності МОП з нелінійним зворотним зв'язком забезпечує похідний за часом вихідний сигнал піксельного процесора. Кожен піксельний процесор з'єднаний конденсатором з сусідніми пікселями, так що кожен піксельний процесор виступає в якості лінії затримки.

Сигнали, похідні за часом, поширюються в двох напрямках в електронній схемі равлики, що призводить до міміки тимчасових затримок між лівим і правим вухом. Як видно на малюнку 4.2.5-1, минуща подія в лівому полі зору призведе до звуку з лівого боку перед звуком з правого боку, що імітує поведінку звукових подій у слухових системах. Схема затримки часу також фільтрує більш високі частоти, так що більш тривалі затримки призводять до більшого загасання вищих частот. Таким чином, ця функція моделює бінауральну тінь голови, яка є загасанням високих частот, коли звук рухається навколо голови. Комбінований ефект затримки сигналів і високочастотного загасання каналів затримки служить для об'єднання обох сигналів природної горизонтальної локалізації в один контур.

Оскільки кожна схема піксельного процесора в електронній равлиці містить власну схему фоторецепторів, множинні джерела звуку обробляються як суперпозиція окремих джерел. Для моделювання входів висоти з відмінностей шляху пінно-козерога, чіп see-hear містить додаткову схему затримки на кожному кінці. 2D-зображення зосереджено на 2D масиві піксельних процесорів, а вихід кожного горизонтального рядка додається до відкладеної версії самого себе для моделювання змішування шляхів, що стосуються висоти об'єктів на зображенні. Таким чином, виходи кожного ряду підсумовуються разом, щоб створити лише два окремих звукових сигналу, по одному для кожного вуха. Якщо два однакові об'єкти знаходилися на різних висотах в межах зображення, різні затримки шляху pinna-tragus в кінці відповідних рядків нададуть користувачеві чутну чергу щодо того, де (на висоті) знаходиться об'єкт.

Користувач в кінцевому підсумку може навчитися чути 3D-модель зовнішнього середовища на основі того, що візуально захоплено системою камери.

Цей малюнок ілюструє частину електронного, яка імітує різний час прибуття звукового хвильового фронту через різну довжину шляху до кожного вуха. Кожен блок являє собою рівномірну схему затримки часу і схему фотоприймача. Кожен рядок на малюнку представляє один і той же рядок в більш пізню одиницю часу.

4.2.6 Біоміметична гідроакустична система [Reese94]

«Біологічна активна гідроакустична система (BASS)», заснована на ехо-обробці кажанів і дельфінів, була розроблена для виявлення та класифікації мін на мілководді [Reese94]. Фронтальні фільтри та нелінійні функції, що імітують моделі слухових нейронів, використовувались для отримання високої роздільної здатності з низькочастотними сонарами (що є ще одним прикладом грубого кодування в природних системах). Предметним продуктом даного дослідження є впровадження системи в автономний підводний апарат.

На малюнку 4.2.6-1 показана блок-схема етапів обробки BASS. Смугові фільтри (BPF) мають різкі характеристики згортання на високих частотах і є широкосмуговими, значно перекриваючи інші канали (грубе кодування). Це натхненне природною периферійною слуховою обробкою і забезпечує хороше визначення часу/частоти сигналу, а також збільшує співвідношення сигнал/шум у діапазоні (SNR).

Малюнок 4.2.6-1. Біологічно натхненна гідроакустична система.

Як і в системі зору, автоматичне регулювання посилення (AGC) дозволяє охопити набагато ширший динамічний діапазон, який базується на інтеграційній поведінці слухових сигналів до порогу. Це збільшує час початку сигналу, що означає збільшення роздільної здатності діапазону різкості. Напівхвильовий випрямляч і сигмовидна функція притаманна слуховій обробці ссавців і служить для загострення часу початку та роздільної здатності діапазону.

Пікове підсумовування та затримка забезпечують внутрішньосмугове когерентне додавання та вирівнювання міжсмугового сигналу. Це імітує природні біологічні фазові петлі та забезпечує стиснення імпульсів. Очікувані переваги такої широкополосної низькочастотної конструкції полягають у більшій дальності виявлення та кращому розпізнаванні цілей частково похованих мін.