Autonomais bezpilota lidaparāts ar infrasarkano staru kameru, lai palīdzētu pirmajiem reaģētājiem: 7 soļi

2024 Autors: John Day | [email protected]. Pēdējoreiz modificēts: 2024-01-30 10:54

Saskaņā ar Pasaules Veselības organizācijas ziņojumu, katru gadu dabas katastrofas nogalina aptuveni 90 000 cilvēku un skar gandrīz 160 miljonus cilvēku visā pasaulē. Dabas katastrofas ietver zemestrīces, cunami, vulkānu izvirdumus, zemes nogruvumus, viesuļvētras, plūdus, ugunsgrēkus, karstuma viļņus un sausumu. Laiks ir būtisks, jo izdzīvošanas iespēja ar katru minūti sāk samazināties. Pirmās palīdzības sniedzējiem var būt grūtības atrast izdzīvojušos mājās bojātās mājās un apdraudēt viņu dzīvību, meklējot viņus. Ja būtu sistēma, kas varētu attālināti atrast cilvēkus, tas ievērojami palielinātu ātrumu, ar kādu pirmās palīdzības sniedzēji var evakuēt viņus no ēkām. Pēc citu sistēmu izpētes es atklāju, ka daži uzņēmumi ir izveidojuši robotus, kas balstīti uz sauszemes, vai radījuši bezpilota lidaparātus, kas var izsekot cilvēkus, bet darbojas tikai ārpus ēkām. Dziļuma kameru kombinācija kopā ar īpašām infrasarkano staru kamerām ļauj precīzi izsekot iekštelpām un noteikt temperatūras izmaiņas, kas raksturo uguni, cilvēkus un dzīvniekus. Ieviešot sensorus ar pielāgotu algoritmu bezpilota lidaparātā (UAV), būs iespējams autonomi pārbaudīt mājas un noteikt cilvēku un dzīvnieku atrašanās vietu, lai pēc iespējas ātrāk tos glābtu.

Lūdzu, balsojiet par mani optikas konkursā!

1. darbība. Prasības projektēšanai

Pēc pieejamo tehnoloģiju izpētes es apspriedu iespējamos risinājumus ar mašīnas redzes ekspertiem un pirmo reaģētāju, lai atrastu labāko metodi izdzīvojušo noteikšanai bīstamās vietās. Tālāk esošajā informācijā ir uzskaitītas vissvarīgākās sistēmas nepieciešamās funkcijas un dizaina elementi.

• Redzes apstrāde - Sistēmai jānodrošina ātrs informācijas apmaiņas ātrums starp sensoriem un mākslīgā intelekta (AI) reakciju. Piemēram, sistēmai jāspēj atklāt sienas un šķēršļus, lai no tiem izvairītos, vienlaikus atrodot arī cilvēkus, kuri ir apdraudēti.
• Autonoms - sistēmai jāspēj darboties bez lietotāja vai operatora ievades. Personālam ar minimālu pieredzi UAV tehnoloģijā vajadzētu būt iespējai nospiest vienu vai dažas pogas, lai sistēma sāktu skenēšanu pati.
• Diapazons - diapazons ir attālums starp sistēmu un visiem citiem objektiem, kas atrodas tuvumā. Sistēmai jāspēj noteikt gaiteņus un ieejas vismaz 5 metru attālumā. Ideāls minimālais diapazons ir 0,25 m, lai varētu noteikt tuvus objektus. Jo lielāks atklāšanas diapazons, jo īsāks izdzīvojušo atklāšanas laiks.
• Navigācijas un noteikšanas precizitāte - Sistēmai jāspēj precīzi atrast visas ieejas un netriekt nevienu objektu, vienlaikus uztverot pēkšņu objektu parādīšanos. Sistēmai jāspēj atrast atšķirību starp cilvēkiem un nedzīviem objektiem, izmantojot dažādus sensorus.
• Darbības ilgums - sistēmai vajadzētu būt spējīgai darboties 10 minūtes vai ilgāk atkarībā no tā, cik istabu tai nepieciešams skenēt.
• Ātrums - tai vajadzētu būt iespējai skenēt visu ēku mazāk nekā 10 minūtēs.

2. solis: aprīkojuma izvēle: mobilitātes metode

Quadcopter tika izvēlēts pār tālvadības automašīnu, jo, lai gan quadcopter ir trausls, to ir vieglāk vadīt un mainīt augstumu, lai izvairītos no šķēršļiem. Quadcopter var turēt visus sensorus un stabilizēt tos, lai tie būtu precīzāki, pārvietojoties dažādās telpās. Dzenskrūves ir izgatavotas no oglekļa šķiedras, kas ir karstumizturīgas. Sensori ir novirzīti no sienām, lai novērstu negadījumus.

• Tālvadības sauszemes transportlīdzeklis

  • Plusi - var ātri pārvietoties, nekrītot, un to neietekmē temperatūra
  • Mīnusi - transportlīdzeklis novietotu sensorus zemu uz zemes, kas vienlaikus aptver mazāk vietas, un to var bloķēt šķēršļi

• Quadcopter

  • Plusi - Paceļ sensorus gaisā, lai iegūtu 360 grādu skatu uz apkārtni
  • Mīnusi - ja tas ieskrien sienā, tas var nokrist un neatgūties

3. solis: aprīkojuma izvēle: mikrokontrolleri

Galvenās divas prasības mikrokontrolleriem ir maza izmēra, lai samazinātu kvadracoptera lietderīgo slodzi un ātrumu, lai ātri apstrādātu ievadīto informāciju. Rock64 un DJI Naza kombinācija ir ideāla mikrokontrolleru kombinācija, jo Rock64 ir pietiekama apstrādes jauda, lai ātri noteiktu cilvēkus un neļautu kvadracopterim iekļūt sienās un šķēršļos. DJI Naza to labi papildina, veicot visu stabilizāciju un motora vadību, ko Rock64 nevar izdarīt. Mikrokontrolleri sazinās, izmantojot seriālo portu, un vajadzības gadījumā ļauj kontrolēt lietotāju. Raspberry Pi būtu bijusi laba alternatīva, taču, tā kā Rock64 bija labāks procesors un labāka savienojamība ar sensoriem, kas uzskaitīti nākamajā tabulā, Pi netika izvēlēts. Intel Edison un Pixhawk netika izvēlēti atbalsta un savienojamības trūkuma dēļ.

• Raspberry Pi

  • Pros - var noteikt sienas un nekustīgus objektus
  • Mīnusi - Cīnās, lai neatpaliktu no visu sensoru datiem, lai nevarētu pietiekami ātri redzēt ieejas. Nevar izvadīt motora signālus, un tam nav nekādu stabilizējošu sensoru quadcopter

• Rock64

  • Plusi - spēj noteikt sienas un ieejas ar nelielu latentumu.
  • Mīnusi - arī spēj vadīt sistēmu visā mājā, neko neietekmējot, izmantojot visus sensorus. Nevar nosūtīt signālus pietiekami ātri, lai kontrolētu motora ātrumu, un tam nav nekādu stabilizatora sensoru kvadkopteram

• Intel Edison

  • Plusi - spēj noteikt sienas un ieejas ar nelielu nobīdi
  • Mīnusi - vecākas tehnoloģijas, daudziem sensoriem būtu vajadzīgas jaunas bibliotēkas, kuru izveide ir ļoti laikietilpīga
• DJI Naza
  • Plusi - ir iebūvēts žiroskops, akselerometrs un magnetometrs, lai kvadrokopters būtu stabils gaisā, veicot mikro pielāgojumus motora ātrumam
  • Mīnusi - nevar veikt jebkāda veida redzes apstrādi

• Pixhawk

  • Plusi - kompakts un savietojams ar projektā izmantotajiem sensoriem, izmantojot vispārējas nozīmes ievades izvadi (GPIO)
  • Mīnusi - nevar veikt jebkāda veida redzes apstrādi

4. solis: aprīkojuma izvēle: sensori

Lai iegūtu visu informāciju, kas nepieciešama cilvēku atrašanai bīstamās vietās, tiek izmantota vairāku sensoru kombinācija. Divi galvenie atlasītie sensori ietver stereo infrasarkano staru kameru kopā ar skaņas navigāciju un diapazonu (SONAR). Pēc dažām pārbaudēm esmu nolēmis izmantot Realsense D435 kameru, jo tā ir maza un spēj precīzi izsekot attālumiem līdz 20 metriem. Tas darbojas ar 90 kadriem sekundē, kas ļauj veikt daudzus mērījumus, pirms tiek pieņemts lēmums par objektu atrašanās vietu un virzienu, uz kuru vērst kvadracopteri. SONAR sensori ir novietoti sistēmas augšpusē un apakšā, lai kvadkopters varētu zināt, cik augstu vai zemu tas drīkst iet pirms saskares ar virsmu. Ir arī viens novietots uz priekšu, lai sistēma varētu noteikt objektus, piemēram, stiklu, ko stereo infrasarkanās kameras sensors nevar noteikt. Cilvēki un dzīvnieki tiek atklāti, izmantojot kustības un objektu atpazīšanas algoritmus. FLIR kamera tiks ieviesta, lai palīdzētu stereo infrasarkanajai kamerai izsekot, kas dzīvo un kas nav, lai palielinātu skenēšanas efektivitāti nelabvēlīgos apstākļos.

• Kinect V1

  • Plusi - var viegli izsekot 3D objektus līdz 6 metru attālumā
  • Mīnusi -Tam ir tikai 1 infrasarkanais sensors un tas ir pārāk smags kvadracopterim

• Realsense D435

  • Plusi - ir 2 infrasarkanās kameras un sarkana, zaļa, zila, dziļuma (RGB -D) kamera augstas precizitātes 3D objektu noteikšanai līdz 25 metru attālumā. Tas ir 6 cm plats, ļaujot to ērti ievietot kvadropterī
  • Mīnusi - var sakarst un var būt nepieciešams dzesēšanas ventilators

• LIDAR

  • Plusi - staru kūlis, kas redzamības zonā var izsekot vietām līdz 40 metriem
  • Mīnusi - siltums vidē var ietekmēt mērījumu precizitāti

• SONAR

  • Plusi - staru kūlis, kas var izsekot 15 m attālumā, bet spēj noteikt caurspīdīgus priekšmetus, piemēram, stiklu un akrilu
  • Mīnusi - tikai punkti vienā redzamības līnijā, bet kvadkopters var tos pārvietot uz skenēšanas zonu
• Ultraskaņa
  • Pros - ir diapazons līdz 3 m un ir ļoti lēts
  • Mīnusi - tikai punkti vienā redzamības līnijā un ļoti viegli var būt ārpus attāluma noteikšanas diapazona
• FLIR kamera
  • Plusi - spēj bez traucējumiem uzņemt dziļuma attēlus caur dūmiem un var atklāt dzīvus cilvēkus, izmantojot siltuma parakstu
  • Mīnusi - ja kaut kas traucē sensoriem, attāluma aprēķinus var nepareizi aprēķināt

• PIR sensors

  • Plusi - spēj noteikt temperatūras izmaiņas
  • Mīnusi - nevar noteikt, kur ir temperatūras starpība

5. solis: aprīkojuma izvēle: programmatūra

Es izmantoju Realsense SDK līdzās robotu operētājsistēmai (ROS), lai radītu nevainojamu integrāciju starp visiem sensoriem ar mikrokontrolleri. SDK nodrošināja nepārtrauktu punktu mākoņu datu plūsmu, kas bija ideāli piemērota visu objektu un kvadkoptera robežu izsekošanai. ROS palīdzēja man nosūtīt visus sensora datus uz manu izveidoto programmu, kas īsteno mākslīgo intelektu. MI sastāv no objektu noteikšanas algoritmiem un kustību noteikšanas algoritmiem, kas kvadracopterim ļauj atrast kustību savā vidē. Kontrolieris izmanto impulsa platuma modulāciju (PWM), lai kontrolētu kvadkoptera stāvokli.

• Freenect

  • Pros - tai ir zemāks piekļuves līmenis visu kontrolēšanai
  • Mīnusi - atbalsta tikai Kinect V1

• Realsense SDK

  • Plusi - var viegli izveidot punktu mākoņa datus no informācijas plūsmas no Realsense kameras
  • Mīnusi - atbalsta tikai Realsense D435 kameru

• FLIR Linux draiveris

  • Plusi - var izgūt datu plūsmu no FLIR kameras
  • Mīnusi - dokumentācija ir ļoti ierobežota

• Robotu operētājsistēma (ROS)

  • Plusi - operētājsistēma, kas ideāli piemērota kameras funkciju programmēšanai
  • Mīnusi - efektīvai datu vākšanai nepieciešams instalēt ātrā SD kartē

6. darbība: sistēmas izstrāde

Ierīces “acis” ir Realsense D435 stereo infrasarkanais sensors, kas ir gatavais sensors, ko galvenokārt izmanto robotu lietojumiem, piemēram, 3D kartēšanai (1. attēls). Kad šis sensors ir uzstādīts uz kvadoptera, infrasarkanā kamera var vadīt un ļaut kvadopteram pārvietoties autonomi. Kameras ģenerētos datus sauc par punktu mākoni, kas sastāv no punktu sērijas telpā, kam ir informācija par konkrēta objekta stāvokli kameras redzējumā. Šo punktu mākoni var pārvērst dziļuma kartē, kas attēlo krāsas kā dažādus dziļumus (2. attēls). Sarkans ir tālāk, bet zils ir tuvāk metriem.

Lai nodrošinātu šīs sistēmas nevainojamu darbību, tika izmantota atvērtā pirmkoda operētājsistēma ar nosaukumu ROS, ko parasti izmanto robotiem. Tas ļauj veikt zema līmeņa ierīces vadību un piekļūt visiem sensoriem un apkopot datus, ko izmantot citām programmām. ROS sazināsies ar Realsense SDK, kas ļauj ieslēgt un izslēgt dažādas kameras, lai izsekotu, cik tālu objekti atrodas no sistēmas. Saikne starp abiem ļauj man piekļūt datu plūsmai no kameras, kas rada punktu mākoni. Informācija par punktu mākoņiem var noteikt, kur robežas un objekti atrodas 30 metru attālumā un 2 cm precizitāti. Citi sensori, piemēram, SONAR sensori un DJI Naza kontrollera iebūvētie sensori, ļauj precīzāk novietot kvadkopteri. Mana programmatūra izmanto AI algoritmus, lai piekļūtu punktu mākonim un, izmantojot lokalizāciju, izveidotu visas ierīces apkārtējās vietas karti. Tiklīdz sistēma tiks palaista un sākta skenēšana, tā dosies cauri koridoriem un atradīs ieejas citās telpās, kur tā varēs veikt telpas slaucīšanu, īpaši meklējot cilvēkus. Sistēma atkārto šo procesu, līdz visas telpas ir skenētas. Pašlaik kvadrokopters var lidot aptuveni 10 minūtes, kas ir pietiekami, lai veiktu pilnu slaucīšanu, bet to var uzlabot ar dažādiem akumulatora izkārtojumiem. Pirmie reaģētāji saņems paziņojumus, kad cilvēki tiks pamanīti, lai viņi varētu koncentrēt savus spēkus uz noteiktām ēkām.

7. solis: diskusija un secinājumi

Pēc daudziem izmēģinājumiem es biju izveidojis funkcionējošu prototipu, kas atbilst 1. tabulā uzskaitītajām prasībām. Izmantojot Realsense D435 stereo infrasarkano kameru kopā ar Realsense SDK, tika izveidota kvadkoptera priekšpuses augstas izšķirtspējas dziļuma karte. Sākumā man bija dažas problēmas ar infrasarkano staru kameru, kas nespēja noteikt noteiktus objektus, piemēram, stiklu. Pievienojot SONAR sensoru, man izdevās pārvarēt šo problēmu. Rock64 un DJI Naza kombinācija bija veiksmīga, jo sistēma spēja stabilizēt kvadrokopteru, vienlaikus spējot noteikt objektus un sienas, izmantojot individuāli izveidotus datora redzes algoritmus, izmantojot OpenCV. Lai gan pašreizējā sistēma ir funkcionāla un atbilst prasībām, tai varētu noderēt daži nākotnes prototipi.

Šo sistēmu varētu uzlabot, izmantojot augstākas kvalitātes kameras, lai varētu precīzāk noteikt cilvēkus. Dažām dārgākām FLIR kamerām ir iespēja noteikt siltuma parakstus, kas ļauj noteikt precīzāk. Sistēma varētu darboties arī dažādās vidēs, piemēram, telpās, kas ir putekļainas un piepildītas ar dūmiem. Pateicoties jaunajām tehnoloģijām un ugunsdrošībai, šo sistēmu varētu nosūtīt mājās, kuras deg, un ātri noteikt, kur atrodas cilvēki, lai pirmie reaģētāji varētu izglābt izdzīvojušos no briesmām.

Paldies, ka izlasījāt! Neaizmirsti balsot par mani Optikas konkursā!