Kvanimetriskā attēlu apstrāde: 5 soļi

2024 Autors: John Day | [email protected]. Pēdējoreiz modificēts: 2024-01-30 10:57

(Iepriekš redzamais attēls ilustrē esošās attēlu apstrādes metodes salīdzinājumu ar kvanimetrisko attēlu apstrādi. Ņemiet vērā uzlaboto rezultātu. Augšējā labajā attēlā redzami dīvaini artefakti, kas rodas no nepareiza pieņēmuma, ka attēli mēra kaut ko, piemēram, gaismu. Attēla apakšējā labajā stūrī ir labāks rezultāts, veicot to pašu kvantimetriski.)

Šajā pamācībā jūs uzzināsit, kā ievērojami uzlabot esošo attēlveidošanas vai redzes uztveršanas sistēmu veiktspēju, izmantojot ļoti vienkāršu jēdzienu: Kvanimetriskā attēla noteikšana

Kvanimetriskā attēlu apstrāde ievērojami uzlabo kādu no šīm iespējām:

• Esoša attēlu apstrāde, piemēram, attēlu atcelšana;
• Mašīnmācīšanās, datora redze un modeļu atpazīšana;
• Valkājams sejas atpazīšanas līdzeklis (skat. Http://wearcam.org/vmp.pdf), AI un HI redze utt.

Pamatideja ir attēlu kvantimetriska pirmapstrāde un pēcapstrāde šādi:

1. Paplašiniet attēla vai attēlu dinamisko diapazonu;
2. Apstrādājiet attēlu vai attēlus, kā parasti;
3. Saspiest attēla vai attēlu dinamisko diapazonu (t.i., atsaukt 1. darbību).

Iepriekšējā instrukcijā es mācīju dažus HDR (augsta dinamiskā diapazona) un kvantimetriskās noteikšanas aspektus, piem. linearitāte, superpozīcija utt.

Tagad izmantosim šīs zināšanas.

Veiciet jebkuru esošo procesu, kuru vēlaties izmantot. Piemērs, ko es parādīšu, ir attēlu atcelšana, bet jūs to varat izmantot arī gandrīz jebkuram citam.

1. darbība: paplašiniet attēla vai attēlu dinamisko diapazonu

(Skaitļi pielāgoti no "Intelligent Image Processing", John Wiley and Sons Interscience Series, Steve Mann, 2001. gada novembris)

Pirmais solis ir paplašināt ievades attēla dinamisko diapazonu.

Ideālā gadījumā vispirms jānosaka kameras reakcijas funkcija f un pēc tam attēlam jāpiemēro apgrieztā reakcija, f apgrieztā.

Tipiskās kameras ir saspiestas dinamiskajā diapazonā, tāpēc mēs parasti vēlamies izmantot paplašinošu funkciju.

Ja jūs nezināt atbildes funkciju, vispirms izmēģiniet kaut ko vienkāršu, piemēram, ielādējiet attēlu attēlu masīvā, mainiet mainīgos uz datu tipu, piemēram, (pludiņš) vai (dubultā), un palieliniet katra pikseļa vērtību līdz eksponentam, piemēram, piemēram, katra pikseļa vērtības kvadrātā.

Pamatojums:

Kāpēc mēs to darām?

Atbilde ir tāda, ka lielākā daļa kameru saspiež savu dinamisko diapazonu. Iemesls, kāpēc viņi to dara, ir tas, ka lielākā daļa displeja plašsaziņas līdzekļu paplašina dinamisko diapazonu. Tas ir pavisam nejauši: katodstaru lampas televizora displeja izstarotās gaismas daudzums ir aptuveni vienāds ar spriegumu, kas paaugstināts līdz eksponentam 2,22, tāpēc, kad video sprieguma ieeja ir aptuveni uz pusi, izstarotās gaismas daudzums ir daudz lielāks mazāk nekā puse.

Fotomateriāli ir arī dinamiska diapazona ekspansīvi. Piemēram, fotogrāfiskā “neitrāla” pelēkā kartīte izstaro 18% krītošās gaismas (nevis 50% krītošās gaismas). Tiek uzskatīts, ka tik daudz gaismas (18%) ir atbildes vidū. Tātad, kā redzat, ja mēs aplūkojam izvades grafiku kā ievades funkciju, displeja datu nesēji uzvedas tā, it kā tie būtu ideāli lineāri displeji, kas pirms dinamiskās lineārās atbildes satur dinamiskā diapazona paplašinātāju.

Augšējā attēlā redzams displejs ar punktētu līniju, un tas ir līdzvērtīgs paplašinātājam pirms ideālā lineārā displeja.

Tā kā displeji pēc savas būtības ir paplašinoši, kameras jāveido tā, lai tās būtu saspiežamas, lai attēli labi izskatītos esošajos displejos.

Senos laikos, kad bija tūkstošiem televīzijas uztvērēju displeju un tikai viena vai divas apraides stacijas (piemēram, tikai viena vai divas televīzijas kameras), bija vieglāk noteikt, kā kamerā ievietot saspiežamu nelinearitāti, nekā atsaukt visus televizorus un ievietojiet vienu katrā televīzijas uztvērējā.

Nejauši tas arī palīdzēja samazināt troksni. Skaņā mēs to saucam par "Dolby" ("kompandējošs") un piešķiram par to patentu. Video tas notika pilnīgi nejauši. Stokhems ierosināja, ka pirms attēlu apstrādes vajadzētu uzņemt attēlu logaritmu un pēc tam uzņemt antilogu. Viņš neapzinājās, ka lielākā daļa kameru un displeju to jau dara nejauši. Tā vietā es ierosināju, ka mēs rīkojamies tieši pretēji tam, ko ierosināja Stokhems. (Sk. "Inteliģentā attēlu apstrāde", John Wiley and Sons Interscience Series, 109.-111.lpp.)

Apakšējā attēlā redzama ierosinātā antihomomorfā (kvantimetriskā) attēlu apstrāde, kurā esam pievienojuši dinamiskā diapazona paplašināšanas un saspiešanas soli.

2. darbība: apstrādājiet attēlus vai veiciet datora redzējumu, mašīnmācīšanos vai tamlīdzīgi

Otrais solis pēc dinamiskā diapazona paplašināšanas ir attēlu apstrāde.

Manā gadījumā es vienkārši veicu attēla dekonvolūciju ar izplūšanas funkciju, t.i., attēla izplūšanu, kā tas ir vispārzināms tehnikas līmenī.

Pastāv divas plašas kvanimetriskās attēlu noteikšanas kategorijas:

• Palīdzēt cilvēkiem redzēt;
• Palīdzības mašīnas redzēt.

Ja mēs cenšamies palīdzēt cilvēkiem redzēt (tas ir piemērs, ko es šeit parādīju), mēs vēl neesam pabeiguši: mums ir jāpārņem apstrādātais rezultāts atpakaļ attēlu telpā.

Ja mēs palīdzam mašīnām redzēt (piemēram, sejas atpazīšana), mēs esam pabeiguši (nav nepieciešams turpināt 3. darbību).

3. solis: atkārtoti saspiediet rezultāta dinamisko diapazonu

Kad mēs strādājam paplašinātā dinamiskajā diapazonā, tiek uzskatīts, ka mēs atrodamies "gaismas telpā" (kvantimetriskajā attēlu telpā).

Otrā soļa beigās mēs esam gaismas telpā, un mums ir jāatgriežas attēlu telpā.

Tātad šis 3. solis ir par atgriešanos attēlu telpā.

Lai veiktu 3. darbību, vienkārši saspiediet 2. darbības izejas dinamisko diapazonu.

Ja jūs zināt kameras reakcijas funkciju, vienkārši izmantojiet to, lai iegūtu rezultātu, f (p (q)).

Ja jūs nezināt kameras atbildes funkciju, vienkārši izdariet labu minējumu.

Ja 1. darbībā attēla pikseļus kvadrātiņojāt, tad ir pienācis laiks ņemt kvadrātsakni no katra attēla pikseļa, lai atgrieztos pie sava minējuma par attēla telpu.

4. solis: iespējams, vēlēsities izmēģināt dažas citas variācijas

Izplūšana ir tikai viens no daudziem iespējamiem piemēriem. Apsveriet, piemēram, vairāku ekspozīciju apvienošanu.

Uzņemiet jebkurus divus attēlus, piemēram, divus, kas man ir iepriekš. Viens tika uzņemts dienas laikā, bet otrs - naktī.

Apvienojiet tos, lai izveidotu krēslai līdzīgu attēlu.

Ja jūs tos vidēji novērtējat kopā, tas izskatās kā atkritumi. Pamēģini pats!

Bet, ja jūs vispirms paplašināt katra attēla dinamisko diapazonu, pēc tam pievienojat to un pēc tam saspiežat summas dinamisko diapazonu, tas izskatās lieliski.

Salīdziniet attēlu apstrādi (attēlu pievienošanu) ar attēlu kvantimetrisko apstrādi (paplašināšanu, pievienošanu un pēc tam saspiešanu).

Manu kodu un citus materiāla paraugus varat lejupielādēt šeit:

5. darbība: dodieties tālāk: tagad izmēģiniet to, izmantojot HDR attēlu kompozītmateriālus

(Virs attēla: HDR metināšanas ķivere paplašinātās realitātes pārklājumiem izmanto kvanimetrisko attēlu apstrādi. Skatiet Slashgear 2012, 12. septembris.)

Kopsavilkumā:

uzņemiet attēlu un veiciet šādas darbības:

1. paplašināt attēla dinamisko diapazonu;
2. apstrādāt attēlu;
3. saspiest rezultāta dinamisko diapazonu.

Un, ja vēlaties vēl labāku rezultātu, izmēģiniet šādas darbības:

tvert dažādus atšķirīgi eksponētus attēlus;

1. paplašināt dinamisko diapazonu gaismas telpā atbilstoši manam iepriekšējam instrukcijai par HDR;
2. apstrādāt iegūto kvantimetrisko attēlu, q, gaismas telpā;
3. saspiest dinamisko diapazonu, izmantojot toņu kartēšanu.

Izklaidējieties un, lūdzu, noklikšķiniet uz "Es to izdarīju" un ievietojiet savus rezultātus, un es labprāt komentēšu vai sniegšu kādu konstruktīvu palīdzību.