Zakaj izbira algoritma oblikuje vsak podatkovni nabor tirnic
Sistem za sledenje tirnic zebrafishov je dober le toliko, kolikor so dobri algoritmi, ki delujejo pod kamero. Strojna oprema zajame slikovne pikice. Programska oprema pa odloča, kaj te slikovne pikice pomenijo. Dve laboratoriji lahko uporabljata isto kamero, isto arenco in isto osvetlitev, a kljub temu prideta do zelo različnih podatkovnih naborov, saj en konvej dobro obravnava prekrivanje, drugi pa ne. Sledilni algoritmi stojijo v središču te razlike.
Naloga se razdeli na tri dele. Zaznavanje najde ribe v vsakem okvirju. Povezovanje poveže zaznave med posameznimi okvirji, tako da ohrani isto identiteto za vsako ribo. Izravnavanje oceni dejansko pot, kadar so zaznave šumne ali manjkajoče. Različne družine algoritmov obravnavajo te dele z različnimi predpostavkami, ki določajo, kaj podatki lahko podpirajo.
Odstranjevanje ozadja in pragujoča metoda ostajata prva linija obrambe
Večina konvejov se začne z načinom ločevanja rib od ozadja. Odstranjevanje ozadja zgradi model praznega prostora in označi piksle, ki se od tega modela razlikujejo. Pragujoča metoda nato pretvori zemljevid razlik v binarno masko. Morfološke operacije odstranijo majhne luknje in izolirane piksle.
Ta pristop je hitro delujoč in dobro deluje, kadar je ozadje statično in kontrast zadosten. Temna riba pred svetlim ozadjem je enostavna za zaznavo. Težave nastanejo, ko se osvetlitev spreminja, ko se premikajo odsevi ali ko v kadro vstopajo mehurčki in umazanija. Senco lahko zaznamo kot ribo. Rib, ki je blizu stene, ne moremo ločiti od roba. Odštevanje ozadja prav tako ni učinkovito, kadar se ribe prekrivajo, saj se maska spremeni v en sam oblak namesto v dva.
Sledenje težiščem in ujemanje najbližjih sosedov omogočata sledenje v enostavnih akvarijih
Ko so ribe zaznane, je najenostavnejši način povezovanja posnetkov sledenje težiščem. Izračuna se težišče vsakega oblaka, v naslednjem posnetku pa se predpostavi, da je najbližje težišče ista riba. Ujemanje najbližjih sosedov je enostavno za izvedbo in dobro deluje pri eni ribi ali nekaj ribah, ki ostanejo dovolj oddaljene med seboj.
Način odpovedi je zamenjava identitete. Ko se dve ribi srečata, najbližji težiščni del lahko pripada napačni ribi. Sledilnik zamenja identiteti in podatki o poteku postanejo nepregledni. To ni redka robna situacija. Zebrafish so družabne in pogosto plavajo blizu skupaj. Konvencionalna metoda, ki prezre ohranitev identitete, ustvari lepo izgledajoče sledi, ki pa so biološko napačne.
Kalmanovi filtri vključijo napoved gibanja v konvencionalno metodo
Kalmanov filter dodaja model gibanja. Namesto da bi predpostavili, da riba med posnetki ostane na istem mestu, filter napove njeno mesto na podlagi prejšnje hitrosti. Napoved se primerja z novo zaznavo in ocena stanja se posodobi. To izgladi šumne meritve in pomaga tudi takrat, ko zaznava za enega ali dva posnetka manjka.
Standardni Kalmanov filter predpostavlja linearno gibanje in Gaussovo šumo. Zebrafish ni vedno sodelujoč. Lahko se ostro obrne, hitro zasukne ali miruje na mestu. Razširjeni Kalmanovi filtri in delčni filtri omilijo nekatere od teh predpostavk, vendar dodajo zapletenost. Praktična korist pa ostaja resnična. Celo preprost model konstantne hitrosti zmanjša tresenje in izboljša kontinuiteto sledi v odprti vodi.
Madžarska dodelitev in sledenje več objektom ohranjata identitete ločene
Madžarski algoritem reši problem dodelitve. Glede na matriko stroškov, ki ocenjuje verjetnost ujemanja vsakega zaznanega objekta z vsako obstoječo sledjo, algoritem najde eno-na-eno dodelitev, ki minimizira skupne stroške. Stroški lahko združujejo razdaljo, videz in napoved gibanja. To je osnova metod za sledenje več objektom, kot sta SORT in DeepSORT.
-
Napove pozicijo vsake sledi z uporabo modela gibanja.
-
Izračuna matriko stroškov med sledmi in novimi zaznami.
-
Reši dodelitev z madžarskim algoritmom.
-
Posodobi ujemajoče se sledi in obravnavaj neujemajoče se zaznave kot nove ali izgubljene.
DeepSORT dodaja opis videza, pogosto majhno nevronsko mrežo, tako da se ribe po zakritju lahko ponovno prepoznajo. To pomaga, ko se dve ribi prekrižata in nato ločita. Cena je več računske moči in več nastavljanja. Korak dodelitve je dober le toliko, kolikor je dobra matrika stroškov, slabo utežena matrika pa še naprej lahko povzroča zamenjave.
| Družina algoritmov | Trdnosti | Slabost | Najboljša izbira |
|---|---|---|---|
| Odvzemanje ozadja | Hitro, preprosto | Občutljivo na svetlobo in umazanijo | Statična arena, visok kontrast |
| Težišče z najbližjim sosedom | Enostavno za izvedbo | Zamenjave identitet | Ena riba ali nizka gostota |
| Kalmanov filter | Zgladiš šum in napoveduješ | Predpostavka linearnega gibanja | Odprto polje, zmerna hitrost |
| Madžarsko dodeljevanje | Optimalno eno-na-eno ujemanje | Prilagajanje matrike stroškov | Sledenje več ribam |
| Sledilnik na osnovi globokega učenja | Upravlja z zakrivanjem in videzom | Potrebuje podatke in GPU | Zapletene prizore, visoka spremenljivost |
Sledilniki na osnovi globokih nevronskih omrežij povečujejo natančnost in spreminjajo zahteve glede strojne opreme
Globoko učenje se je v veliki meri vpeljalo v sledenje zebrafishu. Zaznavalniki objektov, kot so YOLO in Faster R-CNN, lahko najdejo ribe brez odštevanja ozadja. Orodja za ocenjevanje položaja, kot je DeepLabCut, sledijo telesnim delom, ne le središčem mase. Omrežja za ponovno identifikacijo lahko primerjajo videz med posameznimi sličici. Za sledenje se uporabljajo tudi transformatorji in siamska omrežja.
Koristi so resnične v gnečavih ali spremenljivih prizorih. Stroški pa so tudi resnični. Učni podatki morajo biti označeni, pogosto sličica za sličico. Za sklepanje je potreben GPU, če je hitrost sličic visoka. Modeli, usposobljeni na osvetlitvi in vrsti rib v enem laboratoriju, se morda ne bodo splošno uporabljali v drugem. Sledilnik na osnovi globokih nevronskih omrežij ni neposredna zamenjava za klasično konvejersko obdelavo. Spremeni proračun za strojno opremo, obseg dela pri označevanju podatkov in strategijo preverjanja.
Primer iz prakse, kjer je neskladje algoritmov povzročilo zamenjave identitet
Na univerzi na jugu Kitajske je bilo v uporabi večrezervoarsko sledilno omogočilo za raziskave obnašanja. Začetni konvejerski postopek je uporabljal odštevanje ozadja in ujemanje najbližjih sosedov. Sledi so izgledale čiste pri poskusih z eno ribo. Pri skupinskih poskusih so podatki kazali nemogoče skoke. Ribe so se pojavile, kot da bi se teletransportirale prek arene in nato nazaj.
Težava je bila zamenjava identitet med prehodi. Ekipa je dodala Kalmanov filter za napovedovanje ter zamenjala ujemanje najbližjih sosedov z madžarskim dodelitvenim algoritmom. V matriko stroškov je bila dodana preprosta značilnost videza, ki temelji na obliki repa. Teletransportiranje se je ustavilo. Sledi so še vedno zahtevale ročni pregled pri gostem plavanju v jati, a je bil nabor podatkov že uporaben. Učenka ni bila, da je eden algoritem vedno boljši. Učenka je bila, da mora algoritem ustrezati socialnemu obnašanju živali.
Prilagajanje algoritmov biološkemu vprašanju in opremi
Nobena posamezna družina algoritmov ne zmaguje povsod. Preprost sledilnik središča je dovolj za eno ličinko v plošči z 24 jamicami. Sledilnik na osnovi globokega učenja je za isti test morda prekomeren, a ključnega pomena za prepolnjeno akvarij z odraslimi ribami. Prava izbira je odvisna od gostote rib, zapletenosti arene, stabilnosti osvetlitve ter biološkega vprašanja.
Odvisno je tudi od opreme. Stabilna namestitev kamere, enakomerna osvetlitev in čist ozadje omogočajo, da se klasični algoritmi veliko bolje izvedejo. Nestabilna namestitev ali utripljiva svetloba prisilijo programsko opremo, da kompenzira težave, ki bi jih morale rešiti mehanske metode. Natančnost sledenja je lastnost celotnega sistema, ne le programske funkcije.
Hunter Lab (Hunter) izdeluje opremo za laboratorije z ribicami zebrami, pri čemer pozornost namenja mehanski in optični stabilnosti, od katerih so odvisni algoritmi za sledenje. Proizvodnja in nadzor kakovosti zagotavljata doslednost, ki jo za večkratne vedenjske študije zahtevajo. Za laboratorije, ki želijo, da bi podatki o sledenju odražali biologijo namesto napak v analiznih postopkih, je ta stabilnost del temelja.