Miks algoritmivalik määrab iga trajektoorandmehulga
Zebrafishi trajektoorijälgimissüsteem on nii hea, kui head on selle all olevad algoritmid. Riistvara teeb pildipunktidest pildi. Tarkvara otsustab, mida need pildipunktid tähendavad. Kaks laborit võivad kasutada sama kaamerat, sama areenat ja sama valgustust, kuid saavutada siiski väga erinevaid andmehulki, sest üks töövoog toimeb hästi varjatud objektidega ja teine mitte. Jälgimisalgoritmid asuvad just selles erinevuses keskmes.
Töö jaguneb kolmeks osaks. Tuvastus leiab kalad iga kaadri sees. Seostamine ühendab tuvastusi erinevate kaadrite vahel nii, et kala säilitab oma identiteedi. Siledamaks tegemine hinnab tõelist liikumisteed, kui tuvastused on müralised või puuduvad. Erinevad algoritmiperekonnad töötlevad neid osi erinevate eeldustega, ja need eeldused määravad, mida andmed toetada suudavad.
Taustavälgutus ja lävekasutus jäävad esimeseks kaitsejooneks
Enamik töövoogusid algab viisil, kuidas eraldada kala taustast. Taustavälgutus ehitab tühi arena mudeli ja tähistab pikslid, mis erinevad sellest mudelist. Lävekasutus teisendab seejärel erinevuste kaardi binaarseks maskiks. Morfoloogilised tehted puhastavad väikesi auku ja ekslikke piksleid.
See lähenemine on kiire ja toimib hästi siis, kui taust on staatiline ja kontrast piisavalt hea. Tume kala selge arena taustal on lihtne tuvastada. Probleemid tekivad siis, kui valgustus muutub, peegeldused liiguvad või raamidesse sattuvad mullid ja mustus. Vari võib välja näida nagu kala. Kala seina lähedal võib ühineda servaga. Taustasubtraktsioon ei toimi ka siis, kui kalad üksteist katavad, sest mask muutub üheks ühtseks pihkiks mitte kaheks eraldi pihkiks.
Keskpunktide jälgimine ja lähima naabri sobitamine toimivad lihtsates arenades
Kui kalad on tuvastatud, on kõige lihtsam viis kaadreid omavahel siduda keskpunktide jälgimine. Iga pihki kohta arvutatakse keskpunkt ja järgmises kaadris eeldatakse, et lähim keskpunkt kuulub samale kalale. Lähima naabri sobitamine on lihtne realiseerida ja toimib hästi ühe kala või mõne kalaga, mis jäävad teineteisest kaugel.
Vigasüsteemiks on identiteedi vahetumine. Kui kaks kala ristuvad, võib lähim keskpunkt kuuluda valele kalale. Jälgija vahetab identiteete ja trajektooriate andmed muutuvad kaosseks. See ei ole harv ääreküsimus. Zebrafishid on sotsiaalsed ja ujuvad sageli üksteisele väga lähedal. Torujuht, mis ignoreerib identiteedi säilitamist, annab ilusaid, kuid bioloogiliselt valesti esitatud liikumistee andmeid.
Kalmani filtrid toovad liikumisprediktsiooni torujuhtesse
Kalmani filter lisab liikumismudeli. Selle asemel, et eeldada, et kala püsib kaadrite vahel paigal, prognoosib filter selle asukohta eelmise kiiruse põhjal. Prognoos võrreldakse uue tuvastusega ja oleku hindamine uuendatakse. See sujuvad müralisi mõõtmisi ja aitab juhul, kui ühe või kahe kaadri puhul tuvastust ei leita.
Standardne Kalmani filter eeldab lineaarset liikumist ja Gaussi müra. Zebrafish ei koostööta alati. See võib ägedalt pöörata, kiirustada või paigalduda. Laiendatud Kalmani filtrid ja osakeste filtrid nõrgendavad mõningaid neid eeldusi, kuid lisavad keerukust. Praktiline kasu on siiski reaalne. Isegi lihtne konstantse kiiruse mudel vähendab värinat ja parandab jälgimise pidevust avavees.
Ungari omistus ja mitmeobjektne jälgimine hoiavad identiteedid selgelt eraldi
Ungari algoritm lahendab omistusprobleemi. Antud kulumaatriks, mis hindab, kui tõenäoline on iga tuvastuse sobimine iga olemasoleva jälgimisega, leiab algoritm ühe-ühele vastet, mis minimeerib kogukulu. Kulud võivad hõlmata kaugust, välimust ja liikumise ennustust. See on mitmeobjektse jälgimise meetodite, näiteks SORT ja DeepSORT, alus.
-
Ennusta iga jälgimise asukohta liikumismudeli abil.
-
Arvuta kulumaatriks jälgimiste ja uute tuvastuste vahel.
-
Lahenda omistus ungari algoritmi abil.
-
Uuenda sobivaid radu ja käsitle sobimatuid tuvastusi uutena või kaotatutena.
DeepSORT lisab välimuse kirjeldaja, sageli väikese neuravõrgu, et kalu saaks pärast varjatust uuesti tuvastada. See aitab juhul, kui kaks kala ristuvad ja seejärel eralduvad. Selleks kulub rohkem arvutusvõimsust ja täpsemat seadistamist. Ülesande jaotamise samm on nii hea, kui on ka kulumaatriks, ja halvasti kaalutud maatriks võib ikka põhjustada identiteedivahetusi.
| Algoritmiperekond | Tugevused | Nõrkus | Parim sobivus |
|---|---|---|---|
| Taustapildi lahutamine | Kiire ja lihtne | Tundlik valgusele ja mustusteile | Staatiline ala ja kõrge kontrast |
| Tsentrumbaasne lähim naaber | Lihtne rakendada | Identiteedivahetused | Üksik kala või väike tihedus |
| Kalmani filter | Siletab müra ja teeb ennustusi | Lineaarse liikumise eeldus | Avatud ala, mõõdukas kiirus |
| Ungari paigutus | Optimaalne üheks-ühele sobitus | Kulumaatriksi sätmine | Mitme kala jälgimine |
| Sügavõppetracker | Käsitleb varjamist ja välimust | Vajab andmeid ja GPU-d | Täis kompleksseid stseene ja suurt muutlikkust |
Sügavõppetrakkerid suurendavad täpsust ja muudavad riistvaranõudeid
Sügavõpp on suurel määral jõudnud zebrafishide jälgimisse. Objektide tuvastajad, näiteks YOLO ja Faster R-CNN, suudavad leida kalu ilma taustasubtraktsioonita. Pose estimationi tööriistad, näiteks DeepLabCut, võimaldavad jälgida kehaosasid, mitte ainult keskpunkte. Re-identifikatsiooni võrgustikud võimaldavad võrrelda välimust raamidest raami. Transformers ja Siamese võrgustikud kasutatakse samuti jälgimiseks.
Kasumid on tõelised rahututes või muutlikes stseenides. Samas on ka kulud tõelised. Õppeandmed tuleb märgistada, sageli raam haaval. Järeldusvõimaluse jaoks on vaja GPU-d, kui raamisagedus on kõrge. Ühes laboris valgustuses ja kala sortis õpetatud mudelid ei pruugi üle kanda teise laborisse. Sügavõppetrakker pole klassikalise toru süsteemi otsevahetus. See muudab riistvarabudžetti, märgistustöökoormust ja valideerimisstrateegiat.
Väljanäide, kus algoritmite sobimatuse tõttu tekkisid identiteedivahetused
Käitumise tuumakoda ülikoolis lõuna-Hiinas kasutas mitme akvaariumi jälgimispaigaldust. Esialgne töövoog kasutas taustavärvuse lahutamist ja lähima naabri sobitamist. Üksikute kalade katsetes näitsid teed puhtad välja. Grupikatsetes näitas andmestik aga võimatuid hüppeid. Kalad näisid teleportuvat akvaariumi üle ja tagasi.
Probleemiks olid identiteedivahetused ristumiste ajal. Tiim lisas ennustamiseks Kalmani filtrit ja asendas lähima naabri sobitamise Ungari sobitusalgoritmiga. Kulmaga seotud lihtne välimuslik tunnus lisati kulumaatriksisse. Teleporteerumine lõppes. Teed vajasid siiski käsitsi ülevaadet tihedas koolis, kuid andmekogu sai kasutatavaks. Õppetund ei olnud see, et üks algoritm oleks alati parem. Õppetund oli see, et algoritm peab sobima loomade sotsiaalse käitumisega.
Algoritmide sobitamine bioloogilisele küsimusele ja seadmele
Ükski algoritmiperekond ei ole kõikjal parim. Lihtne keskpunkti jälgija sobib hästi ühe lapse (larva) jälgimiseks 24-augest lauast. Sügavõppimise põhine jälgija võib olla sama testi jaoks liialdatud, kuid see on oluline täiskasvanute tihedas akvaariumis. Õige valik sõltub kalade tihedusest, areenaga seotud keerukusest, valgustuse stabiilsusest ja bioloogilisest küsimusest.
See sõltub ka kasutatavast seadistusest. Stabiilne kaamerakinnitus, ühtlane valgustus ja puhas taust aitavad klassikalisi algoritme palju paremini töötada. Värisematu kinnitus või vilkuv valgus sunnivad tarkvara kompenseerima probleeme, mida oleks pidanud lahendama mehaaniliselt. Jälgimise täpsus on süsteemi omadus, mitte ainult tarkvara funktsioon.
Hunter Lab (Hunter) loob zebrafishi laboratooriumiseadmeid, pöörates erilist tähelepanu mehaanilisele ja optilisele stabiilsusele, millele jälgimisalgoritmid toetuvad. Tootmis- ja kvaliteedikontrolli osa tagab järjepidevuse, mida mitme seadmega käivitatavates käitumisuuringutes nõutakse. Laborite jaoks, kes soovivad, et jälgimisandmed peegeldaksid bioloogiat mitte töövoogude artefakte, on see stabiilsus osa alusstruktuurist.