Bakit ang pagpili ng algorithm ang nagpapabago sa bawat dataset ng landas ng paggalaw
Ang isang sistema ng pagsubaybay sa landas ng paggalaw ng zebrafish ay ganoon lamang kalakas kung gaano kahusay ang mga algorithm na tumatakbo sa ilalim ng camera. Ang hardware ang kumuha ng mga pixel. Ang software ang nagdedesisyon kung ano ang ibig sabihin ng mga pixel na iyon. Dalawang laboratorio ay maaaring gumamit ng parehong camera, parehong arena, at parehong ilaw, ngunit magkakaiba pa rin ang kanilang mga dataset dahil ang isa sa mga pipeline ay mahusay sa pagharap sa occlusion habang ang isa naman ay hindi. Ang mga algorithm sa pagsubaybay ang nasa sentro ng pagkakaibang iyon.
Ang gawain ay hinahati sa tatlong bahagi. Ang pagkakakita (detection) ay naghahanap ng isda sa bawat frame. Ang pagsasama-sama (association) ay nag-uugnay ng mga kinalabasan ng pagkakakita sa iba't ibang frame upang panatilihin ang parehong identidad ng isang isda. Ang pagpapaganda (smoothing) ay nagtataya ng tunay na landas kapag ang mga kinalabasan ng pagkakakita ay may ingay o kulang. Ang iba't ibang pamilya ng algorithm ay gumagamit ng magkakaibang pamamaraan para sa bawat bahagi, at ang mga pamamaraang ito ang tumutukoy kung ano ang maaaring suportahan ng datos.
Ang pag-alis ng background at ang thresholding ay nananatiling unang linya ng depensa
Karamihan sa mga proseso ay nagsisimula sa paraan ng paghihiwalay ng isda mula sa background. Ang pag-alis ng background ay gumagawa ng modelo ng walang laman na arena at binibigyan ng marka ang mga pixel na nag-iiba sa modelo. Ang thresholding naman ay nagbabago ng mapa ng pagkakaiba sa isang binary mask. Ang mga operasyon sa morpolohiya ay naglilinis ng maliliit na butas at mga hiwa-hiwalay na pixel.
Ang pamamaraang ito ay mabilis at gumagana nang maayos kapag ang background ay stationary at ang kontrast ay kasiya-siya. Madali ang pagkilala sa isang madilim na isda sa isang maliwanag na arena. Ang mga problema ay lumilitaw kapag nagbabago ang ilaw, gumagalaw ang mga reflection, o pumapasok sa frame ang mga bubble at debris. Maaaring mukhang isda ang anumang anino. Maaaring makipagsalamuha ang isda sa gilid kapag malapit ito sa pader. Nahihirapan din ang background subtraction kapag magkakasalubong ang mga isda, dahil ang mask ay naging isang solong blob imbes na dalawa.
Ang centroid tracking at nearest neighbor matching ay epektibo sa mga simpleng arena
Kapag natukoy na ang mga isda, ang pinakasimpleng paraan upang i-link ang mga frame ay ang centroid tracking. Kinukwenta ang centroid ng bawat blob, at ang pinakamalapit na centroid sa susunod na frame ay itinuturing na parehong isda. Ang nearest neighbor matching ay madaling maisagawa at gumagana nang maayos para sa isang isda lamang o ilang isda na nananatiling malayo sa isa't isa.
Ang mode ng pagkabigo ay ang pagpapalit ng identidad. Kapag dalawang isda ang nagkakasalubong, ang pinakamalapit na sentro ay maaaring kabilang sa maling isda. Ang tracker ay nagpapalit ng mga identidad, at ang datos ng trajectory ay naging kaguluhan. Hindi ito isang bihira o pang-ekstremong kaso. Ang zebrafish ay sosyal at madalas na lumulutang nang malapit sa isa't isa. Ang isang pipeline na hindi isinasaalang-alang ang pagpapanatili ng identidad ay magreresulta sa mga nakikitaang track na maganda sa tingin ngunit mali sa aspetong biyolohikal.
Ang Kalman filters ay nagdadala ng paghahProgno ng galaw sa loob ng pipeline
Ang isang Kalman filter ay nagdaragdag ng modelo ng galaw. Sa halip na ipagpalagay na nananatili ang isda sa iisang lugar sa pagitan ng mga frame, ang filter ay nagpaprogno kung saan dapat ito batay sa nakaraang bilis. Ang progno ay kinukumpara sa bagong deteksyon, at ang pagtatantya ng estado ay ina-update. Ito ay nagpapaganda sa mga may ingay na sukat at tumutulong kapag nawawala ang isang deteksyon sa loob ng isang o dalawang frame.
Ang karaniwang Kalman filter ay umaasa sa linyar na paggalaw at Gaussian noise. Ang isda ng zebrafish ay hindi palaging sumasang-ayon. Maaari itong biglang umiikot, mabilis na lumipad, o manatiling nakatayo. Ang extended Kalman filters at particle filters ay binabawasan ang ilan sa mga pangangailangan na iyon, ngunit dinaragdagan nila ang kumplikasyon. Ang praktikal na benepisyo ay nananatiling tunay. Kahit ang simpleng constant velocity model ay nababawasan ang jitter at pinabubuti ang pagkakasunod-sunod ng track sa bukas na tubig.
Ang Hungarian assignment at multi-object tracking ay nagpapanatili ng kaliwanagan sa mga identidad
Ang Hungarian algorithm ay naglulutas ng assignment problem. Sa pamamagitan ng isang cost matrix na nagbibigay ng puntuasyon kung gaano kal likely na ang bawat detection ay tugma sa bawat umiiral na track, ang algorithm ay humahanap ng one-to-one matching na nagpapababa ng kabuuang gastos. Ang gastos ay maaaring pagsamahin ang distansya, anyo, at paghuhula ng galaw. Ito ang pundasyon ng mga paraan sa multi-object tracking tulad ng SORT at DeepSORT.
-
Hulaan ang posisyon ng bawat track gamit ang isang motion model.
-
Kalkulahin ang cost matrix sa pagitan ng mga track at bagong detections.
-
Lutasin ang assignment gamit ang Hungarian algorithm.
-
I-update ang mga na-tune na track at i-handle ang mga hindi na-tune na detection bilang bagong o nawalang mga object.
Idinadagdag ng DeepSORT ang isang appearance descriptor, na kadalasan ay isang maliit na neural network, upang ma-re-identify ang mga isda matapos ang occlusion. Nakakatulong ito kapag dalawang isda ang nag-cross at pagkatapos ay naghiwalay. Ang gastos dito ay mas maraming computation at higit na tuning. Ang assignment step ay katulad lamang ng kalidad ng cost matrix, at ang isang poorly weighted matrix ay maaari pa ring mag-produce ng identity swaps.
| Pamilya ng algorithm | Lakas | Kahinaan | Pinakamahusay na Pagkakatugma |
|---|---|---|---|
| Pag-alis ng background | Mabilis, simple | Madaling apektado ng liwanag at mga debris | Static arena, mataas na contrast |
| Centroid kasama ang nearest neighbor | Madaling i-implement | Identity swaps | Isang isda o mababang konsentrasyon |
| Kalman filter | Nagpapahina ng ingay at nagtataya | Palagay ng linear na paggalaw | Buksan ang lugar, katamtamang bilis |
| Hungarian assignment | Optimal na one-to-one na pagtutugma | Pag-aayos ng cost matrix | Pagsusunod sa maraming isda |
| Deep learning tracker | Nagpapahawak ng occlusion at pagkakalitaw | Kailangan ng data at GPU | Mga kumplikadong eksena, mataas na pagkakaiba-iba |
Ang mga tracker na gumagamit ng malalim na pag-aaral ay nagpataas ng katiyakan at nagbabago ng mga pangangailangan sa hardware
Ang malalim na pag-aaral ay lubos nang pumasok sa pagsusuri ng zebrafish. Ang mga detector ng bagay tulad ng YOLO at Faster R-CNN ay nakakahanap ng isda nang walang background subtraction. Ang mga kasangkapan sa pagtataya ng pose tulad ng DeepLabCut ay nakakasubaybay ng mga bahagi ng katawan, hindi lamang ng sentro. Ang mga network para sa re-identification ay nakakapaghambing ng anyo sa iba’t ibang frame. Ginagamit din ang mga transformer at Siamese network para sa tracking.
Tunay ang mga benepisyo sa mga madilim o napakabarihang eksena. Tunay din ang mga gastos. Kailangang i-label ang data para sa pagsasanay, kadalasan bawat frame. Ang pagsusuri (inference) ay nangangailangan ng GPU kung mataas ang bilis ng frame. Ang mga modelo na sanay sa ilaw at uri ng isda sa isang laboratorio ay maaaring hindi gumana sa ibang laboratorio. Ang isang tracker na gumagamit ng malalim na pag-aaral ay hindi direktang kapalit ng klasikong proseso. Binabago nito ang badyet sa hardware, ang gawain sa paglalabel, at ang estratehiya sa pagsusuri.
Isang halimbawa sa larangan kung saan ang hindi pagkakatugma ng algorithm ang nagdulot ng pagpapalit ng identidad
Isang pasilidad na pang-asal sa isang unibersidad sa timog na Tsina ay gumagamit ng isang setup na may maraming tangke para sa pagsubaybay. Ang unang proseso ay gumagamit ng pagbabawas ng background at pagtugma sa pinakamalapit na kapitbahay. Ang mga track ay tila malinis sa mga eksperimentong may iisang isda. Sa mga eksperimentong may grupo, ang data ay nagpakita ng mga imposibleng paglukso. Ang mga isda ay tila nangangalaga sa iba't ibang bahagi ng arena at pagkatapos ay bumabalik.
Ang problema ay ang pagpapalit ng identidad habang nagkakasalubong ang mga isda. Dinagdagan ng koponan ang isang Kalman filter para sa paghahatol at pinalitan ang pagtugma sa pinakamalapit na kapitbahay ng Hungarian assignment. Idinagdag din ang isang simpleng katangian ng anyo batay sa hugis ng buntot sa cost matrix. Tumigil ang pagkakalukso. Kailangan pa rin ng manu-manong pagsusuri ang mga track kapag siksik ang pagkakapulot, ngunit naging gamit na ang dataset. Ang aral ay hindi na ang isang algorithm ay palaging mas mainam. Ang aral ay ang algorithm ay kailangang tugma sa sosyal na asal ng mga hayop.
Pagtutugma ng mga algorithm sa tanong na biyolohikal at sa kagamitan
Walang iisang pamilya ng algorithm ang nananalo sa lahat ng sitwasyon. Ang isang simpleng centroid tracker ay sapat para sa isang larva lamang sa isang 24-well plate. Maaaring labis ang isang deep learning tracker para sa parehong assay, ngunit mahalaga ito para sa isang abala at puno ng adult na tangke. Ang tamang pagpili ay nakasalalay sa density ng isda, kumplikadong arena, katatagan ng ilaw, at tanong na biyolohikal.
Nakasalalay din ito sa rig. Ang isang matatag na suporta para sa camera, pare-parehong liwanag, at malinis na background ay nagpapagana nang mas mainam ang mga klasikong algorithm. Ang isang hindi matatag na suporta o kumikinang-kumikinang na ilaw ay pumipilit sa software na kompensahin ang mga problema na dapat sanay na nasosolusyunan sa pamamagitan ng mekanikal na paraan. Ang katiyakan ng tracking ay isang katangian ng sistema, hindi lamang isang tampok ng software.
Ang Hunter Lab (Hunter) ay gumagawa ng kagamitan para sa laboratoryo ng zebrafish na may pagninilay sa mekanikal at optical na katatagan na kailangan ng mga algorithm sa pagsubaybay. Ang produksyon at kontrol sa kalidad ay sumusuporta sa pagkakapare-pareho na kailangan ng mga pag-aaral sa pag-uugali gamit ang maraming rig. Para sa mga laboratoryo na nais na ang mga datos sa pagsubaybay ay sumasalamin sa biyolohiya imbes na sa mga artifact ng pipeline, ang ganitong katatagan ay bahagi ng pundasyon.