Kāpēc algoritmu izvēle nosaka katru trajektoriju datu kopu
Zebrazivju trajektoriju sekotājsistēma ir tik laba, cik labi darbojas tajā iestrādātie algoritmi. Aprīkojums uztver pikseļus. Programmatūra nolēmst, ko šie pikseļi nozīmē. Divas laboratorijas var izmantot vienu un to pašu kameru, vienu un to pašu arenu un vienu un to pašu apgaismojumu, tomēr iegūt ļoti atšķirīgas datu kopas, jo viena datu apstrādes caurule efektīvi risina aizsedzamības problēmu, bet otra — nē. Sekotājprogrammas ir šīs atšķirības centrs.
Darbs tiek sadalīts trīs daļās. Atpazīšana katrā kadros atrod zivis. Saistība savieno atpazīšanas rezultātus starp kadriem, lai viena un tā pati zivs saglabātu vienu un to pašu identitāti. Gludināšana novērtē patieso kustības ceļu, ja atpazīšanas rezultāti ir trokšņaini vai trūkst. Dažādas algoritmu grupas šīs daļas apstrādā ar dažādiem pieņēmumiem, un tieši šie pieņēmumi nosaka, ko dati var atbalstīt.
Fona atņemšana un sliekšņošana joprojām ir pirmā aizsardzības līnija
Vairums datu apstrādes procesu sākas ar veidu, kā atdalīt zivis no fona. Fona atņemšana veido tukšas arenas modeli un atzīmē pikseļus, kas atšķiras no šī modeļa. Sliekšņošana pēc tam pārvērš atšķirību karti binārā maskā. Morfoloģiskās operācijas notīra mazās caurumus un izkliedētos pikseļus.
Šī pieeja ir ātra un labi darbojas, ja fons ir statisks un kontrasts pietiekami liels. Tumša zivs uz gaišas arenas ir viegli atpazīt. Problemas rodas, kad apgaismojums mainās, atspulgi pārvietojas vai kad kadrs vai citi netīrumi nonāk kadros. Ēna var izskatīties kā zivs. Zivs, kas ir tuvu sienai, var saplūst ar malu. Fona atņemšana arī grūti strādā, ja zivis pārklājas, jo maska kļūst par vienu maisiņu, nevis diviem.
Centroīdu sekotājs un tuvākā kaimiņa sakritības noteikšana rīkojas ar vienkāršām arenām
Kad zivis ir atpazītas, vienkāršākais veids, kā saistīt kadrus, ir centroīdu sekotājs. Katram maisiņam tiek aprēķināts tā centroīds, un nākamajā kadā tuvākais centroīds tiek uzskatīts par to pašu zivi. Tuvo kaimiņu sakritības noteikšana ir viegli ieviest un labi darbojas vienai zivij vai dažām zivīm, kas paliek tālu viena no otras.
Kļūdas veids ir identitātes apmaiņa. Kad divi zivju individuālie objekti krustojas, tuvākais centroida punkts var piederēt nepareizai zivij. Sekotājs apmaina identitātes, un trajektoriju dati kļūst neorganizēti. Tas nav rets robežgadījums. Zebrafish ir sociālas un bieži peld tuvu viena otrai. Datu apstrādes caurule, kas ignorē identitātes saglabāšanu, radīs vizuāli pievilcīgas, bet bioloģiski nepareizas trajektorijas.
Kalmana filtri ievieš kustības prognozēšanu datu apstrādes caurulē
Kalmana filtra izmantošana pievieno kustības modeli. Vietoj tā, lai pieņemtu, ka zivs starp kadriem paliek nekustīga, filtra algoritms prognozē tās iespējamo atrašanās vietu, balstoties uz iepriekšējo ātrumu. Prognozētā pozīcija tiek salīdzināta ar jauno detekciju, un stāvokļa novērtējums tiek atjaunināts. Tas samazina trokšņainību mērījumos un palīdz gadījumos, kad vienā vai divos kadros detekcija trūkst.
Standarta Kalmana filtra pieņēmums ir lineāra kustība un Gausa troksnis. Zebrafish ne vienmēr sadarbojas. Tas var strauji pagriezties, strauji pārvietoties vai karāties vietā. Paplašinātie Kalmana filtri un daļiņu filtri atvieglina dažus no šiem pieņēmumiem, bet pievieno sarežģītību. Praktiskā priekšrocība tomēr joprojām ir reāla. Pat vienkāršs nemainīgas ātruma modelis samazina trīcēšanu un uzlabo trajektoriju nepārtrauktību atvērtā ūdenī.
Ungāru piešķiršana un vairāku objektu izsekošana nodrošina identitāšu pareizu atpazīšanu
Ungāru algoritms risina piešķiršanas problēmu. Dotai izmaksu matricai, kas novērtē katras atklāšanas varbūtību sakrist ar katru esošo trajektoriju, algoritms atrod viens pret vienu atbilstību, kas minimizē kopējās izmaksas. Izmaksa var apvienot attālumu, vizuālo līdzību un kustības prognozi. Tas ir vairāku objektu izsekošanas metožu, piemēram, SORT un DeepSORT, pamats.
-
Prognozēt katras trajektorijas pozīciju, izmantojot kustības modeli.
-
Aprēķināt izmaksu matricu starp trajektorijām un jaunajām atklāšanām.
-
Risināt piešķiršanu, izmantojot ungāru algoritmu.
-
Atjaunot atbilstošos trasekļus un apstrādāt neatbilstošos noteikumus kā jaunus vai zudušus.
DeepSORT pievieno izskata aprakstu, bieži vien mazu neironu tīklu, lai zivis pēc aizseguma varētu atpazīt atkārtoti. Tas palīdz, kad divas zivis krustojas un pēc tam atdalās. Izmaksas ir lielāka aprēķināšanas jauda un vairāk pielāgošanas. Piešķiršanas solis ir tik labs, cik laba ir izmaksu matrica, un slikti svērta matrica joprojām var radīt identitāšu apmaiņu.
| Algoritmu ģimene | Spēks | Vājums | Labākā izvēle |
|---|---|---|---|
| Fona atņemšana | Ātrs, vienkāršs | Jūtīgs pret gaismu un netīrumiem | Stacionārs arens, augsta kontrasta attēls |
| Centroīds ar tuvāko kaimiņu | Viegli ieviest | Identitāšu apmaiņa | Viena zivs vai zema blīvuma apstākļi |
| Kalmana filtra algoritms | Samazina troksni un veic prognozes | Lineāras kustības pieņēmums | Atvērts laukums, mērena ātruma apstākļi |
| Ungāru piešķiršanas algoritms | Optimāla viens pret vienu sakritība | Izmaksu matricas pielāgošana | Vairāku zivju sekotne |
| Dziļās mācīšanās sekotne | Apstrādā aizsedzīšanu un izskatu | Nepieciešami dati un GPU | Sarežģītas scēnas, augsta mainīgums |
Dziļās mācīšanās sekotāji paaugstina precizitāti un maina aparatūras prasības
Dziļās mācīšanās lielā mērā ir ienākusi zebrafish sekotāju jomā. Objektu atpazīšanas rīki, piemēram, YOLO un Faster R-CNN, var atrast zivis bez fona atņemšanas. Pozīcijas novērtēšanas rīki, piemēram, DeepLabCut, var sekot ķermeņa daļām, ne tikai centrālajiem punktiem. Atkārtotas identifikācijas tīkli var salīdzināt izskatu starp kadriem. Transformatori un Siameziešu tīkli arī tiek izmantoti sekotājiem.
Ieguvumi ir reāli piesātinātās vai mainīgās scēnās. Tomēr arī izmaksas ir reālas. Mācību datiem jābūt atzīmētiem, bieži vien kadru pa kadram. Secināšanai nepieciešams GPU, ja kadru ātrums ir augsts. Modeļi, kas apmācīti vienas laboratorijas apgaismojumā un zivju šķirnē, var nebūt vispārināmi citās. Dziļās mācīšanās sekotājs nav tieša aizvietošana klasiskajam procesam. Tas maina aparatūras budžetu, anotāciju slodzi un validācijas stratēģiju.
Lauka piemērs, kur algoritmu neatbilstība izraisīja identitāšu apmaiņu
Uzvedības kodolu iestāde dienvidķīnas universitātē izmantoja daudzkameru novērošanas sistēmu. Sākotnējā datu apstrādes koncepcija balstījās uz fona atņemšanu un tuvākā kaimiņa sakritības noteikšanu. Vienas zivs eksperimentos iegūtās trajektorijas izskatījās tīras. Grupu eksperimentos dati rādīja neiespējamus lēcienus. Zivis šķita teleportējamies pa visu eksperimentu laukumu un pēc tam atgriežamās.
Problēma bija identitāšu apmaiņa krustojumos. Komanda pievienoja Kalmana filtru prognozēšanai un aizvietoja tuvākā kaimiņa metodi ar Ungāru piešķiršanas algoritmu. Maksimālās izmaksu matricai pievienoja vienkāršu ārējās pazīmes funkciju, kas balstījās uz astes formu. Teleportācija beidzās. Tomēr blīvās skolas veidošanās laikā trajektorijas joprojām prasīja manuālu pārbaudi, bet datu kopu varēja izmantot. Mācība nebija tāda, ka viens algoritms vienmēr ir labāks. Tā bija tāda, ka algoritmam jāatbilst dzīvnieku sociālajam uzvedības veidam.
Algoritmiskās risinājumu pielāgošana bioloģiskajam jautājumam un eksperimentālajai iekārtai
Neviens viens algoritmu veids nav visur vislabākais. Vienkāršs centrālā punkta sekotājs ir pietiekams viena kāpura izsekošanai 24 dobu plātītē. Dziļās mācīšanās sekotājs var būt pārmērīgi sarežģīts tam pašam eksperimentam, bet nepieciešams ļoti piesātinātā pieauguļu akvārijā. Pareizā izvēle ir atkarīga no zivju blīvuma, eksperimenta laukuma sarežģītības, apgaismojuma stabilitātes un bioloģiskā jautājuma.
Tas ir atkarīgs arī no iekārtas. Stabils kameru turētājs, vienmērīgs apgaismojums un tīrs fons ļauj klasiskajiem algoritmiem darboties daudz efektīvāk. Nestabils turētājs vai mirgojošs gaisma liek programmatūrai kompensēt problēmas, kas vajadzētu atrisināt mehāniski. Izsekošanas precizitāte ir sistēmas īpašība, nevis tikai programmatūras funkcija.
Hunter Lab (Hunter) ražo zebrafish laboratorijas aprīkojumu, pievēršot uzmanību mehāniskajai un optiskajai stabilitātei, kas nepieciešama izsekošanas algoritmiem. Ražošanas un kvalitātes kontroles process nodrošina vienveidību, kas nepieciešama vairāku iekārtu uzvedības pētījumiem. Laboratorijām, kurās izsekošanas dati jāatspoguļo bioloģija, nevis apstrādes līnijas kļūdas, šī stabilitāte ir pamats.