Zašto algoritam odabir oblikuje svaki putanju skup podataka
Zebrafish trajektorija sustav praćenja je samo kao dobar kao algoritmi pokrenuti ispod kamere. Hardver hvata piksele. Softver odlučuje što ti pikseli znače. Dva laboratorija mogu koristiti istu kameru, istu arenu i isto osvjetljenje, ali ipak završe s vrlo različitim skupovima podataka jer jedna cijev dobro rješava okluziju, a druga ne. Algoritmi za praćenje su u središtu te razlike.
Rad se dijeli na tri dijela. Detekcija pronalazi ribu u svakom kadru. Povezivanje povezuje detekcije između okvirâ tako da riba zadrži isti identitet. Izglančavanje procjenjuje pravu putanju kada su detekcije bučne ili nedostaju. Različite obitelji algoritama obrađuju te dijelove različitim pretpostavkama, a te pretpostavke određuju što podaci mogu podržati.
Površinski oduzimanje i praga ostaju prva linija obrane
Većina cijevi počinju s načinom odvojenosti ribe od pozadine. Površinska oduzimanje gradi model prazne arene i označava piksele koji se razlikuju od tog modela. Pražnjenje zatim pretvara razliku u binarnu masku. Morfološke operacije čiste male rupe i lutalice.
Ovaj pristup je brz i dobro radi kada je pozadina statična i kontrast je pristojan. Mračna riba protiv svijetle arene je lako. Problemi se javljaju kada svjetlost odlazi, odrazovi se pomjeraju ili kad mjehurići i otpad ulaze u okvir. Sjena može izgledati kao riba. Ribe blizu zida mogu se spojiti s rubom. Podloga oduzimanje također bori kada ribe preklapaju, jer maska postaje jedna mrlja umjesto dva.
Centroid tracking i najbliži susjed odgovarajući rukovanje jednostavne arene
Kad se ribe otkriju, najjednostavniji način za povezivanje okvira je centroidno praćenje. Centroid svake mrlje izračunava se, a najbliži centroid u sljedećem kadru pretpostavlja se da je ista riba. Najbliže susjede je lako provesti i dobro funkcionira za jednu ribu ili nekoliko riba koje su udaljene.
Neuspjeh je zamjena identiteta. Kad se dvije ribe ukrste, najbliži centroid može pripadati pogrešnoj ribi. Tracker zamjenjuje identitete, a trajektorijski podaci postaju nered. Ovo nije rijedak slučaj. Zebrafish su društveni i često plivaju blizu jedni drugima. Cjevovod koji ignoriše upornost identiteta proizvesti će lijepe tragove koji su biološki pogrešni.
Kalmanovi filteri donose predviđanje kretanja u cijev.
Kalmanov filter dodaje model pokreta. Umjesto da pretpostavlja da riba ostaje mirna između slika, filter predviđa gdje bi trebala biti na temelju prethodne brzine. Predviđanje se uspoređuje s novim otkrićem, a procjena države se ažurira. To ublažava buke i pomaže kada je detekcija nedostaje za jedan ili dva kadra.
Standardni Kalmanov filter pretpostavlja linearno kretanje i Gaussian buku. Zebrafish ne uvijek surađuje. Može se naglo okrenuti, pucati ili lebdjeti. Prošireni Kalmanovi filteri i filteri čestica ublažavaju neke od tih pretpostavki, ali dodaju kompleksnost. Praktična korist je i dalje stvarna. Čak i jednostavan model konstantne brzine smanjuje trzanje i poboljšava kontinuitet staze u otvorenom vodi.
Mađarski zadatak i multi-objekt tracking zadržati identitete ravno
Mađarski algoritam rešava zadatak dodjele. S obzirom na matricu troškova koja ocjenjuje koliko je vjerojatno da će se svako otkrivanje poklopiti s svakom postojećom stazom, algoritam pronalazi jednokratnu podudaranje koje minimizira ukupne troškove. Cijena može kombinirati udaljenost, izgled i predviđanje kretanja. To je okosnica metoda praćenja više objekata kao što su SORT i DeepSORT.
-
Predvidi svaku poziciju tračnice koristeći model kretanja.
-
Izračunati matricu troškova između tragova i novih detekcija.
-
Rješavaj zadatak mađarskim algoritmom.
-
Objavite odgovarajuće tračnice i obrađujte neiskladne detekcije kao nove ili izgubljene.
DeepSORT dodaje opisnik izgleda, često malu neuronsku mrežu, tako da se ribe mogu ponovno identificirati nakon okluzije. To pomaže kad se dvije ribe ukrste i onda se odvoje. Cijena je više izračunavanja i više podešavanja. Korak dodjele je samo dobar kao i matrica troškova, a loš ponderirana matrica još uvijek može proizvesti zamjene.
| Porodica algoritama | Snaga | Slabost | Najbolje rješenje |
|---|---|---|---|
| Oduzimanje pozadine | Brzo, jednostavno. | Osjetljiv na svjetlost i otpad | Statička arena, visok kontrast |
| Centroid s najbližim susjedom | Jednostavan za provedbu | Izmjene identiteta | Ribe s malom gustoćom |
| Kalmanov filter | Izmlađuje buku i predviđa | Pretpostavka linearnog kretanja | Otvoreno polje, umjerena brzina |
| Mađarska zadaća | Optimalno podudaranje jedan na jedan | Prilagođivanje matrice troškova | U skladu s člankom 21. stavkom 1. |
| Slijednik dubokog učenja | Rukuje se za zatvaranje i izgled | Potreban podaci i GPU | Kompleksne scene, velika promjena |
Deep learning tracker povećava točnost i mijenja potrebe hardvera
Duboko učenje se pomaknulo u praćenje zebrijske ribe na veliki način. Detektorovi predmeta poput YOLO-a i Faster R-CNN-a mogu pronaći ribe bez oduzimanja pozadine. Alat za procjenu položaja poput DeepLabCuta može pratiti dijelove tijela, ne samo centroid. Mreže za ponovno prepoznavanje mogu usporediti izgled između kadra. Transformatori i sijamske mreže također se koriste za praćenje.
Dobit je stvarna u gužvom ili promjenjivim scenama. Troškovi su također stvarni. Podaci o treningu moraju biti označeni, često okvir po okvir. Inferencija treba GPU ako je brzina kadrova visoka. Modeli obučeni na svjetlu jedne laboratorije i na vrsti ribe možda se ne generalizuju na drugu. Slijednik dubokog učenja nije zamjena za klasični cijevovod. To mijenja hardverski proračun, opterećenje annotation, i validaciju strategiju.
Primjer na terenu gdje je neskladnost algoritma uzrokovala zamjenu identiteta
U jednoj od osnovnih ustanova na južnoj kineskoj univerzitetu, bili su postavljeni sistemi za praćenje više tenkova. Početna cijev koristio pozadinu oduzimanje i najbliži susjed podudaranje. Tragovi su čisti u ispitivanju na jednoj ribi. U grupnim ispitivanjima, podaci su pokazali nemoguće skokove. Ribe su se teleportirale preko arene i natrag.
Problem je bila razmjena identiteta tijekom prelaza. Tim je dodao Kalmanov filter za predviđanje i zamijenio najbližeg susjeda mađarskim zadatkom. Jednostavna karakteristika izgleda temeljena na obliku repa dodana je u matricu troškova. Teleportacija je prestala. Tragovi su još uvijek trebali ručno pregledati tijekom guste školovanja, ali skup podataka postao je upotrebljiv. Lekcija nije bila da je jedan algoritam uvijek bolji. To je da algoritam mora biti u skladu s društvenim ponašanjem životinja.
Ujednačavanje algoritama s biološkim pitanjem i platforom
Nijedna algoritamska obitelj ne pobjeđuje svugdje. Jednostavan centroidni tragač je dobar za jednu ličinku u 24-držnoj ploči. Tracker za duboko učenje može biti pretjerano za isti test, ali je neophodan za prepun odrasli rezervoar. Pravi izbor ovisi o gustoći ribe, složenosti arene, stabilnosti osvijetljenja i biološkom pitanju.
To također ovisi o platformi. Stabilna kamera, ravnomjerna svjetlost i čista pozadina čine klasične algoritme puno boljim. Neuspešna nosila ili treperenje svjetla tjeraju softver da nadoknadi probleme koji bi trebali biti riješeni mehanički. Točnost praćenja je svojstvo sustava, ne samo softverska značajka.
Hunter Lab (Hunter) proizvodi laboratorijsku opremu za zebrafish s pažnjom na mehaničku i optičku stabilnost od koje zavise algoritmi za praćenje. Proizvodnja i kontrola kvalitete podržavaju dosljednost koju zahtijevaju studije ponašanja više ploča. Za laboratorije koje žele da podaci o praćenju odražavaju biologiju, a ne artefakte cijevi, ta stabilnost je dio temelja.