De ce alegerea algoritmului modelează fiecare set de date privind traiectoria
Un sistem de urmărire a traiectoriilor peștelui-zebră este la fel de bun ca algoritmii care rulează sub cameră. Echipamentul captează pixeli. Software-ul decide ce înseamnă acei pixeli. Două laboratoare pot folosi aceeași cameră, aceeași arenă și aceeași iluminare, dar pot obține seturi de date foarte diferite, deoarece un flux de procesare gestionează corect acoperirea (ocluzia), iar celălalt nu o face. Algoritmii de urmărire se află în centrul acestei diferențe.
Această sarcină se împarte în trei părți. Detectarea identifică peștii din fiecare cadru. Asocierea leagă detecțiile între cadre, astfel încât un pește păstrează aceeași identitate. Netezirea estimează traiectoria reală atunci când detecțiile sunt zgomotoase sau lipsesc. Diferite familii de algoritmi gestionează aceste părți cu ipoteze diferite, iar aceste ipoteze determină ce pot susține datele.
Scăderea fundalului și pragul rămân prima linie de apărare
Majoritatea fluxurilor de lucru încep cu o metodă de separare a peștilor de fundal. Scăderea fundalului construiește un model al arenei goale și marchează pixelii care diferă de acel model. Pragul transformă apoi harta diferențelor într-o mască binară. Operațiunile morfologice elimină golurile mici și pixelii izolați.
Această abordare este rapidă și funcționează bine atunci când fundalul este static și contrastul este satisfăcător. Un pește întunecat pe un fond strălucitor este ușor de detectat. Probleme apar când iluminarea variază, reflexiile se deplasează sau bulele și impuritățile pătrund în cadru. O umbră poate părea un pește. Un pește aflat în apropierea peretelui se poate confunda cu marginea acestuia. Scăderea fundalului întâmpină, de asemenea, dificultăți când peștii se suprapun, deoarece masca devine o singură zonă compactă, nu două.
Urmărirea centrului de greutate și potrivirea prin vecinul cel mai apropiat gestionează arene simple
Odată ce peștii sunt detectați, modul cel mai simplu de a lega cadrele este urmărirea centrului de greutate. Se calculează centrul de greutate al fiecărei zone compacte, iar centrul de greutate cel mai apropiat din cadrul următor este considerat același pește. Potrivirea prin vecinul cel mai apropiat este ușor de implementat și funcționează bine pentru un singur pește sau pentru câțiva pești care rămân la distanță unii de alții.
Modul de defectare este schimbarea identității. Când două pești se intersectează, centrul de masă cel mai apropiat poate aparține greșit unui alt pește. Sistemul de urmărire schimbă identitățile, iar datele traiectoriei devin haotice. Acesta nu este un caz marginal rar. Peștii zebrafish sunt sociali și înotă frecvent foarte aproape unul de celălalt. Un flux de lucru care ignoră persistența identității va genera traiectorii vizual atrăgătoare, dar biologic incorecte.
Filtrul Kalman adaugă predicția mișcării în fluxul de lucru
Un filtru Kalman adaugă un model de mișcare. În loc să presupunem că peștele rămâne nemișcat între cadre, filtrul prezice poziția sa pe baza vitezei anterioare. Această predicție este comparată cu noua detectare, iar estimarea stării este actualizată. Acest proces netezește măsurătorile zgomotoase și ajută atunci când o detectare lipsește pentru unul sau două cadre.
Filtrul Kalman standard presupune o mișcare liniară și zgomot gaussian. Un pește-zebră nu cooperează întotdeauna. El poate vira brusc, face manevre rapide sau rămâne în suspensie. Filtrul Kalman extins și filtrele cu particule relaxează unele dintre aceste ipoteze, dar adaugă complexitate. Beneficiul practic rămâne totuși real. Chiar și un model simplu de viteză constantă reduce zgomotul și îmbunătățește continuitatea urmăririi în ape deschise.
Atribuirea ungară și urmărirea multiobiect mențin identitățile distincte
Algoritmul ungar rezolvă problema atribuirii. Dată fiind o matrice de costuri care evaluează probabilitatea ca fiecare detecție să corespundă fiecărei traiectorii existente, algoritmul găsește potrivirea unu-la-unu care minimizează costul total. Costul poate combina distanța, aspectul și predicția mișcării. Acesta este nucleul metodelor de urmărire multiobiect, cum ar fi SORT și DeepSORT.
-
Prezice poziția fiecărei traiectorii folosind un model de mișcare.
-
Calculează o matrice de costuri între traiectorii și noile detecții.
-
Rezolvă atribuirea folosind algoritmul ungar.
-
Actualizați înregistrările potrivite și tratați detectările nepotrivite ca fiind noi sau pierdute.
DeepSORT adaugă un descriptor de aspect, de obicei o rețea neuronală mică, astfel încât peștii să poată fi reidentificați după ocultare. Acest lucru este util când doi pești se intersectează și apoi se separă. Costul este un consum crescut de calcul și o ajustare mai amplă. Pasul de atribuire este eficient doar în măsura în care este eficientă matricea de costuri, iar o matrice slab ponderată poate totuși genera schimbări de identitate.
| Familie de algoritmi | Rezistența | Slăbiciune | Potrivire optimă |
|---|---|---|---|
| Scăderea fundalului | Rapid, simplu | Sensibil la lumină și la deșeuri | Arenă statică, contrast ridicat |
| Centroid cu cel mai apropiat vecin | Ușor de implementat | Schimbări de identitate | Un singur pește sau densitate scăzută |
| Filtru Kalman | Reducerea zgomotului și predicția | Ipoteza mișcării liniare | Spațiu deschis, viteză moderată |
| Atribuirea ungară | Potrivire optimă unu-la-unu | Reglarea matricei de costuri | Urmărirea mai multor pești |
| Urmăritor bazat pe învățare profundă | Gestionează acoperirea și aparența | Necesită date și o unitate GPU | Scene complexe, variabilitate ridicată |
Trackerele bazate pe învățare profundă îmbunătățesc acuratețea și modifică necesarul de echipamente hardware
Învățarea profundă a pătruns în mod semnificativ în urmărirea peștilor zebră. Detectorii de obiecte, cum ar fi YOLO și Faster R-CNN, pot identifica pești fără scăderea fundalului. Uneltele de estimare a poziției corpului, precum DeepLabCut, pot urmări părțile corpului, nu doar centrul de masă. Rețelele de re-identificare pot compara aparența între cadre. Se folosesc, de asemenea, transformatori și rețele siameze pentru urmărire.
Îmbunătățirile sunt reale în scene aglomerate sau variabile. Costurile sunt, de asemenea, reale. Datele de antrenament trebuie etichetate, adesea cadru cu cadru. Inferența necesită o unitate GPU dacă rata de cadre este ridicată. Modelele antrenate în condiții de iluminare și cu anumite tulpini de pești dintr-un laborator pot să nu se generalizeze în alt laborator. Un tracker bazat pe învățare profundă nu este o înlocuire directă a unei componente clasice. El modifică bugetul hardware, volumul de muncă legat de etichetare și strategia de validare.
Un exemplu din domeniu în care nepotrivirea algoritmului a provocat schimbări de identitate
O instalație de cercetare comportamentală din cadrul unei universități din sudul Chinei folosea un sistem de urmărire cu mai multe rezervoare. Pipelina inițială se baza pe scăderea fundalului și pe potrivirea cu cel mai apropiat vecin. Traiectoriile păreau curate în încercările cu un singur pește. În încercările cu grupuri, datele arătau salturi imposibile. Peștii păreau să se teleporteze prin arenă și apoi înapoi.
Problema consta în schimbarea identității în timpul intersecțiilor. Echipa a adăugat un filtru Kalman pentru predicție și a înlocuit potrivirea cu cel mai apropiat vecin cu atribuirea ungară. S-a adăugat, de asemenea, o caracteristică simplă de aspect bazată pe forma cozii în matricea de costuri. Fenomenul de teleportare a încetat. Totuși, traiectoriile necesitau încă revizuire manuală în cazul formării dense de carduri, dar setul de date a devenit utilizabil. Concluzia nu a fost că un anumit algoritm este întotdeauna mai bun, ci că algoritmul trebuie să corespundă comportamentului social al animalelor.
Potrivirea algoritmilor cu întrebarea biologică și cu configurația experimentală
Nici o familie de algoritmi nu câștigă peste tot. Un tracker simplu bazat pe centroid este potrivit pentru o singură larvă într-o placă cu 24 de godeuri. Un tracker bazat pe învățare profundă ar putea fi excesiv pentru același test, dar esențial pentru un acvariu aglomerat cu pești adulți. Alegerea corectă depinde de densitatea peștilor, complexitatea ariei de testare, stabilitatea iluminării și întrebarea biologică.
Depinde, de asemenea, de echipament. O montură stabilă pentru cameră, o iluminare uniformă și un fundal curat fac algoritmii clasici să funcționeze mult mai bine. O montură instabilă sau o lumină intermitentă obligă software-ul să compenseze probleme care ar fi trebuit rezolvate la nivel mecanic. Precizia urmăririi este o proprietate a întregului sistem, nu doar o caracteristică a software-ului.
Hunter Lab (Hunter) construiește echipamente de laborator pentru pești-zebră, cu accent pe stabilitatea mecanică și optică de care depind algoritmii de urmărire. Activitățile de producție și controlul calității asigură consistența necesară studiilor comportamentale care implică mai multe riguri. Pentru laboratoarele care doresc ca datele de urmărire să reflecte biologia, nu artefactele din fluxul de lucru, această stabilitate reprezintă o parte esențială a fundației.