Hvorfor algoritmevalget former hver enkelt banekurv-datasæt
Et zebrafisk-banekurv-sporede system er kun lige så godt som de algoritmer, der kører under kameraet. Hardwaren registrerer pixelværdier. Softwaren afgør, hvad disse pixelværdier betyder. To laboratorier kan bruge det samme kamera, den samme arena og den samme belysning, men alligevel ende med meget forskellige datasæt, fordi én datapipeline håndterer overlappende objekter effektivt, mens den anden ikke gør det. Sporingsalgoritmer står i centrum af denne forskel.
Jobbet opdeles i tre dele. Detektion finder fiskene i hver frame. Associering forbinder detektioner på tværs af frames, så en fisk beholder samme identitet. Udjævning estimerer den sande bane, når detektioner er støjfyldte eller mangler. Forskellige algoritme-familier håndterer disse dele med forskellige antagelser, og disse antagelser afgør, hvad dataene kan understøtte.
Baggrundssubtraktion og tærskelbaseret segmentering forbliver første linje af forsvar
De fleste pipelines starter med en metode til at adskille fisk fra baggrunden. Baggrundssubtraktion bygger en model af den tomme arena og markerer pixelværdier, der afviger fra denne model. Tærskelbaseret segmentering omdanner derefter differenskortet til en binær maske. Morfologiske operationer rydder op i små huller og tilfældige pixelværdier.
Denne metode er hurtig og fungerer godt, når baggrunden er statisk og kontrasten er tilstrækkelig. En mørk fisk mod en lys arena er nem at registrere. Problemer opstår, når belysningen ændrer sig, refleksioner bevæger sig eller bobler og snavs kommer ind i billedet. En skygge kan ligne en fisk. En fisk tæt på væggen kan blive uskelnelig fra kanten. Baggrundssubtraktion har også problemer, når fisk overlapper hinanden, fordi masken bliver én enkelt blob i stedet for to.
Centroidsporing og nærmeste-nabo-tilpasning håndterer simple akvarier
Når fisk er registreret, er den simpleste måde at forbinde billeder på via centroidsporing. Centroiden for hver blob beregnes, og den nærmeste centroid i det næste billede antages at tilhøre samme fisk. Nærmeste-nabo-tilpasning er nem at implementere og fungerer godt for én enkelt fisk eller få fisk, der holder stor afstand til hinanden.
Fejltilstanden er identitetsskift. Når to fisk krydser veje, kan den nærmeste centroid tilhøre den forkerte fisk. Sporingsprogrammet skifter identiteter, og sporingsdataene bliver uoverskuelige. Dette er ikke en sjælden kanttilfælde. Zebrafisk er sociale og svømmer ofte tæt sammen. En proces, der ignorerer identitetsstabilitet, vil producere smukke udseende spor, som er biologisk forkerte.
Kalman-filtre indfører bevægelsesprediktion i processen
Et Kalman-filter tilføjer en bevægelsesmodel. I stedet for at antage, at fisken står stille mellem billeder, forudsiger filteret, hvor den bør befinde sig ud fra tidligere hastighed. Forudsigelsen sammenlignes med den nye detektering, og tilstandsbedømmelsen opdateres. Dette udjævner støjfyldte målinger og hjælper, når en detektering mangler i én eller to rammer.
Den standardiserede Kalman-filter antager lineær bevægelse og Gaussisk støj. En zebrafisk samarbejder ikke altid. Den kan dreje skarpt, skyde frem eller svæve. Udvidede Kalman-filtre og partikelfiltre afslapper nogle af disse antagelser, men tilføjer kompleksitet. Den praktiske fordel er dog stadig reel. Selv en simpel konstant-hastighedsmodel reducerer ujævnhed og forbedrer sporingens sammenhæng i åbent vand.
Ungarsk tildeling og sporing af flere objekter sikrer klare identiteter
Den ungarske algoritme løser tildelingsproblemet. Givet en omkostningsmatrix, der angiver, hvor sandsynlig hver detektion er for at matche hver eksisterende spor, finder algoritmen den én-til-én-tildeling, der minimerer den samlede omkostning. Omkostningen kan kombinere afstand, udseende og bevægelsesprediktion. Dette er grundstenen i metoder til sporing af flere objekter, såsom SORT og DeepSORT.
-
Forudsig hver spors position ved hjælp af en bevægelsesmodel.
-
Beregn en omkostningsmatrix mellem spor og nye detektioner.
-
Løs tildelingen med den ungarske algoritme.
-
Opdater matchede spor og håndter umatchede detekteringer som nye eller mistede.
DeepSORT tilføjer en udseendebeskrivelse, ofte et lille neuralt netværk, så fisk kan genidentificeres efter occlusion. Det hjælper, når to fisk krydser hinanden og derefter adskilles. Ulempen er øget beregningsbyrde og mere justering. Tildelingsprocessen er kun lige så god som omkostningsmatricen, og en dårligt vægtet matrix kan stadig føre til identitetsbytninger.
| Algoritmefamilie | Styrke | Svaghed | Bedste løsning |
|---|---|---|---|
| Baggrundssubtraktion | Hurtig og simpel | Følsom over for lys og snavs | Statisch arena med høj kontrast |
| Centroid med nærmeste nabo | Let at implementere | Identitetsbytninger | Enkelt fisk eller lav tæthed |
| Kalman-filter | Reducerer støj og laver forudsigelser | Antagelse om lineær bevægelse | Åbent område, moderat hastighed |
| Ungarsk tildeling | Optimal én-til-én-tilordning | Tuning af omkostningsmatrix | Sporing af flere fisk |
| Deep-learning-sporing | Håndterer occlusion og udseende | Kræver data og GPU | Komplekse scener, høj variabilitet |
Deep learning-trackere øger nøjagtigheden og ændrer hardwarekravene
Deep learning er kommet kraftigt ind i zebrafisk-tracking. Objektdetektorer som YOLO og Faster R-CNN kan finde fisk uden baggrundssubtraktion. Værktøjer til poseestimering som DeepLabCut kan tracke kropsdelen, ikke kun centrum. Re-identifikationsnetværk kan sammenligne udseende på tværs af billeder. Transformers og Siamese-netværk bruges også til tracking.
Forbedringerne er reelle i overfyldte eller variable scener. Omkostningerne er også reelle. Træningsdata skal annoteres, ofte billede for billede. Inferens kræver en GPU, hvis billedfrekvensen er høj. Modeller trænet på én labs belysning og fiskestamme kan muligvis ikke generalisere til en anden. En deep learning-tracker er ikke en direkte erstatning for en klassisk pipeline. Den ændrer hardwarebudgettet, annoteringsarbejdsbyrden og valideringsstrategien.
Et felt-eksempel, hvor algoritmefejl forårsagede identitetsbytninger
En adfærdsmæssig kernefacilitet på et universitet i det sydlige Kina kørte en multi-tank-sporingopsætning. Den oprindelige pipeline brugte baggrundssubtraktion og tildeling ved nærmeste nabo. Sporene så rene ud i forsøg med én fisk. I gruppeforsøg viste dataene umulige spring. Fiskene så ud til at teleportere sig tværs over arenaen og derefter tilbage.
Problemet var identitetsbytning under krydsninger. Holdet tilføjede et Kalman-filter til forudsigelse og erstattede tildeling ved nærmeste nabo med ungarisk tildeling. En simpel udseendesegner baseret på haleform blev tilføjet til omkostningsmatricen. Teleporteringen ophørte. Sporene krævede stadig manuel gennemgang under tætte skoler, men datasættet blev brugbart. Læren var ikke, at én algoritme altid er bedre. Den var, at algoritmen skal matche dyrenes sociale adfærd.
At matche algoritmer til den biologiske problemstilling og udstyret
Ingen enkelt algoritmefamilie vinder overalt. En simpel centroidsporer er fint egnet til én enkelt larve i en 24-brøndplade. En dyb-læringssporer kan være overdreven for samme assay, men er afgørende for en overfyldt voksenakvarietank. Den rigtige valgmulighed afhænger af fisketætheden, arenaens kompleksitet, belysningens stabilitet og det biologiske spørgsmål.
Det afhænger også af udstyret. En stabil kameramontage, jævn belysning og en ren baggrund gør klassiske algoritmer langt mere effektive. En usikker montage eller flimrende belysning tvinger softwaren til at kompensere for problemer, som burde være løst mekanisk. Sporingspræcision er en systemegenskab, ikke blot en softwarefunktion.
Hunter Lab (Hunter) udvikler laboratorieudstyr til zebrafisk med fokus på mekanisk og optisk stabilitet, hvilket er afgørende for sporingalgoritmer. Produktionen og kvalitetskontrollen sikrer den konsekvens, som adfærdsmæssige studier med flere anlæg kræver. For laboratorier, der ønsker, at sporedata afspejler biologi frem for pipeline-artefakter, udgør denne stabilitet en del af grundlaget.