Hvorfor valg av algoritme former hver enkelt banedatasett
Et zebrafiskbanespore-system er bare like bra som algoritmene som kjører under kameraet. Maskinvaren fanger opp piksler. Programvaren bestemmer hva disse pikslene betyr. To laboratorier kan bruke samme kamera, samme arena og samme belysning, men likevel ende opp med veldig ulike datasett fordi én prosesseringssløyfe håndterer overlapp godt, mens den andre ikke gjør det. Sporingsalgoritmer ligger i sentrum av denne forskjellen.
Oppgaven deles opp i tre deler. Deteksjon finner fisken i hver ramme. Assosiasjon kobler sammen deteksjoner mellom rammene, slik at en fisk beholder samme identitet. Glattning estimerer den sanne banen når deteksjoner er støyete eller mangler. Forskjellige algoritme-familier håndterer disse delene med ulike antakelser, og disse antakelsene avgjør hva dataene kan støtte.
Bakgrunnsfratrekk og terskling forblir første linje i forsvar
De fleste rørledninger starter med en metode for å skille fisk fra bakgrunnen. Bakgrunnsfratrekk bygger en modell av den tomme arenaen og markerer piksler som avviker fra denne modellen. Terskling konverterer deretter differansekartet til en binær maske. Morfologiske operasjoner fjerner små hull og tilfeldige piksler.
Denne metoden er rask og fungerer godt når bakgrunnen er statisk og kontrasten er bra. En mørk fisk mot en lys arena er lett. Problemer oppstår når belysningen endrer seg, refleksjoner beveger seg eller bobler og søppel kommer inn i bildet. En skygge kan se ut som en fisk. En fisk nær veggen kan smelte sammen med kanten. Bakgrunnsfradrag har også problemer når fisk overlapper, fordi masken blir én klump istedenfor to.
Sentroidsporing og nærmeste-nabo-tilordning håndterer enkle arenaer
Når fisk er oppdaget, er den enkleste måten å koble sammen bilder sentroidsporing. Sentroiden til hver klump beregnes, og den nærmeste sentroiden i neste bilde antas å være den samme fisken. Nærmeste-nabo-tilordning er enkel å implementere og fungerer godt for én fisk eller noen få fisk som holder seg langt fra hverandre.
Feilmodusen er identitetsbytte. Når to fisk krysser hverandre, kan den nærmeste sentroiden tilhøre den feilaktige fisken. Sporingsprogrammet bytter da identiteter, og sporingdataene blir uoversiktelige. Dette er ikke en sjelden kanttilfelle. Zebrafisk er sosiale og svømmer ofte tett sammen. En prosessør som ignorerer identitetskontinuitet vil produsere vakre sporinger som er biologisk feilaktige.
Kalman-filter inkluderer bevegelsesprediksjon i prosessen
Et Kalman-filter legger til en bevegelsesmodell. I stedet for å anta at fisken står stille mellom bildene, predikerer filteret hvor den bør være basert på tidligere hastighet. Prediksjonen sammenlignes med den nye deteksjonen, og tilstandsanslaget oppdateres. Dette utjevner støyende målinger og hjelper når det mangler en deteksjon i én eller to bilder.
Den standardiserte Kalman-filteret antar lineær bevegelse og gaussisk støy. En zebrabasse samarbeider ikke alltid. Den kan snu brått, sprette eller sveve. Utvidede Kalman-filtere og partikkel-filtere slapper opp noen av disse antakelsene, men de legger til kompleksitet. Den praktiske fordelen er likevel reell. Selv en enkel konstant-fart-modell reduserer vibrasjoner og forbedrer sporingens kontinuitet i åpent vann.
Ungarsk tildeling og sporing av flere objekter holder identitetene klare.
Det ungarske algoritmen løser tildelingsproblemet. Gitt en kostnadsmatrise som rangerer hvor sannsynlig hver deteksjon er for å matche hver eksisterende spor, finner algoritmen den én-til-én-tilordningen som minimerer den totale kostnaden. Kostnaden kan kombinere avstand, utseende og bevegelsesprediksjon. Dette er grunnlaget for metoder for sporing av flere objekter, som SORT og DeepSORT.
-
Prediker hver spors posisjon ved hjelp av en bevegelsesmodell.
-
Beregn en kostnadsmatrise mellom spor og nye deteksjoner.
-
Løs tildelingen med det ungarske algoritmen.
-
Oppdater matchede spor og behandle umatchede deteksjoner som nye eller tapte.
DeepSORT legger til en utseendebeskrivelse, ofte et lite nevralnettverk, slik at fisk kan gjenidentifiseres etter skjulning. Dette hjelper når to fisk krysser hverandre og deretter skiller seg. Kostnaden er økt beregningskraft og mer finjustering. Tilordningssteget er bare like bra som kostnadsmatrisen, og en dårlig vektet matrise kan fremdeles føre til identitetsbytter.
| Algoritmefamilie | Styrke | Svakhet | Beste valg |
|---|---|---|---|
| Bakgrunnsfratrekk | Hurtig og enkel | Følsom for lys og søppel | Statiske områder, høy kontrast |
| Sentroid med nærmeste nabo | Enkel å implementere | Identitetsbytter | Enkelt fisk eller lav tetthet |
| Kalman-filter | Smootherer støy og predikerer | Antakelse om lineær bevegelse | Åpen felt, moderat hastighet |
| Ungarsk tildeling | Optimal én-til-én-tilordning | Tuning av kostnadsmatrise | Sporing av flere fisk |
| Dyp-læring-sporer | Håndterer overlapp og utseende | Krever data og GPU | Komplekse scener, høy variabilitet |
Dype læringsbaserte sporingssystemer øker nøyaktigheten og endrer maskinvarekravene
Dype læringsbaserte metoder har fått stor innflytelse på sporing av zebrafisk. Objektgjenkjenningssystemer som YOLO og Faster R-CNN kan finne fisk uten bakgrunnsfjerning. Verktøy for poseestimering som DeepLabCut kan spore kroppsdeler, ikke bare sentroider. Gjenidentifiseringsnettverk kan sammenligne utseende mellom bilder. Transformer- og Siamesiske nettverk brukes også til sporing.
Forbedringene er reelle i overfylte eller variable scener. Men kostnadene er også reelle. Treningdata må merkes, ofte bilde for bilde. Inferens krever en GPU hvis bildefrekvensen er høy. Modeller trent på én labs belysning og fiskestamme kan ikke nødvendigvis generaliseres til en annen. Et dype læringsbasert sporingssystem er ikke en direkte erstatning for en klassisk behandlingspipelinje. Det endrer både maskinvarebudsjettet, arbeidsmengden for merking og valideringsstrategien.
Et felt-eksempel der algoritmefeil førte til identitetsbytting
En atferdsbasert forskningsfasilitet ved et universitet i sørlig Kina kjørte et fler-tank-sporingssystem. Den opprinnelige analysen brukte bakgrunnsfradrag og nærmeste-nabo-tilordning. Sporene så rene ut i forsøk med én fisk. I gruppeforsøk viste dataene umulige hopp. Fiskene så ut til å teleportere seg over arenaen og deretter tilbake.
Problemet var identitetsbytte under krysninger. Laget la til et Kalman-filter for prediksjon og erstattet nærmeste-nabo-tilordningen med ungarsk tilordning. En enkel utseendefeature basert på halens form ble lagt til i kostnadsmatrisen. Teleporteringen stoppet. Sporene måtte fortsatt gjennomgås manuelt under tette skoleforsøk, men datasettet ble bruksdyktig. Læren var ikke at ett enkelt algoritme alltid er bedre. Det var at algoritmen må tilpasses den sosiale atferden til dyrene.
Å tilpasse algoritmer til den biologiske problemstillingen og utstyret
Ingen enkelt algoritme-familie vinner overalt. En enkel sentroidsporer fungerer fint for én enkelt larve i en 24-brønnplate. En dyp-læringssporer kan være unødvendig komplisert for akkurat den samme analysen, men er avgjørende for et overfylt akvarium med voksne fisk. Det riktige valget avhenger av fisketetthet, arenaens kompleksitet, stabiliteten i belysningen og det biologiske spørsmålet.
Det avhenger også av utstyret. En stabil kameramontasje, jevn belysning og en ren bakgrunn gjør at klassiske algoritmer fungerer mye bedre. En ustabilt montert kamera eller flimrende lys tvinger programvaren til å kompensere for problemer som burde vært løst mekanisk. Sporingsnøyaktighet er en systemegenskap, ikke bare en programvarefunksjon.
Hunter Lab (Hunter) bygger laboratorieutstyr for zebrafisk med fokus på mekanisk og optisk stabilitet, som sporingalgoritmer er avhengige av. Produksjons- og kvalitetskontrollprosessen støtter konsekvensen som atferdsstudier med flere anlegg krever. For laboratorier som ønsker at spordata skal gjenspeile biologi i stedet for rørledningsartefakter, utgjør denne stabiliteten en del av grunnlaget.