Varför val av algoritm formar varje banadatauppsättning
Ett zebrafiskbanespårningssystem är bara lika bra som de algoritmer som kör under kameran. Hårdvaran fångar pixlar. Programvaran bestämmer vad dessa pixlar betyder. Två laboratorier kan använda samma kamera, samma arena och samma belysning, men ändå få mycket olika datauppsättningar eftersom en pipeline hanterar ocklusioner väl medan den andra inte gör det. Spårningsalgoritmer ligger i centrum av den skillnaden.
Uppgiften delas upp i tre delar. Detektering hittar fiskarna i varje bildruta. Associering kopplar ihop detekteringar mellan bildrutorna så att en fisk behåller samma identitet. Jämnning uppskattar den verkliga banan när detekteringar är brusiga eller saknas. Olika algoritmfamiljer hanterar dessa delar med olika antaganden, och dessa antaganden avgör vad datan kan stödja.
Bakgrundsutdragning och tröskling förblir första försvarslinjen
De flesta pipelines börjar med ett sätt att separera fiskar från bakgrunden. Bakgrundsutdragning bygger en modell av den tomma arenan och markerar pixlar som skiljer sig från den modellen. Tröskling omvandlar sedan skillnadskartan till en binär mask. Morfologiska operationer rengör små hål och ensamma pixlar.
Detta tillvägagångssätt är snabbt och fungerar bra när bakgrunden är statisk och kontrasten är god. En mörk fisk mot en ljus arena är lätt. Problem uppstår när belysningen förändras, speglar rör sig eller bubblor och smuts kommer in i bildramen. En skugga kan se ut som en fisk. En fisk nära väggen kan smälta samman med kanten. Bakgrundssubtraktion har också svårt att hantera överlappande fiskar, eftersom masken blir en enda fläck istället för två.
Centroidspårning och matchning av närmaste granne hanterar enkla arenor
När fiskar har upptäckts är det enklaste sättet att koppla samman bildrutor centroidspårning. Centroiden för varje fläck beräknas, och den närmaste centroiden i nästa bildruta antas vara samma fisk. Matchning av närmaste granne är lätt att implementera och fungerar bra för en enda fisk eller ett fåtal fiskar som håller sig långt ifrån varandra.
Felmodellen är identitetsbyte. När två fiskar korsar varandra kan den närmaste centroiden tillhöra fel fisk. Spåraren byter då identiteter, och spårdata blir en röra. Detta är inte ett sällsynt specialfall. Zebrafiskar är sociala och simmar ofta nära varandra. En pipeline som ignorerar identitetsbeständighet genererar vackra spår som biologiskt sett är felaktiga.
Kalmanfilter inför rörelseprediktion i pipelinen
Ett Kalmanfilter lägger till en rörelsemodell. Istället för att anta att fisken stannar stilla mellan bildrutorna predikterar filtret var den borde befinna sig utifrån tidigare hastighet. Prediktionen jämförs med den nya identifieringen, och tillståndsskattningen uppdateras. Detta slätar ut brusiga mätningar och hjälper när en identifiering saknas under en eller två bildrutor.
Den standardmässiga Kalmanfiltermodellen antar linjär rörelse och Gaussiskt brus. En zebrafisk samarbetar inte alltid. Den kan vända skarpt, snabba iväg eller sväva. Utökade Kalmanfilter och partikelfilter mildrar vissa av dessa antaganden, men de ökar komplexiteten. Den praktiska fördelen är dock fortfarande verklig. Även en enkel konstant hastighetsmodell minskar darrning och förbättrar spårkontinuitet i öppet vatten.
Ungersk tilldelning och spårning av flera objekt säkerställer korrekt identitetshållning
Den ungerska algoritmen löser tilldelningsproblemet. Givet en kostnadsmatris som anger hur troligt det är att varje identifiering motsvarar varje befintligt spår hittar algoritmen den unika ett-till-ett-tilldelningen som minimerar den totala kostnaden. Kostnaden kan kombinera avstånd, utseende och rörelseförutsägelse. Detta är grunden för metoder för spårning av flera objekt, såsom SORT och DeepSORT.
-
Förutsäg varje spårs position med hjälp av en rörelsemodell.
-
Beräkna en kostnadsmatris mellan spår och nya identifieringar.
-
Lös tilldelningsproblemet med den ungerska algoritmen.
-
Uppdatera matchade spår och hantera omatchade identifieringar som nya eller förlorade.
DeepSORT lägger till en utseendsbeskrivning, ofta ett litet neuralt nätverk, så att fisk kan återidentifieras efter avskärmning. Det hjälper när två fiskar korsar varandra och sedan separerar. Kostnaden är större beräkningsanvändning och mer justering. Tilldelningssteget är bara lika bra som kostnadsmatrisen, och en dåligt viktad matris kan fortfarande ge identitetsbyten.
| Algoritm-familj | Styrka | Svaghet | Bäst lämpat |
|---|---|---|---|
| Bakgrundsutdragning | Snabb, enkel | Känslig för ljus och smuts | Statisk arena, hög kontrast |
| Centroid med närmaste granne | Lätt att implementera | Identitetsbyten | Enskild fisk eller låg täthet |
| Kalmanfilter | Släta bort brus och göra förutsägelser | Antagande om linjär rörelse | Öppen yta, måttlig hastighet |
| Ungersk tilldelning | Optimal en-till-en-matchning | Justering av kostnadsmatris | Spårning av flera fiskar |
| Djupinlärningsbaserad spårare | Hanterar täckning och utseende | Kräver data och GPU | Komplexa scener, hög variabilitet |
Djupinlärningsbaserade spårare ökar noggrannheten och förändrar hårdvarukraven
Djupinlärning har tagit stort fäste inom zebrafiskspårning. Objektdetektorer som YOLO och Faster R-CNN kan identifiera fiskar utan bakgrundsdräkning. Verktyg för poseuppskattning som DeepLabCut kan spåra kroppsdelar, inte bara centroider. Återidentifieringsnätverk kan jämföra utseende mellan bildrutor. Transformer och siamesiska nätverk används också för spårning.
Fördelarna är verkliga i trängda eller varierande scener. Kostnaderna är också verkliga. Träningsdata måste märkas, ofta bildruta för bildruta. Slutsatsdragning kräver en GPU om bildfrekvensen är hög. Modeller som tränats på en laboratoriegrupps belysning och fiskstam kan ha svårt att generalisera till en annan. En djupinlärningsbaserad spårare är inte ett direkt utbytbar ersättning för en klassisk pipeline. Den förändrar hårdvarubudgeten, märkningsarbetsbelastningen och valideringsstrategin.
Ett fältexempel där algoritmmissmatch orsakade identitetsväxlingar
En beteendemässig kärnanläggning vid ett universitet i södra Kina körde en fler-tankspårningsuppsättning. Den ursprungliga datapipeline:n använde bakgrundsutdragning och matchning av närmaste granne. Spåren såg ren ut vid tester med en enda fisk. Vid grupptester visade datan omöjliga hopp. Fiskar verkade teleportera sig tvärs över arenan och sedan tillbaka.
Problemet var identitetsbyte vid korsningar. Laget lade till ett Kalman-filter för förutsägelse och ersatte matchning av närmaste granne med ungersk tilldelning. En enkel utseendsbaserad egenskap, baserad på svansformen, lades till i kostnadsmatrisen. Teleporteringen upphörde. Spåren krävde fortfarande manuell granskning vid tät stimning, men datasatsen blev användbar. Lärdomen var inte att en viss algoritm alltid är bättre. Den var att algoritmen måste anpassas till djurens sociala beteende.
Att anpassa algoritmer till den biologiska frågan och utrustningen
Ingen enskild algoritmfamilj vinner överallt. En enkel centroidspårare fungerar bra för en enda larv i en 24-brunnspanna. En djupinlärningsspårare kan vara överdriven för samma analys men nödvändig för en fullpackad akvarium med vuxna fiskar. Rätt val beror på fiskdensiteten, arenans komplexitet, belysningens stabilitet och den biologiska frågan.
Det beror också på utrustningen. En stabil kamerahållare, jämn belysning och en ren bakgrund gör att klassiska algoritmer fungerar mycket bättre. En skakig hållare eller blinkande belysning tvingar programvaran att kompensera för problem som borde ha lösts mekaniskt. Spårningsnoggrannheten är en systemegenskap, inte bara en programfunktion.
Hunter Lab (Hunter) tillverkar laboratorieutrustning för zebrafiskar med fokus på mekanisk och optisk stabilitet – egenskaper som spårningsalgoritmer är beroende av. Tillverknings- och kvalitetskontrollprocessen stödjer den konsekvens som beteendestudier med flera anläggningar kräver. För laboratorier som vill att spårningsdata ska återspegla biologin snarare än pipeline-artefakter utgör denna stabilitet en del av grunden.