Miért formálja az algoritmusválasztás minden egyes pálya-adatkészletet
Egy zebrafish-pálya-nyomon követési rendszer annyira jó, amennyire jók az alatta futó algoritmusok. A hardver pixeleket rögzít. A szoftver dönti el, mit jelentenek azok a pixelek. Két labor ugyanazt a kamerát, ugyanazt az arénát és ugyanazt a megvilágítást használhatja, mégis nagyon eltérő adatkészleteket kap, mert az egyik folyamat jól kezeli az elfedést, a másik viszont nem. A nyomon követési algoritmusok e különbség középpontjában állnak.
A feladat három részre bomlik. Az észlelés megtalálja a halakat minden képkockában. Az azonosítás összeköti az észleléseket a képkockák között úgy, hogy egy hal ugyanazt az azonosságot őrzi meg. A simítás becsüli a valódi pályát, amikor az észlelések zajosak vagy hiányoznak. Különböző algoritmus-családok kezelik ezeket a részeket különböző feltételezések alapján, és ezek a feltételezések határozzák meg, mire képes az adat.
A háttérkivonás és a küszöbölés továbbra is az első védelmi vonal
A legtöbb feldolgozási folyamat egy módszerrel kezdődik, amely elkülöníti a halakat a háttértől. A háttérkivonás egy modellt épít a üres arénáról, és megjelöli azokat a képpontokat, amelyek eltérnek ettől a modelltől. A küszöbölés ezután a különbségképet bináris maszká alakítja. A morfológiai műveletek eltávolítják a kis lyukakat és a szórt képpontokat.
Ez a módszer gyors, és jól működik, ha a háttér statikus, és az ellentét megfelelő. Egy sötét hal egy világos arénában könnyen felismerhető. Problémák akkor merülnek fel, amikor a megvilágítás ingadozik, a visszaverődések elmozdulnak, vagy buborékok és szennyeződések kerülnek a képbe. Egy árnyék halra hasonlít. Egy fal közelében úszó hal összeolvadhat a széllel. A háttérkivonás akkor is nehézségekbe ütközik, ha a halak átfedik egymást, mert a maszk egyetlen foltként jelenik meg két helyett.
A súlypont-követés és a legközelebbi szomszédhoz párosítás egyszerű arénák esetén működik
Miután a halakat észleltük, a képkockák összekapcsolásának legegyszerűbb módja a súlypont-követés. Minden folt súlypontját kiszámítják, és a következő képkockában a legközelebbi súlypontot ugyanannak a halnak tekintik. A legközelebbi szomszédhoz párosítás egyszerűen megvalósítható, és jól működik egyetlen hal esetén, illetve néhány hal esetén is, ha azok távol maradnak egymástól.
A hibamód az azonosságcsere. Amikor két hal keresztezi egymás útját, a legközelebbi súlypont esetleg a rossz halhoz tartozik. A nyomkövető azonosságokat cserél, és a pályaadatok összezavarodnak. Ez nem ritka szélsőséges eset. A zebrahalak társasak, és gyakran egymás közelében úsznak. Egy olyan feldolgozási folyamat, amely figyelmen kívül hagyja az azonosság megőrzését, szépen kinéző, de biológiailag helytelen nyomvonalakat eredményez.
A Kalman-szűrők mozgás-előrejelzést vezetnek be a feldolgozási folyamatba
Egy Kalman-szűrő mozgásmodellet ad hozzá. Ahelyett, hogy feltételezné, a hal mozdulatlan marad a képkockák között, a szűrő az előző sebesség alapján előrejelezi, hol kellene lennie. Az előrejelzést összehasonlítják az új észleléssel, és frissítik az állapotbecslést. Ez simítja a zajos méréseket, és segít akkor is, ha egy vagy két képkocka hiányzik az észlelésből.
A szokásos Kalman-szűrő lineáris mozgást és Gauss-zajt tételez fel. Egy zebrahal nem mindig együttműködik. Éles fordulatot tehet, hirtelen elvillanhat vagy lebeghet. A kiterjesztett Kalman-szűrők és a részecskeszűrők enyhítják ezeket a feltételezéseket, de további bonyolultságot is hoznak magukkal. A gyakorlati előny mégis valós. Még egy egyszerű állandó sebességmodell is csökkenti a rezgést és javítja a nyomvonal-folytonosságot nyílt vízben.
A magyar módszer szerinti hozzárendelés és a többtárgy-nyomon követés biztosítja az azonosságok megkülönböztethetőségét
A magyar algoritmus megoldja a hozzárendelési problémát. Adott egy költségmátrix, amely értékeli, milyen valószínű, hogy az egyes észlelések illeszkednek az egyes meglévő nyomvonalakra; az algoritmus megtalálja azt az egy-egy hozzárendelést, amely minimalizálja az összköltséget. A költség kombinálhatja a távolságot, a megjelenést és a mozgás-előrejelzést. Ez a SORT és a DeepSORT típusú többtárgy-nyomon követési módszerek alapja.
-
Minden nyomvonal pozíciójának előrejelzése egy mozgásmodell segítségével.
-
Költségmátrix kiszámítása a nyomvonalak és az új észlelések között.
-
A hozzárendelési feladat megoldása a magyar algoritmussal.
-
Frissítse a megfelelő nyomokat, és kezelje a nem egyező észleléseket új vagy elveszett objektumként.
A DeepSORT hozzáad egy megjelenés-leíró modult, gyakran egy kis neurális hálózatot, így a halakat újraazonosíthatják elrejtés után. Ez segít akkor, amikor két hal keresztezi egymást, majd szétválik. A költség a nagyobb számítási igény és a finomhangolás növekedése. A hozzárendelési lépés minősége csak annyira jó, amennyire jó a költségmátrix, és egy rosszul súlyozott mátrix továbbra is azonosság-cseréket eredményezhet.
| Algoritmuscsalád | Szilárdságot | Gyengeség | Legjobb választás |
|---|---|---|---|
| Háttér-elválasztás | Gyors, egyszerű | Érzékeny a fényre és a szennyeződésekre | Statikus környezet, magas kontraszt |
| Centroid legközelebbi szomszéd módszerrel | Könnyen implementálható | Azonosság-cserék | Egyetlen hal vagy alacsony sűrűség |
| Kalman-szűrő | Csökkenti a zajt és előrejelzi | Lineáris mozgás feltételezése | Nyílt terep, mérsékelt sebesség |
| Magyar hozzárendelés | Optimális egy-a-egyhez párosítás | Költségmátrix hangolása | Több hal nyomon követése |
| Mélytanulási nyomon követő | Kezeli az eltakaródást és a megjelenést | Adatokra és GPU-ra van szükség | Összetett jelenetek, magas változékonyság |
A mélytanulási nyomkövetők növelik a pontosságot, és megváltoztatják a hardverigényt
A mélytanulás nagy léptékben bevonult a zebrahalak nyomkövetésébe. Az objektumfelismerő modellek – például a YOLO és a Faster R-CNN – képesek halakat felismerni háttérkivonás nélkül. A testhelyzet-becslési eszközök – mint a DeepLabCut – nemcsak a súlypontot, hanem a testrészeket is nyomon követik. Az újra-azonosítási hálózatok összehasonlíthatják a megjelenést kockáról kockára. A transzformerek és a sziméz hálózatok is alkalmazásra kerülnek nyomkövetésre.
A nyereségek valósak zsúfolt vagy változékony jelenetekben. A költségek is valósak. A tanítóadatokat címkézni kell, gyakran kockánként. A következtetéshez GPU szükséges, ha a képkockasebesség magas. Az egyik labor világítására és halfajtájára betanított modellek nem feltétlenül általánosíthatók más laborokra. Egy mélytanulási nyomkövető nem közvetlenül behelyezhető helyettesítés egy klasszikus folyamatra. Megváltoztatja a hardverkeretet, a megjegyzési munkaterhelést és az érvényesítési stratégiát.
Egy mezőpélda, ahol az algoritmus-eltérés azonosságcseréket okozott
Egy viselkedéskutató központ egy délkínai egyetemen több akváriumban futtatott nyomon követési kísérletet. A kezdeti feldolgozási folyamat hátteret kivonó és legközelebbi szomszédokat összekötő módszert alkalmazott. Az egy halra végzett próbák során a nyomon követési adatok tiszták voltak. Csoportos kísérletek esetén azonban az adatok lehetetlen ugrásokat mutattak. A halak úgy tűntek, mintha átteleportálnának az akváriumban, majd vissza.
A probléma a kereszteződések során fellépő azonosságcsere volt. A csapat egy Kalman-szűrőt vezetett be az előrejelzéshez, és a legközelebbi szomszédokat összekötő módszert a magyar módszerrel helyettesítette. Egy egyszerű megjelenésalapú jellemzőt – a farok alakján alapuló – adtak hozzá a költségmátrixhoz. A teleportálás megszűnt. A sűrűn csoportosuló halak esetében továbbra is szükség volt manuális ellenőrzésre, de az adathalmaz már felhasználhatóvá vált. A tanulság nem az volt, hogy egy adott algoritmus mindig jobb. Hanem az, hogy az algoritmusnak illeszkednie kell az állatok társas viselkedéséhez.
Az algoritmusok illesztése a biológiai kérdéshez és a berendezéshez
Egyetlen algoritmus-család sem nyer mindenütt. Egy egyszerű centrumszámító követő megfelelő egyetlen lárvához egy 24-es lyukas lemezben. Ugyanazt a vizsgálatot végző mélytanulási követő túlzott lehet, de elengedhetetlen egy zsúfolt felnőtt akváriumban. A megfelelő választás függ a halak sűrűségétől, az akvárium bonyolultságától, a megvilágítás stabilitásától és a biológiai kérdéstől.
A választás függ a berendezéstől is. Egy stabil kameratartó, egyenletes megvilágítás és egy tiszta háttér lényegesen javítja a klasszikus algoritmusok működését. Egy rezgő tartó vagy villogó fény kényszeríti a szoftvert, hogy olyan problémákat kompenzáljon, amelyeket mechanikailag kellett volna megoldani. A követés pontossága egy rendszertulajdonság, nem csupán egy szoftverfunkció.
A Hunter Lab (Hunter) cég a zebrahalak laboratóriumi felszerelését gyártja, különös figyelmet fordítva a mechanikai és optikai stabilitásra, amelyre a nyomon követési algoritmusok támaszkodnak. A gyártási és minőségellenőrzési folyamatok támogatják azt az egyenletességet, amelyet a többszörös berendezést használó viselkedési vizsgálatok igényelnek. Azoknak a laboroknak, amelyek nyomon követési adataikat a biológiára, nem pedig a feldolgozási folyamatok hibáira szeretnék alapozni, ez a stabilitás az alapvető feltétel.