Prečo voľba algoritmu ovplyvňuje každú množinu dát o trajektórii
Systém sledovania trajektórií zebrafish je tak dobrý, ako sú algoritmy, ktoré bežia pod kamerou. Hardvér zachytáva pixely. Softvér rozhoduje, čo tieto pixely znamenajú. Dve laboratória môžu používať rovnakú kameru, rovnakú arénu a rovnaké osvetlenie, avšak napriek tomu získať veľmi odlišné množiny dát, pretože jeden postup dobre rieši zakrytie a druhý nie. Sledovacie algoritmy sú v strede tohto rozdielu.
Úloha sa rozdeľuje na tri časti. Detekcia nájde ryby v každom snímku. Asociácia prepojí detekcie cez jednotlivé snímky tak, aby ryba zachovala rovnakú identitu. Vyhladenie odhadne skutočnú dráhu v prípadoch, keď sú detekcie šumové alebo chýbajú. Rôzne rodiny algoritmov riešia tieto časti za predpokladu rôznych predpokladov, a práve tieto predpoklady určujú, aké údaje môžu byť podporované.
Odčítanie pozadia a prahovanie stále predstavujú prvú obrannú líniu
Väčšina postupov začína metódou oddelenia rýb od pozadia. Odčítanie pozadia vytvorí model prázdneho priestoru a označí pixely, ktoré sa od tohto modelu líšia. Prahovanie potom premení mapu rozdielov na binárnu masku. Morfologické operácie odstránia malé diery a izolované pixely.
Tento prístup je rýchly a dobre funguje, keď je pozadie statické a kontrast primeraný. Tmavá ryba na jasnom pozadí je ľahká na rozpoznanie. Problémy vznikajú, keď sa mení osvetlenie, pohybujú sa odrazy alebo do snímky vniknú bubliny a nečistoty. Tieň môže vyzerať ako ryba. Ryba pri stene sa môže zlúčiť s okrajom. Odčítanie pozadia tiež zlyháva, keď sa ryby prekrývajú, pretože maska sa stane jedným útvarom namiesto dvoch.
Sledovanie ťažiska a priradenie najbližších susedov spravujú jednoduché akváriá
Keď sú ryby detegované, najjednoduchší spôsob, ako prepojiť snímky, je sledovanie ťažiska. Vypočíta sa ťažisko každého útvaru a v ďalšej snímke sa predpokladá, že najbližšie ťažisko patrí tej istej rybe. Priradenie najbližších susedov je jednoduché na implementáciu a dobre funguje pre jednu rybu alebo niekoľko ryb, ktoré sa navzájom držia vo vzdialenosti.
Režim poruchy je výmena identít. Keď sa dve ryby stretávajú, najbližší ťažiskový bod môže patriť nesprávnej rybe. Sledovací systém vymení identity a trajektórie sa stávajú neprehľadnými. Toto nie je zriedkavý okrajový prípad. Danio rerio sú sociálne a často plávajú veľmi blízko seba. Spracovacia rúra, ktorá ignoruje trvalosť identity, vytvorí vizuálne atraktívne sledovacie trajektórie, ktoré však z biologického hľadiska nie sú správne.
Kalmanove filtre zavádzajú do spracovacej rúry predikciu pohybu
Kalmanov filter pridáva model pohybu. Namiesto predpokladu, že ryba medzi snímkami zostáva na mieste, filter predpovedá jej polohu na základe predchádzajúcej rýchlosti. Táto predikcia sa porovnáva s novým zistením a odhad stavu sa aktualizuje. Tým sa vyhladia šumové merania a zlepší sa správanie v prípadoch, keď chýba zistenie počas jednej alebo dvoch snímkov.
Štandardný Kalmanov filter predpokladá lineárny pohyb a Gaussovský šum. Zebrafish sa neprejavuje vždy spoluprácou. Môže ostrým obratom zmeniť smer, rýchlo sa pohybovať alebo sa vznášať. Rozšírené Kalmanove filtre a časticové filtre mierne uvoľňujú niektoré z týchto predpokladov, avšak pridávajú zložitosť. Praktická výhoda je však stále reálna. Dokonca aj jednoduchý model konštantnej rýchlosti zníži trhanie a zlepší spojitosť sledovania vo voľnom vode.
Maďarské priradenie a sledovanie viacerých objektov zachovávajú jednoznačné identity.
Maďarský algoritmus rieši úlohu priradenia. Ak je daná matica nákladov, ktorá hodnotí pravdepodobnosť, že každé zistenie zodpovedá každému existujúcemu sledu, algoritmus nájde jednoznačné priradenie, ktoré minimalizuje celkové náklady. Náklady môžu kombinovať vzdialenosť, vzhľad a predikciu pohybu. Toto je základ metód sledovania viacerých objektov, ako sú SORT a DeepSORT.
-
Predpovedať pozíciu každého sledu pomocou modelu pohybu.
-
Vypočítať maticu nákladov medzi sledmi a novými zisteniami.
-
Vyriešiť priradenie pomocou Maďarského algoritmu.
-
Aktualizovať zhodujúce sa stopy a spracovať nezhodujúce sa detekcie ako nové alebo stratové.
DeepSORT pridáva popis vzhľadu, často malú neurónovú sieť, aby sa rýby dali po zakrytí znova identifikovať. To pomáha, keď sa dve rýby prekrížia a potom oddelia. Nevýhodou je vyššia výpočtová náročnosť a potreba viac ladenia. Krok priradenia je tak dobrý, ako je kvalita matici nákladov, a zle vážená matica stále môže spôsobiť výmenu identít.
| Rodina algoritmov | Pevnosti | Slabina | Najvhodnejší |
|---|---|---|---|
| Odčítanie pozadia | Rýchly, jednoduchý | Citlivý na svetlo a nečistoty | Statická arena, vysoký kontrast |
| Centroid s najbližším susedom | Ľahko implementovateľný | Výmena identít | Jedna ryba alebo nízka hustota |
| Kalmanov filter | Zhladzuje šum a predpovedá | Predpoklad lineárneho pohybu | Otvorené pole, stredná rýchlosť |
| Maďarské priradenie | Optimálne jedno-ku-jedné priradenie | Ladenie matici nákladov | Sledovanie viacerých rýb |
| Sledovač založený na hlbokom učení | Rieši zakrytie a vzhľad | Vyžaduje dáta a GPU | Zložité scény, vysoká premennosť |
Sledovače založené na hlbokom učení zvyšujú presnosť a menia požiadavky na hardvér
Hlboké učenie sa veľmi rozšírilo v sledovaní zebrafish. Detektory objektov, ako sú YOLO a Faster R-CNN, dokážu nájsť ryby bez odčítania pozadia. Nástroje na odhad pózy, ako je DeepLabCut, dokážu sledovať časti tela, nie iba stredy hmotnosti. Siete na opätovnú identifikáciu dokážu porovnávať vzhľad medzi snímkami. Na sledovanie sa používajú aj transformery a siamske siete.
Výhody sú skutočné v prepätených alebo premenných scénach. Náklady tiež sú skutočné. Trénovacie dáta musia byť označené, často snímka za snímkou. Inferencia vyžaduje GPU, ak je rýchlosť snímkov vysoká. Modely natrénované na osvetlení a kmeňoch rýb z jednej laboratórneho prostredia sa nemusia všeobecne preniesť do iného. Sledovač založený na hlbokom učení nie je priamou náhradou klasického konvika. Mení rozpočet na hardvér, pracovné zaťaženie pri anotácii a stratégiu overovania.
Príklad z praxe, kde nesúlad algoritmu spôsobil zámenu identít
Vedecké zariadenie pre behaviorálne štúdie na univerzite v južnej Číne používalo viacnádobové sledovacie nastavenie. Pôvodný postup spracovania dát využíval odčítanie pozadia a priradenie najbližších susedov. V pokusoch s jednou rybou boli sledované dráhy čisté. V pokusoch s viacerými rybami sa však údaje ukázali ako nesprávne – vyskytovali sa nemožné skoky. Ryby sa zdali byť schopné „teleportovať“ cez akvárium a následne sa vrátiť späť.
Problém spočíval v zámene identít počas prekrývania sa dráh. Tím pridal Kalmanov filter na predikciu a nahradil priradenie najbližších susedov maďarským algoritmom priradenia. Do maticy nákladov bol pridaný jednoduchý vizuálny znak založený na tvare chvosta. Teleportácie sa zastavili. Dráhy stále vyžadovali manuálnu kontrolu pri hustom plávaní v skupinách, no súbor údajov sa stal použiteľným. Záver nebol ten, že jeden algoritmus je vždy lepší. Skôr to bol záver, že algoritmus musí zodpovedať sociálnemu správaniu zvierat.
Prispôsobenie algoritmov biologickej otázke a experimentálnej súprave
Žiadna jediná rodina algoritmov nezvíťazí všade. Jednoduchý stredový sledovač je vhodný pre jediného larvu v 24-dierkovom petriho mise. Hlboký učiaci sa sledovač môže byť pre tú istú skúšku nadmerný, avšak nevyhnutný pre prepálený akvár s dospelými jedincami. Správna voľba závisí od hustoty rýb, zložitosti prostredia, stability osvetlenia a biologickej otázky.
Závisí to tiež od vybavenia. Stabilné upevnenie kamery, rovnaké osvetlenie a čisté pozadie výrazne zlepšujú výkon klasických algoritmov. Nestabilné upevnenie alebo blikajúce svetlo núti softvér kompenzovať problémy, ktoré mali byť vyriešené mechanicky. Presnosť sledovania je vlastnosťou celého systému, nie len softvérovou funkciou.
Hunter Lab (Hunter) vyrába laboratórne zariadenia pre zebrafish s dôrazom na mechanickú a optickú stabilitu, od ktorej závisia algoritmy na sledovanie. Výrobná časť a kontrola kvality zabezpečujú konzistenciu potrebnú pre behaviorálne štúdie s viacerými zariadeniami. Pre laboratóriá, ktoré chcú, aby údaje zo sledovania odrážali biológiu namiesto artefaktov spracovateľského reťazca, táto stabilita tvorí základ.