Proč volba algoritmu ovlivňuje každou datovou sadu trajektorií
Systém sledování trajektorií zebrafish je tak dobrý, jak dobré jsou algoritmy, které běží pod kamerou. Hardware zachycuje pixely. Software rozhoduje, co tyto pixely znamenají. Dvě laboratoře mohou používat stejnou kameru, stejnou arénu a stejné osvětlení, přesto však získat velmi rozdílné datové sady, protože jeden zpracovatelský řetězec dobře zvládá zakrytí objektů, zatímco druhý ne. Sledovací algoritmy stojí právě uprostřed tohoto rozdílu.
Úkol se rozděluje na tři části. Detekce nachází ryby v každém snímku. Asociace propojuje detekce mezi snímky tak, aby ryba zachovala stejnou identitu. Vyhlazování odhaduje skutečnou dráhu v případě šumu nebo chybějících detekcí. Různé rodiny algoritmů zpracovávají tyto části za různých předpokladů, a tyto předpoklady určují, jaká data lze podporovat.
Odečtení pozadí a prahování stále zůstávají první obranou
Většina zpracovatelských postupů začíná metodou oddělení ryb od pozadí. Odečtení pozadí vytvoří model prázdné arény a označí pixely, které se od tohoto modelu liší. Prahování poté převede mapu rozdílů na binární masku. Morfologické operace odstraní malé díry a izolované pixely.
Tento přístup je rychlý a dobře funguje, pokud je pozadí statické a kontrast uspokojivý. Temná ryba na jasné ploše je snadná na rozpoznání. Problémy vznikají, když se mění osvětlení, pohybují se odrazy nebo do snímku vniknou bubliny či nečistoty. Stín může vypadat jako ryba. Ryba poblíž stěny se může sloučit s okrajem. Odčítání pozadí také selhává, když se ryby překrývají, protože maska se místo dvou stane jedinou skvrnou.
Sledování těžiště a párování podle nejbližšího souseda zvládají jednoduché akvária
Jakmile jsou ryby detekovány, nejjednodušší způsob propojení snímků je sledování těžiště. Vypočte se těžiště každé skvrny a v dalším snímku se předpokládá, že nejbližší těžiště patří téže rybě. Párování podle nejbližšího souseda je snadné implementovat a dobře funguje pro jednu rybu nebo několik ryb, které zůstávají dostatečně daleko od sebe.
Režim poruchy je záměna identit. Když se dva ryby potkají, nejbližší těžiště může patřit nesprávné rybě. Sledovací systém tak zamění identity a trajektorie se stane nepoužitelnou. Toto není vzácný okrajový případ. Danio pruhované jsou společenské a často plavou velmi blízko u sebe. Zpracovatelský postup, který ignoruje trvalost identity, vytvoří vizuálně atraktivní sledování, které je však biologicky nesprávné.
Kalmanovy filtry zavádějí do zpracovatelského postupu predikci pohybu
Kalmanův filtr přidává model pohybu. Místo předpokladu, že ryba mezi snímky zůstává na místě, filtr předpovídá její polohu na základě předchozí rychlosti. Tato předpověď se porovnává s novým detekčním výsledkem a stavový odhad se aktualizuje. To vyhlazuje šumivá měření a pomáhá i v případě, že detekce chybí po jeden či dva snímky.
Standardní Kalmanův filtr předpokládá lineární pohyb a gaussovský šum. Živá rybka zebrafish se však ne vždy chová spolupracujícím způsobem. Může prudce zatáčet, trysknout vpřed nebo se vznášet. Rozšířené Kalmanovy filtry a částicové filtry mírní některé z těchto předpokladů, avšak zvyšují složitost. Praktický přínos je však stále skutečný. Dokonce i jednoduchý model konstantní rychlosti snižuje roztřesení a zlepšuje spojitost sledování v otevřené vodě.
Maďarské přiřazení a sledování více objektů zajistí správné rozlišení identit
Maďarský algoritmus řeší úlohu přiřazení. Je-li dána maticová funkce nákladů, která hodnotí pravděpodobnost toho, že každé nové detekované pozorování odpovídá každé stávající stopě, tento algoritmus najde jednoznačné přiřazení, které minimalizuje celkové náklady. Náklady mohou kombinovat vzdálenost, vizuální podobnost a předpověď pohybu. Toto je základ metod pro sledování více objektů, jako jsou SORT a DeepSORT.
-
Předpověď polohy každé stopy pomocí modelu pohybu.
-
Výpočet matice nákladů mezi stopami a novými detekcemi.
-
Řešení úlohy přiřazení pomocí maďarského algoritmu.
-
Aktualizovat shodné stopy a zacházet s nestandardními detekcemi jako s novými nebo ztracenými.
DeepSORT přidává popis vzhledu, často malou neuronovou síť, aby bylo možné ryby po zakrytí znovu identifikovat. To pomáhá, když se dvě ryby protnou a poté oddělí. Nevýhodou je vyšší výpočetní náročnost a nutnost dalšího ladění. Krok přiřazení je tak dobrý, jak dobrá je matice nákladů, a špatně navážená matice může stále vést ke změnám identit.
| Rodina algoritmů | Pevnost | Slabina | Nejvhodnější řešení |
|---|---|---|---|
| Odčítání pozadí | Rychlé, jednoduché | Citlivé na světlo a nečistoty | Statická arena, vysoký kontrast |
| Těžiště s nejbližším sousedem | Snadné na implementaci | Změny identit | Jediná ryba nebo nízká hustota |
| Kalmanův filtr | Vyhlazuje šum a předpovídá | Předpoklad lineárního pohybu | Otevřené pole, střední rychlost |
| Maďarské přiřazení | Optimální jedno-jedno-přiřazení | Ladění matice nákladů | Sledování více ryb |
| Sledovací systém založený na hlubokém učení | Zpracovává zakrytí a změny vzhledu | Vyžaduje data a GPU | Složité scény, vysoká variabilita |
Sledovací algoritmy založené na hlubokém učení zvyšují přesnost a mění požadavky na hardware
Hluboké učení se výrazně prosadilo i ve sledování ryb zebrafish. Detektory objektů jako YOLO a Faster R-CNN dokážou ryby detekovat bez odčítání pozadí. Nástroje pro odhad polohy (pose estimation), například DeepLabCut, umožňují sledovat jednotlivé části těla, nikoli jen těžiště. Sítě pro opětovnou identifikaci (re-identification networks) umožňují porovnávat vzhled mezi snímky. Pro sledování se používají také transformery a siamské sítě.
Výhody jsou skutečné zejména ve scénách s velkou hustotou objektů nebo vysokou variabilitou. Stejně tak jsou skutečné i náklady. Trénovací data je nutné označovat, často po jednotlivých snímcích. Pro inferenci je vyžadováno GPU, pokud je požadován vysoký snímkový poměr. Modely natrénované za světelných podmínek jedné laboratoře a na konkrétním kmenu ryb se nemusí přenést na jinou laboratoř. Sledovací systém založený na hlubokém učení není přímou náhradou klasického zpracovatelského řetězce. Mění rozpočet na hardware, zátěž spojenou s anotací dat a strategii ověřování výsledků.
Příklad z praxe, kdy nesoulad algoritmů způsobil záměnu identit
Výzkumné zařízení zaměřené na chování na univerzitě v jižní Číně provozovalo víceúrovňové sledování v nádržích. Původní zpracovatelský postup využíval odečítání pozadí a přiřazení nejbližšího souseda. Stopy vypadaly čistě v pokusech s jedinou rybou. V pokusech se skupinami ryb však data ukazovala nemožné skoky: ryby se zdály teleportovat napříč arénou a poté se vrátit zpět.
Problém spočíval ve výměně identit během křížení trajektorií. Tým přidal Kalmanův filtr pro predikci a nahradil přiřazení nejbližšího souseda maďarským algoritmem přiřazení. Do matice nákladů byla přidána jednoduchá charakteristika vzhledu založená na tvaru ocasu. Teleportace ustaly. Stopy stále vyžadovaly ruční kontrolu při hustém hejnování, avšak datová sada se stala použitelnou. Zásadní ponaučení nebylo, že jeden algoritmus je vždy lepší; spíše že algoritmus musí odpovídat sociálnímu chování zvířat.
Přizpůsobení algoritmů biologické otázce a experimentálnímu uspořádání
Žádná jediná rodina algoritmů nezvítězí všude. Jednoduchý centroidní tracker je vhodný pro jedinou larvu v 24jamkové destičce. Tracker založený na hlubokém učení může být pro stejný test nadměrný, ale je nezbytný pro přeplněnou nádrž s dospělými rybami. Správná volba závisí na hustotě ryb, složitosti prostředí, stabilitě osvětlení a biologické otázce.
Záleží to také na zařízení. Stabilní upevnění kamery, rovnoměrné osvětlení a čisté pozadí výrazně zlepšují výkon klasických algoritmů. Nestabilní upevnění nebo blikající světlo nutí software kompenzovat problémy, které měly být vyřešeny mechanicky. Přesnost sledování je vlastnost celého systému, nikoli pouze softwarová funkce.
Hunter Lab (Hunter) vyrábí laboratorní vybavení pro zebrafish s důrazem na mechanickou a optickou stabilitu, od níž závisí algoritmy pro sledování. Výrobní proces i kontrola kvality zajišťují konzistenci potřebnou pro behaviorální studie s více zařízeními. Pro laboratoře, které chtějí, aby data ze sledování odrážela biologii a nikoli artefakty zpracování, je tato stabilita základním prvkem.