Dlaczego wybór algorytmu kształtuje każdy zestaw danych trajektorii
System śledzenia trajektorii ryb zebrafisz jest tak dobry, jak algorytmy działające pod kamerą. Sprzęt przechwytuje piksele. Oprogramowanie decyduje, co te piksele oznaczają. Dwie laboratoria mogą używać tej samej kamery, tego samego arena i tego samego oświetlenia, a mimo to uzyskać bardzo różne zestawy danych, ponieważ jeden potok dobrze radzi sobie z zakryciem, a drugi nie. Algorytmy śledzenia znajdują się w centrum tej różnicy.
Zadanie dzieli się na trzy części. Wykrywanie lokalizuje ryby w każdej klatce. Powiązanie łączy wykrycia między klatkami, tak aby każda ryba zachowała tę samą tożsamość. Wyrównywanie szacuje rzeczywistą trajektorię, gdy wykrycia są zakłócone lub brakujące. Różne rodziny algorytmów realizują te etapy przy różnych założeniach, a te założenia określają, jakie wnioski można wyciągnąć z danych.
Odejmowanie tła i progowanie pozostają pierwszą linią obrony
Większość potoków przetwarzania zaczyna się od metody oddzielenia ryb od tła. Odejmowanie tła tworzy model pustej areny i oznacza piksele różniące się od tego modelu. Progowanie przekształca następnie mapę różnic w maskę binarną. Operacje morfologiczne usuwają drobne otwory i pojedyncze, błędnie wykryte piksele.
To podejście jest szybkie i dobrze sprawdza się przy statycznym tle oraz wystarczającej kontrastowości. Ciemna ryba na jasnym tle jest łatwa do wykrycia. Problemy pojawiają się, gdy zmienia się oświetlenie, przesuwają się odbicia lub do kadru wnikają pęcherzyki i zanieczyszczenia. Cień może wyglądać jak ryba. Ryba przy ścianie może fuzjonować z krawędzią. Odejmowanie tła również nie radzi sobie dobrze, gdy ryby nachodzą na siebie, ponieważ maska staje się jednym obszarem zamiast dwóch.
Śledzenie centroidów i dopasowywanie metodą najbliższego sąsiada działają poprawnie w przypadku prostych akwariów
Gdy ryby zostaną wykryte, najprostszym sposobem powiązania kolejnych klatek jest śledzenie centroidów. Obliczany jest centroid każdego obszaru, a najbliższy centroid w następnej klatce uznawany jest za tę samą rybę. Dopasowywanie metodą najbliższego sąsiada jest łatwe w implementacji i dobrze sprawdza się przy jednej rybie lub kilku rybach utrzymujących się w dużej odległości od siebie.
Tryb awarii to zamiana tożsamości. Gdy dwie ryby mijają się nawzajem, najbliższy centroid może należeć do niewłaściwej ryby. Śledzący zamienia tożsamości, a dane trajektorii stają się nieczytelne. Nie jest to rzadki przypadek brzegowy. Danio pręgowane są społeczne i często pływają blisko siebie. Potok przetwarzania, który ignoruje stałość tożsamości, generuje estetyczne ścieżki śledzenia, które jednak są biologicznie błędne.
Filtry Kalmana wprowadzają prognozowanie ruchu do potoku przetwarzania
Filtr Kalmana dodaje model ruchu. Zamiast zakładać, że ryba pozostaje nieruchoma między klatkami, filtr przewiduje jej położenie na podstawie poprzedniej prędkości. Przewidywanie to porównywane jest z nowym wykryciem, a szacunek stanu jest aktualizowany. Dzięki temu redukuje się szum pomiarów oraz ułatwia się śledzenie w przypadku braku wykrycia przez jedną lub dwie klatki.
Standardowy filtr Kalmana zakłada liniowy ruch i szum gaussowski. Danio pręgowany nie zawsze współpracuje. Może gwałtownie skręcać, poruszać się impulsywnie lub zawieszać się w miejscu. Rozszerzone filtry Kalmana oraz filtry cząstkowe złagadzają niektóre z tych założeń, lecz zwiększają złożoność obliczeniową. Mimo to korzyści praktyczne pozostają rzeczywiste. Nawet prosty model stałej prędkości zmniejsza drgania i poprawia ciągłość śledzenia w otwartej wodzie.
Węgierskie przyporządkowanie i śledzenie wielu obiektów zapewniają jednoznaczne rozróżnianie tożsamości
Algorytm węgierski rozwiązuje problem przyporządkowania. Mając macierz kosztów oceniającą prawdopodobieństwo dopasowania każdej nowej detekcji do każdego istniejącego toru śledzenia, algorytm znajduje jedno-jednoznaczne dopasowanie minimalizujące łączny koszt. Koszt może uwzględniać odległość, cechy wizualne oraz prognozę ruchu. Jest to podstawa metod śledzenia wielu obiektów, takich jak SORT i DeepSORT.
-
Przewiduj położenie każdego toru śledzenia przy użyciu modelu ruchu.
-
Oblicz macierz kosztów pomiędzy torami śledzenia a nowymi detekcjami.
-
Rozwiąż problem przyporządkowania za pomocą algorytmu węgierskiego.
-
Aktualizuj dopasowane ścieżki i traktuj niedopasowane wykrycia jako nowe lub utracone.
DeepSORT dodaje deskryptor wyglądu, często małą sieć neuronową, dzięki czemu ryby można ponownie zidentyfikować po zakryciu. To pomaga, gdy dwie ryby się przecinają, a następnie rozdzielają. Kosztem jest większa obciążoność obliczeniowa i konieczność dokładniejszej strojenia. Etap przypisania jest tak dobry, jak macierz kosztów, a słabo zważona macierz nadal może powodować zamiany tożsamości.
| Rodzina algorytmów | Wytrzymałości | Słabość | Najlepsze dopasowanie |
|---|---|---|---|
| Odejmowanie tła | Szybkie i proste | Wrażliwe na światło i zanieczyszczenia | Statyczna arena o wysokim kontraście |
| Środek masy z najbliższym sąsiadem | Łatwe do zaimplementowania | Zamiany tożsamości | Pojedyncza ryba lub niskie zagęszczenie |
| Filtr Kalmana | Wygładza szum i przewiduje | Założenie o ruchu liniowym | Otwarta przestrzeń, umiarkowana prędkość |
| Węgierskie przyporządkowanie | Optymalne jedno-do-jednego dopasowanie | Dostosowywanie macierzy kosztów | Śledzenie wielu ryb |
| Śledzenie oparte na uczeniu głębokim | Obsługuje zakrycie i zmiany wyglądu | Wymaga danych i karty graficznej GPU | Złożone sceny, duża zmienność |
Śledzenie oparte na uczeniu głębokim zwiększa dokładność i zmienia wymagania sprzętowe
Uczenie głębokie znacznie wpłynęło na śledzenie danio pręgowanego. Detektory obiektów, takie jak YOLO i Faster R-CNN, potrafią wykrywać ryby bez konieczności odejmowania tła. Narzędzia szacujące pozycję części ciała, np. DeepLabCut, śledzą poszczególne elementy ciała, nie tylko środki masy. Sieci ponownej identyfikacji (re-identification) porównują wygląd obiektów między kolejnymi klatkami. Do śledzenia wykorzystywane są także transformatory i sieci syjamskie.
Korzyści są rzeczywiste w przypadku zatłoczonych lub zmiennych scen. Również koszty są rzeczywiste. Dane treningowe muszą być oznaczone – często klatka po klatce. Wnioskowanie wymaga karty graficznej GPU przy wysokiej częstotliwości klatek. Modele wytrenowane przy oświetleniu i szczepie ryb z jednego laboratorium mogą nie uogólniać się na inne warunki. Śledzenie oparte na uczeniu głębokim nie jest gotowym zamiennikiem klasycznego potoku przetwarzania – zmienia budżet sprzętowy, nakład pracy związany z adnotacją oraz strategię walidacji.
Przykład z pola, w którym niedopasowanie algorytmu spowodowało zamiany tożsamości
W jednym z uniwersytetów w południowych Chinach działała infrastruktura badawcza skupiona na analizie zachowań, wykorzystująca wielozbiornikowy system śledzenia. Początkowy potok przetwarzania danych opierał się na odejmowaniu tła oraz dopasowaniu metodą najbliższego sąsiada. Ścieżki wydawały się czyste w przypadku eksperymentów z pojedynczymi rybami. W eksperymentach grupowych dane wykazywały niemożliwe skoki: ryby jakby teleportowały się przez arenę, a następnie wracały.
Problemem okazały się zamiany tożsamości podczas przecinania się torów ruchu. Zespół dodał filtr Kalmana do prognozowania i zastąpił dopasowanie metodą najbliższego sąsiada przypisaniem węgierskim. Do macierzy kosztów wprowadzono prostą cechę wizualną opartą na kształcie ogona. Zjawisko teleportacji ustąpiło. Ścieżki nadal wymagały ręcznej weryfikacji w przypadku gęstych stad, ale zestaw danych stał się użyteczny. Kluczowym wnioskiem nie było to, że jeden algorytm jest zawsze lepszy – lecz że algorytm musi odpowiadać społecznemu zachowaniu badanych zwierząt.
Dopasowywanie algorytmów do pytania biologicznego oraz do konfiguracji układu
Żadna pojedyncza rodzina algorytmów nie przeważa wszędzie. Prosty śledzący środek ciężkości wystarcza dla jednego larwa w płytce o 24 dołkach. Śledzenie oparte na uczeniu głębokim może być nadmiernym rozwiązaniem dla tego samego testu, ale jest niezbędne w zatłoczonym akwarium z dorosłymi rybami. Odpowiedni wybór zależy od gęstości ryb, złożoności areny, stabilności oświetlenia oraz pytania biologicznego.
Zależy to również od wyposażenia. Stabilne zamocowanie aparatu, jednolite oświetlenie i czyste tło znacznie poprawiają działanie klasycznych algorytmów. Nieustanne drgania montażu lub migotanie światła zmuszają oprogramowanie do kompensowania problemów, które powinny zostać rozwiązane na poziomie mechanicznym. Dokładność śledzenia to cecha całego systemu, a nie tylko funkcja oprogramowania.
Hunter Lab (Hunter) produkuje sprzęt laboratoryjny do badań z użyciem danio pręgowanego, z naciskiem na stabilność mechaniczną i optyczną, od której zależą algorytmy śledzenia. Produkcja i kontrola jakości zapewniają spójność niezbędną w badaniach behawioralnych przeprowadzanych na wielu zestawach. Dla laboratoriów, które chcą, aby dane śledzenia odzwierciedlały biologię, a nie artefakty potoku analizy, ta stabilność stanowi podstawę.