Perché la scelta dell’algoritmo modella ogni dataset di traiettorie
Un sistema di tracciamento delle traiettorie del pesce-zebra è tanto valido quanto gli algoritmi che operano sotto la telecamera. L’hardware acquisisce i pixel. Il software decide cosa quei pixel rappresentano. Due laboratori possono utilizzare la stessa telecamera, lo stesso ambiente e la stessa illuminazione, ma ottenere dataset molto diversi perché una catena di elaborazione gestisce efficacemente le occlusioni mentre l’altra no. Gli algoritmi di tracciamento si trovano al centro di tale differenza.
Il lavoro si suddivide in tre parti. Il rilevamento individua i pesci in ciascun fotogramma. L’associazione collega i rilevamenti tra i diversi fotogrammi, in modo che un pesce conservi la stessa identità. Il filtraggio stima il percorso reale quando i rilevamenti sono rumorosi o mancanti. Diverse famiglie di algoritmi gestiscono queste parti con ipotesi diverse, e tali ipotesi determinano quali informazioni i dati possono effettivamente supportare.
La sottrazione dello sfondo e la sogliatura restano la prima linea di difesa
La maggior parte delle pipeline inizia con un metodo per separare i pesci dallo sfondo. La sottrazione dello sfondo costruisce un modello dell’arena vuota e segnala i pixel che differiscono da tale modello. La sogliatura trasforma quindi la mappa delle differenze in una maschera binaria. Operazioni morfologiche eliminano i piccoli buchi e i pixel isolati.
Questo approccio è veloce e funziona bene quando lo sfondo è statico e il contrasto è adeguato. Un pesce scuro su un’arena luminosa è facile da rilevare. I problemi sorgono quando l’illuminazione varia, i riflessi si spostano o bolle e detriti entrano nel campo visivo. Un’ombra può assomigliare a un pesce. Un pesce vicino alla parete può fondersi con il bordo. La sottrazione dello sfondo incontra difficoltà anche quando i pesci si sovrappongono, poiché la maschera diventa un unico blob invece di due.
Il tracciamento del centroide e l’abbinamento dei vicini più prossimi gestiscono arene semplici
Una volta rilevati i pesci, il modo più semplice per collegare i frame è il tracciamento del centroide. Viene calcolato il centroide di ogni blob e si assume che il centroide più vicino nel frame successivo corrisponda allo stesso pesce. L’abbinamento dei vicini più prossimi è facile da implementare e funziona bene per un singolo pesce o per pochi pesci che rimangono distanti tra loro.
La modalità di guasto è lo scambio d'identità. Quando due pesci incrociano le proprie traiettorie, il centroide più vicino potrebbe appartenere al pesce sbagliato. Il tracker scambia le identità e i dati delle traiettorie diventano incoerenti. Questo non è un caso limite raro. I pesci zebra sono animali sociali e spesso nuotano molto vicini l'uno all'altro. Una pipeline che ignora la persistenza dell'identità produrrà tracce esteticamente accattivanti ma biologicamente errate.
I filtri di Kalman introducono nella pipeline la previsione del moto
Un filtro di Kalman aggiunge un modello di moto. Invece di ipotizzare che il pesce rimanga fermo tra un fotogramma e l'altro, il filtro prevede la sua posizione in base alla velocità precedente. Tale previsione viene confrontata con la nuova rilevazione e la stima dello stato viene aggiornata. Ciò attenua le misurazioni rumorose e risulta utile quando una rilevazione manca per uno o due fotogrammi.
Il filtro di Kalman standard presuppone un moto lineare e un rumore gaussiano. Un pesce zebra non collabora sempre. Può girare bruscamente, scattare in avanti o librarsi. I filtri di Kalman estesi e i filtri a particelle allentano alcuni di tali presupposti, ma aggiungono complessità. Il vantaggio pratico rimane tuttavia concreto. Anche un semplice modello di velocità costante riduce le fluttuazioni e migliora la continuità delle tracce in acque aperte.
L’assegnazione ungherese e il tracciamento multi-oggetto mantengono distinte le identità.
L’algoritmo ungherese risolve il problema dell’assegnazione. Dato una matrice dei costi che valuta la probabilità che ciascun rilevamento corrisponda a ciascuna traccia esistente, l’algoritmo individua l’abbinamento uno-a-uno che minimizza il costo totale. Il costo può combinare distanza, aspetto e previsione del moto. Questo costituisce la base di metodi di tracciamento multi-oggetto come SORT e DeepSORT.
-
Predire la posizione di ciascuna traccia mediante un modello di moto.
-
Calcolare una matrice dei costi tra le tracce e i nuovi rilevamenti.
-
Risolvere l’assegnazione mediante l’algoritmo ungherese.
-
Aggiorna le tracce corrispondenti e gestisce i rilevamenti non corrispondenti come nuovi o persi.
DeepSORT aggiunge un descrittore dell’aspetto, spesso una piccola rete neurale, in modo che i pesci possano essere ridentificati dopo un’occlusione. Ciò è utile quando due pesci si incrociano e poi si separano. Il costo è un maggiore carico computazionale e una maggiore necessità di taratura. Il passaggio di assegnazione è efficace quanto la matrice dei costi, e una matrice mal ponderata può comunque produrre scambi di identità.
| Famiglia di algoritmi | Resistenza | Debolezza | Migliore scelta |
|---|---|---|---|
| Sottrazione dello sfondo | Veloce e semplice | Sensibile alla luce e ai detriti | Arena statica, alto contrasto |
| Centroide con vicino più prossimo | Facile da implementare | Scambi di identità | Singolo pesce o bassa densità |
| Filtro di Kalman | Riduce il rumore e predice | Assunzione di moto lineare | Campo aperto, velocità moderata |
| Assegnazione ungherese | Abbinamento ottimale uno-a-uno | Taratura della matrice dei costi | Tracciamento di più pesci |
| Tracker basato su deep learning | Gestisce l’occlusione e l’aspetto | Richiede dati e una GPU | Scene complesse, elevata variabilità |
I tracker basati sull’apprendimento profondo aumentano l’accuratezza e modificano le esigenze hardware
L’apprendimento profondo ha fatto un grande ingresso nel tracciamento del pesce zebra. Rilevatori di oggetti come YOLO e Faster R-CNN possono individuare i pesci senza sottrazione dello sfondo. Strumenti di stima della posa come DeepLabCut possono tracciare parti del corpo, non solo i centroidi. Reti di re-identificazione possono confrontare l’aspetto tra fotogrammi. Anche i transformer e le reti siamesi vengono utilizzati per il tracciamento.
I vantaggi sono concreti in scene affollate o variabili. I costi sono altrettanto reali. I dati per l’addestramento devono essere etichettati, spesso fotogramma per fotogramma. L’inferenza richiede una GPU se la frequenza dei fotogrammi è elevata. Modelli addestrati con l’illuminazione e la ceppa di pesci di un determinato laboratorio potrebbero non generalizzare a un altro. Un tracker basato sull’apprendimento profondo non è un sostituto diretto di una pipeline classica. Modifica il budget hardware, il carico di lavoro per l’annotazione e la strategia di validazione.
Un esempio pratico in cui uno squilibrio tra algoritmo e contesto ha causato scambi di identità
Un laboratorio di neuroscienze comportamentali presso un’università del sud della Cina stava utilizzando un sistema di tracciamento multiplo. La prima pipeline si basava sulla sottrazione dello sfondo e sul matching del vicino più prossimo. I tracciati apparivano puliti nei test con un singolo pesce. Nei test di gruppo, i dati mostravano salti impossibili: i pesci sembravano teletrasportarsi attraverso l’arena e poi tornare indietro.
Il problema era lo scambio d’identità durante i sorpassi. Il team ha integrato un filtro di Kalman per la predizione e ha sostituito il matching del vicino più prossimo con l’assegnazione ungherese. È stata aggiunta una semplice caratteristica visiva basata sulla forma della coda nella matrice dei costi. I teletrasporti sono cessati. I tracciati richiedevano comunque una revisione manuale durante i banchi molto densi, ma il dataset è diventato utilizzabile. La lezione non era che un algoritmo sia sempre migliore, bensì che l’algoritmo deve rispecchiare il comportamento sociale degli animali.
Adattare gli algoritmi alla domanda biologica e alla configurazione sperimentale
Nessuna famiglia di algoritmi risulta vincente in tutti i contesti. Un semplice tracker basato sul centroide è adeguato per una singola larva in una piastra a 24 pozzetti. Un tracker basato sull’apprendimento profondo potrebbe rivelarsi eccessivo per lo stesso test, ma indispensabile per un acquario affollato di adulti. La scelta ottimale dipende dalla densità dei pesci, dalla complessità dell’arena, dalla stabilità dell’illuminazione e dalla domanda biologica.
Dipende anche dall’impianto sperimentale. Un supporto stabile per la telecamera, un’illuminazione uniforme e uno sfondo pulito consentono agli algoritmi classici di funzionare molto meglio. Un supporto instabile o una luce intermittente costringono il software a compensare problemi che avrebbero dovuto essere risolti a livello meccanico. L’accuratezza del tracking è una proprietà del sistema nel suo complesso, non soltanto una caratteristica del software.
Hunter Lab (Hunter) produce attrezzature per laboratori di zebrafish con particolare attenzione alla stabilità meccanica e ottica, su cui si basano gli algoritmi di tracciamento. Il processo produttivo e il controllo qualità garantiscono la coerenza necessaria per studi comportamentali su più impianti. Per i laboratori che desiderano dati di tracciamento rappresentativi della biologia reale e non di artefatti legati alla pipeline analitica, tale stabilità costituisce una base fondamentale.