Γιατί η επιλογή του αλγορίθμου διαμορφώνει κάθε σύνολο δεδομένων τροχιάς
Ένα σύστημα παρακολούθησης τροχιών ζεβραφίς είναι τόσο καλό όσο και οι αλγόριθμοι που λειτουργούν κάτω από την κάμερα. Το υλικό καταγράφει εικονοστοιχεία. Το λογισμικό αποφασίζει τι σημαίνουν αυτά τα εικονοστοιχεία. Δύο εργαστήρια μπορούν να χρησιμοποιήσουν την ίδια κάμερα, την ίδια αρένα και το ίδιο φωτισμό, αλλά να καταλήξουν σε πολύ διαφορετικά σύνολα δεδομένων, επειδή μία διαδικασία αντιμετωπίζει αποτελεσματικά τις περιπτώσεις κρύψιμου ενώ η άλλη όχι. Οι αλγόριθμοι παρακολούθησης βρίσκονται στο επίκεντρο αυτής της διαφοράς.
Η εργασία διαιρείται σε τρία μέρη. Η ανίχνευση εντοπίζει τα ψάρια σε κάθε καρέ. Η σύνδεση συνδέει τις ανιχνεύσεις μεταξύ των καρέ, ώστε ένα ψάρι να διατηρεί την ίδια ταυτότητα. Η εξομάλυνση εκτιμά την πραγματική τροχιά όταν οι ανιχνεύσεις είναι θορυβώδεις ή απουσιάζουν. Διαφορετικές οικογένειες αλγορίθμων αντιμετωπίζουν αυτά τα μέρη με διαφορετικές υποθέσεις, και αυτές οι υποθέσεις καθορίζουν τι μπορούν να υποστηρίξουν τα δεδομένα.
Η αφαίρεση του φόντου και η κατωφλίωση παραμένουν η πρώτη γραμμή άμυνας
Οι περισσότερες διαδικασίες ξεκινούν με έναν τρόπο διαχωρισμού των ψαριών από το φόντο. Η αφαίρεση του φόντου δημιουργεί ένα μοντέλο της άδειας αρένας και σημειώνει τα εικονοστοιχεία που διαφέρουν από αυτό το μοντέλο. Η κατωφλίωση μετατρέπει στη συνέχεια τον χάρτη διαφοράς σε δυαδική μάσκα. Οι μορφολογικές λειτουργίες εκκαθαρίζουν μικρές οπές και απομονωμένα εικονοστοιχεία.
Αυτή η προσέγγιση είναι γρήγορη και λειτουργεί καλά όταν ο φόντος είναι στατικό και η αντίθεση είναι ικανοποιητική. Ένα σκούρο ψάρι εναντίον ενός φωτεινού περιβάλλοντος είναι εύκολο να ανιχνευθεί. Προβλήματα εμφανίζονται όταν η φωτιστική συνθήκη μεταβάλλεται, οι ανακλάσεις κινούνται ή φυσαλίδες και υπολείμματα εισέρχονται στο πλαίσιο. Μια σκιά μπορεί να μοιάζει με ψάρι. Ένα ψάρι κοντά στο τοίχωμα μπορεί να συγχωνευθεί με το περίγραμμα. Η αφαίρεση φόντου αντιμετωπίζει επίσης δυσκολίες όταν τα ψάρια επικαλύπτονται, επειδή η μάσκα γίνεται ένα μόνο σώμα αντί για δύο.
Η παρακολούθηση κεντροειδούς και η αντιστοίχιση με τον πλησιέστερο γείτονα διαχειρίζονται απλά περιβάλλοντα
Μόλις ανιχνευθούν τα ψάρια, ο απλούστερος τρόπος σύνδεσης των καρέ είναι η παρακολούθηση κεντροειδούς. Υπολογίζεται το κεντροειδές κάθε σώματος και υποθέτουμε ότι το πλησιέστερο κεντροειδές στο επόμενο καρέ αντιστοιχεί στο ίδιο ψάρι. Η αντιστοίχιση με τον πλησιέστερο γείτονα είναι εύκολη στην υλοποίηση και λειτουργεί καλά για ένα μόνο ψάρι ή για λίγα ψάρια που παραμένουν σε μεγάλη απόσταση μεταξύ τους.
Η λειτουργία αποτυχίας είναι η ανταλλαγή ταυτότητας. Όταν δύο ψάρια διασταυρώνονται, το πλησιέστερο κέντρο μάζας μπορεί να ανήκει στο λάθος ψάρι. Ο ανιχνευτής ανταλλάσσει τις ταυτότητες, και τα δεδομένα τροχιάς γίνονται ακατανόητα. Δεν πρόκειται για σπάνια περιθωριακή περίπτωση. Τα ζεβραψάρια είναι κοινωνικά και συχνά κολυμπούν πολύ κοντά το ένα στο άλλο. Μια διαδικασία που αγνοεί τη διατήρηση ταυτότητας θα παράγει οπτικά ελκυστικές τροχιές που είναι βιολογικά λανθασμένες.
Τα φίλτρα Kalman εισάγουν την πρόβλεψη κίνησης στη διαδικασία
Ένα φίλτρο Kalman προσθέτει ένα μοντέλο κίνησης. Αντί να υποθέτει ότι το ψάρι παραμένει ακίνητο μεταξύ διαδοχικών καρέ, το φίλτρο προβλέπει πού θα έπρεπε να βρίσκεται με βάση την προηγούμενη ταχύτητα. Η πρόβλεψη συγκρίνεται με τη νέα ανίχνευση, και η εκτίμηση της κατάστασης ενημερώνεται. Αυτό εξομαλύνει τις θορυβώδεις μετρήσεις και βοηθά όταν λείπει μια ανίχνευση για ένα ή δύο καρέ.
Ο τυπικός φίλτρος Kalman υποθέτει γραμμική κίνηση και γκαουσιανό θόρυβο. Ένα ζεβράψαρο δεν συνεργάζεται πάντα. Μπορεί να στρίβει απότομα, να κινείται απότομα ή να «πλέει» ακίνητο. Τα επεκτεταμένα φίλτρα Kalman και τα φίλτρα σωματιδίων χαλαρώνουν ορισμένες από αυτές τις υποθέσεις, αλλά προσθέτουν πολυπλοκότητα. Το πρακτικό όφελος παραμένει όμως πραγματικό. Ακόμη και ένα απλό μοντέλο σταθερής ταχύτητας μειώνει την ταλάντωση και βελτιώνει τη συνέχεια της εντοπιστικής διαδρομής σε ανοιχτό νερό.
Η ουγγρική ανάθεση και η πολυαντικειμενική παρακολούθηση διατηρούν τις ταυτότητες ξεχωριστές.
Ο ουγγρικός αλγόριθμος επιλύει το πρόβλημα της ανάθεσης. Δεδομένου ενός πίνακα κόστους που αξιολογεί την πιθανότητα να αντιστοιχεί κάθε νέα ανίχνευση σε κάθε υφιστάμενη διαδρομή, ο αλγόριθμος ευρίσκει την αμφιμονοσήμαντη αντιστοίχιση που ελαχιστοποιεί το συνολικό κόστος. Το κόστος μπορεί να συνδυάζει απόσταση, εμφάνιση και πρόβλεψη κίνησης. Αυτό αποτελεί τη βάση μεθόδων πολυαντικειμενικής παρακολούθησης, όπως των SORT και DeepSORT.
-
Προβλέψτε τη θέση κάθε διαδρομής χρησιμοποιώντας ένα μοντέλο κίνησης.
-
Υπολογίστε έναν πίνακα κόστους μεταξύ των διαδρομών και των νέων ανιχνεύσεων.
-
Επιλύστε την ανάθεση με τον ουγγρικό αλγόριθμο.
-
Ενημέρωση των αντιστοιχισμένων καρούλιων και διαχείριση των μη αντιστοιχισμένων ανιχνεύσεων ως νέων ή χαμένων.
Το DeepSORT προσθέτει έναν περιγραφέα εμφάνισης, συνήθως ένα μικρό νευρωνικό δίκτυο, ώστε τα ψάρια να μπορούν να αναγνωριστούν εκ νέου μετά από κρύψιμο. Αυτό βοηθά όταν δύο ψάρια διασταυρώνονται και στη συνέχεια χωρίζονται. Το κόστος είναι μεγαλύτερη υπολογιστική φόρτιση και περισσότερη ρύθμιση. Το βήμα ανάθεσης είναι τόσο καλό όσο και ο πίνακας κόστους, και ένας κακώς σταθμισμένος πίνακας μπορεί ακόμη να παράγει εναλλαγές ταυτότητας.
| Οικογένεια αλγορίθμων | Αντοχή | Αδυναμία | Καλύτερη επιλογή |
|---|---|---|---|
| Αφαίρεση φόντου | Γρήγορη, απλή | Ευαίσθητο στο φως και στα υπολείμματα | Στατικός χώρος, υψηλή αντίθεση |
| Κεντροειδές με γειτονικότερο γείτονα | Εύκολο στην υλοποίηση | Εναλλαγές ταυτότητας | Μοναδικό ψάρι ή χαμηλή πυκνότητα |
| Φίλτρο Kalman | Εξομαλύνει το θόρυβο και προβλέπει | Υπόθεση γραμμικής κίνησης | Ανοιχτό πεδίο, μεσαία ταχύτητα |
| Ουγγρική ανάθεση | Βέλτιστη αντιστοίχιση ένα-προς-ένα | Ρύθμιση μήτρας κόστους | Παρακολούθηση πολλών ψαριών |
| Εντοπιστής βαθιάς μάθησης | Διαχειρίζεται την κρύψη και την εμφάνιση | Απαιτεί δεδομένα και GPU | Πολύπλοκα σκηνικά, υψηλή μεταβλητότητα |
Οι εντοπιστές με εμβάθυνση μάθησης αυξάνουν την ακρίβεια και αλλάζουν τις ανάγκες υλικού
Η εμβάθυνση μάθησης έχει εισέλθει σημαντικά στον εντοπισμό ζεβραψαριών. Ανιχνευτές αντικειμένων όπως το YOLO και το Faster R-CNN μπορούν να εντοπίσουν ψάρια χωρίς αφαίρεση φόντου. Εργαλεία εκτίμησης στάσης όπως το DeepLabCut μπορούν να παρακολουθούν μέρη του σώματος, όχι μόνο τα κέντρα βάρους. Δίκτυα επαναναγνώρισης μπορούν να συγκρίνουν την εμφάνιση μεταξύ καρέ. Χρησιμοποιούνται επίσης μετασχηματιστές (Transformers) και δίκτυα Siamese για εντοπισμό.
Τα οφέλη είναι πραγματικά σε πυκνά ή μεταβλητά σκηνικά. Το κόστος είναι επίσης πραγματικό. Τα δεδομένα εκπαίδευσης πρέπει να ετικετοποιηθούν, συχνά καρέ προς καρέ. Η εκτέλεση απαιτεί GPU εάν ο ρυθμός καρέ είναι υψηλός. Τα μοντέλα που εκπαιδεύτηκαν με το φωτισμό και την ποικιλία ψαριών ενός εργαστηρίου ενδέχεται να μην γενικεύονται σε άλλο. Ένας εντοπιστής με εμβάθυνση μάθησης δεν είναι απλή αντικατάσταση ενός κλασικού σωλήνα επεξεργασίας. Αλλάζει τον προϋπολογισμό υλικού, το φόρτο εργασίας ετικετοποίησης και τη στρατηγική επικύρωσης.
Ένα παράδειγμα από το πεδίο όπου η αντιστοιχία αλγορίθμου προκάλεσε ανταλλαγές ταυτότητας
Μια εγκατάσταση μελέτης συμπεριφοράς σε πανεπιστήμιο της νότιας Κίνας χρησιμοποιούσε ένα σύστημα παρακολούθησης πολλαπλών δεξαμενών. Η αρχική διαδικασία επεξεργασίας χρησιμοποιούσε αφαίρεση φόντου και αντιστοίχιση με τον πλησιέστερο γείτονα. Οι τροχιές φαίνονταν καθαρές σε δοκιμές με ένα ψάρι. Σε δοκιμές με ομάδες, τα δεδομένα έδειχναν αδύνατες μετατοπίσεις. Τα ψάρια φαίνονταν να τηλεμεταφέρονται σε διαφορετικά σημεία της ενόργανης περιοχής και στη συνέχεια να επιστρέφουν.
Το πρόβλημα ήταν η ανταλλαγή ταυτότητας κατά τη διάσχιση των τροχιών. Η ομάδα πρόσθεσε ένα φίλτρο Kalman για πρόβλεψη και αντικατέστησε την αντιστοίχιση με τον πλησιέστερο γείτονα με την αντιστοίχιση Ουγγρικής μεθόδου. Προστέθηκε επίσης μια απλή χαρακτηριστική πληροφορία εμφάνισης βασισμένη στο σχήμα της ουράς στον πίνακα κόστους. Οι τηλεμεταφορές σταμάτησαν. Οι τροχιές χρειάζονταν ακόμα επισκόπηση με το χέρι κατά την πυκνή σχολίαση, αλλά το σύνολο δεδομένων έγινε χρησιμοποιήσιμο. Το διδακτικό συμπέρασμα δεν ήταν ότι ένας αλγόριθμος είναι πάντα καλύτερος. Ήταν ότι ο αλγόριθμος πρέπει να ταιριάζει με την κοινωνική συμπεριφορά των ζώων.
Η αντιστοίχιση αλγορίθμων με το βιολογικό ερώτημα και τη διάταξη
Καμία οικογένεια αλγορίθμων δεν επικρατεί παντού. Ένας απλός αλγόριθμος εντοπισμού κεντροειδούς είναι εντάξει για ένα μόνο σκουλήκι σε πλάκα 24-φραγμάτων. Ένας αλγόριθμος εντοπισμού με εμβύθιση μάθησης (deep learning) μπορεί να είναι υπερβολικός για την ίδια δοκιμή, αλλά απαραίτητος για ένα πυκνοκατοικημένο ενυδρείο ενηλίκων. Η κατάλληλη επιλογή εξαρτάται από την πυκνότητα των ψαριών, την πολυπλοκότητα του περιβάλλοντος, τη σταθερότητα του φωτισμού και το βιολογικό ερώτημα.
Εξαρτάται επίσης από τη διάταξη. Ένα σταθερό πρόστημα κάμερας, ομοιόμορφος φωτισμός και ένα καθαρό φόντο καθιστούν τους κλασικούς αλγορίθμους πολύ πιο αποτελεσματικούς. Ένα τρεμάμενο πρόστημα ή ένας αναβοσβήνων φωτισμός υποχρεώνουν το λογισμικό να αντισταθμίζει προβλήματα που θα έπρεπε να έχουν επιλυθεί μηχανικά. Η ακρίβεια εντοπισμού είναι μια ιδιότητα του συστήματος, όχι απλώς μια λειτουργία του λογισμικού.
Η Hunter Lab (Hunter) κατασκευάζει εξοπλισμό εργαστηρίου για τη μελέτη ζωϊκών μοντέλων zebrafish, με ιδιαίτερη προσοχή στη μηχανική και οπτική σταθερότητα που απαιτούν οι αλγόριθμοι παρακολούθησης. Η πλευρά κατασκευής και ελέγχου ποιότητας υποστηρίζει τη συνοχή που απαιτούν οι πολυ-συστημικές μελέτες συμπεριφοράς. Για εργαστήρια που επιθυμούν τα δεδομένα παρακολούθησης να αντικατοπτρίζουν τη βιολογία και όχι τα τεχνητήματα της αναλυτικής διαδικασίας, αυτή η σταθερότητα αποτελεί μέρος της βάσης.