Pourquoi le choix de l’algorithme façonne chaque jeu de données de trajectoire
Un système de suivi des trajectoires de poisson-zèbre n’est aussi bon que les algorithmes qui fonctionnent sous la caméra. Le matériel capture des pixels. Le logiciel décide ce que ces pixels signifient. Deux laboratoires peuvent utiliser la même caméra, la même arène et le même éclairage, mais aboutir à des jeux de données très différents, car un pipeline gère efficacement les occultations tandis que l’autre ne le fait pas. Les algorithmes de suivi se trouvent au cœur de cette différence.
La tâche se divise en trois parties. La détection repère les poissons dans chaque image. L’association relie les détections entre les images afin qu’un poisson conserve la même identité. Le lissage estime le trajet réel lorsque les détections sont bruitées ou manquantes. Différentes familles d’algorithmes traitent ces parties selon des hypothèses variées, et ces hypothèses déterminent ce que les données peuvent soutenir.
La soustraction du fond et le seuillage restent la première ligne de défense
La plupart des chaînes de traitement commencent par une méthode permettant de séparer les poissons du fond. La soustraction du fond construit un modèle de l’arène vide et signale les pixels qui s’écartent de ce modèle. Le seuillage transforme ensuite la carte des différences en un masque binaire. Des opérations morphologiques éliminent les petits trous et les pixels parasites.
Cette approche est rapide et fonctionne bien lorsque l’arrière-plan est statique et que le contraste est satisfaisant. Un poisson sombre sur une arène lumineuse est facile à détecter. Des problèmes apparaissent lorsque l’éclairage varie, que les reflets se déplacent ou que des bulles et des débris entrent dans le champ. Une ombre peut ressembler à un poisson. Un poisson proche d’un mur peut se fondre dans le bord. La soustraction d’arrière-plan éprouve également des difficultés lorsque les poissons se chevauchent, car le masque devient une seule tache au lieu de deux.
Le suivi par centroïde et l’appariement par plus proche voisin conviennent aux arènes simples
Une fois les poissons détectés, la méthode la plus simple pour relier les images est le suivi par centroïde. Le centroïde de chaque tache est calculé, et le centroïde le plus proche dans l’image suivante est supposé correspondre au même poisson. L’appariement par plus proche voisin est facile à implémenter et fonctionne bien pour un seul poisson ou quelques poissons restant éloignés les uns des autres.
Le mode de défaillance est l’altération de l’identité. Lorsque deux poissons se croisent, le centroïde le plus proche peut appartenir au mauvais poisson. Le dispositif de suivi échange alors leurs identités, et les données de trajectoire deviennent incohérentes. Ce n’est pas un cas rare ou marginal. Les zébradans sont des poissons sociaux et nagent fréquemment très près les uns des autres. Une chaîne de traitement qui néglige la persistance de l’identité produit des trajectoires visuellement impeccables, mais biologiquement erronées.
Les filtres de Kalman intègrent la prédiction du mouvement dans la chaîne de traitement
Un filtre de Kalman ajoute un modèle de mouvement. Au lieu de supposer que le poisson reste immobile entre deux images, le filtre prédit sa position attendue en fonction de sa vitesse précédente. Cette prédiction est comparée à la nouvelle détection, puis l’estimation de l’état est mise à jour. Cela atténue les mesures bruitées et permet de compenser l’absence d’une détection sur une ou deux images.
Le filtre de Kalman standard suppose un mouvement linéaire et un bruit gaussien. Un poisson-zèbre ne coopère pas toujours : il peut tourner brusquement, faire des sprints ou stationner. Les filtres de Kalman étendus et les filtres à particules assouplissent certaines de ces hypothèses, mais ajoutent de la complexité. Le bénéfice pratique reste toutefois réel : même un modèle simple de vitesse constante réduit les fluctuations et améliore la continuité des pistes en eau libre.
L’assignation hongroise et le suivi multi-objets préservent l’identité des objets
L’algorithme hongrois résout le problème d’assignation. Étant donnée une matrice de coûts évaluant la probabilité qu’une détection donnée corresponde à une piste existante, l’algorithme détermine l’appariement un-à-un qui minimise le coût total. Ce coût peut combiner distance, apparence et prédiction de mouvement. C’est la pierre angulaire de méthodes de suivi multi-objets telles que SORT et DeepSORT.
-
Prédire la position de chaque piste à l’aide d’un modèle de mouvement.
-
Calculer une matrice de coûts entre les pistes et les nouvelles détections.
-
Résoudre l’assignation à l’aide de l’algorithme hongrois.
-
Mettre à jour les pistes appariées et traiter les détections non appariées comme de nouvelles ou perdues.
DeepSORT ajoute un descripteur d’apparence, souvent un petit réseau neuronal, afin de permettre la réidentification des poissons après une occlusion. Cela est utile lorsque deux poissons se croisent puis se séparent. Le coût en est une augmentation de la charge de calcul et un réglage plus poussé. L’étape d’assignation n’est aussi fiable que la matrice des coûts, et une matrice mal pondérée peut encore provoquer des échanges d’identité.
| Famille d’algorithmes | Résistance | Faiblesse | Meilleure adéquation |
|---|---|---|---|
| Soustraction d’arrière-plan | Rapide et simple | Sensible à la lumière et aux débris | Arène statique, fort contraste |
| Centroïde avec voisin le plus proche | Facile à implémenter | Échanges d’identité | Poison unique ou faible densité |
| Filtre de Kalman | Lisse le bruit et prédit | Hypothèse de mouvement linéaire | Champ ouvert, vitesse modérée |
| Affectation hongroise | Appariement optimal un-à-un | Réglage de la matrice des coûts | Suivi de plusieurs poissons |
| Traceur par apprentissage profond | Gère l’occultation et l’apparence | Nécessite des données et une carte graphique (GPU) | Scènes complexes, forte variabilité |
Les traqueurs basés sur l’apprentissage profond améliorent la précision et modifient les besoins matériels
L’apprentissage profond s’est largement imposé dans le suivi des zébradans. Des détecteurs d’objets tels que YOLO et Faster R-CNN permettent de localiser les poissons sans soustraction d’arrière-plan. Des outils d’estimation de posture comme DeepLabCut suivent les parties du corps, pas seulement les centres de masse. Des réseaux de ré-identification comparent l’apparence d’une image à l’autre. Les réseaux transformateurs et les réseaux siamois sont également utilisés pour le suivi.
Les gains sont réels dans les scènes encombrées ou variables. Les coûts le sont tout autant. Les données d’entraînement doivent être étiquetées, souvent image par image. L’inférence nécessite une carte graphique (GPU) si le taux d’images par seconde est élevé. Les modèles entraînés avec l’éclairage et la souche de poisson propres à un laboratoire peuvent ne pas être généralisables à un autre. Un traqueur basé sur l’apprentissage profond n’est pas un remplacement direct d’un pipeline classique. Il modifie le budget matériel, la charge de travail d’annotation et la stratégie de validation.
Un exemple concret issu du terrain où une inadéquation algorithmique a provoqué des échanges d’identité
Une installation universitaire spécialisée dans l’étude du comportement, située dans le sud de la Chine, exploitait un dispositif de suivi multi-réservoir. Le pipeline initial reposait sur la soustraction d’arrière-plan et l’appariement par plus proche voisin. Les trajectoires semblaient propres lors des essais avec un seul poisson. Lors des essais en groupe, les données révélaient des sauts impossibles : les poissons semblaient se téléporter à travers l’arène, puis revenir.
Le problème provenait des inversions d’identité lors des croisements. L’équipe a intégré un filtre de Kalman pour la prédiction et remplacé l’appariement par plus proche voisin par une affectation hongroise. Une caractéristique d’apparence simple, fondée sur la forme de la nageoire caudale, a été ajoutée à la matrice des coûts. Les téléportations ont cessé. Toutefois, un examen manuel restait nécessaire durant les regroupements denses, bien que l’ensemble de données soit désormais exploitable. La leçon n’était pas qu’un algorithme est systématiquement supérieur à un autre, mais que l’algorithme doit correspondre au comportement social des animaux.
L’adéquation entre les algorithmes et la question biologique, ainsi que le dispositif expérimental
Aucune famille d’algorithmes ne s’impose universellement. Un simple traqueur de centroïde convient parfaitement pour une seule larve dans une plaque à 24 puits. Un traqueur basé sur l’apprentissage profond peut être excessif pour ce même test, mais indispensable dans un aquarium d’adultes surchargé. Le choix approprié dépend de la densité des poissons, de la complexité de l’enceinte, de la stabilité de l’éclairage et de la question biologique posée.
Cela dépend aussi de la configuration expérimentale. Un support stable pour la caméra, un éclairage uniforme et un fond propre permettent aux algorithmes classiques de fonctionner bien plus efficacement. Un support instable ou un éclairage vacillant obligent le logiciel à compenser des problèmes qui auraient dû être résolus par des moyens mécaniques. La précision du suivi est une propriété du système dans son ensemble, pas seulement une caractéristique logicielle.
Hunter Lab (Hunter) conçoit des équipements de laboratoire pour zébradans avec une attention particulière portée à la stabilité mécanique et optique dont dépendent les algorithmes de suivi. La fabrication et le contrôle qualité garantissent la cohérence requise pour les études comportementales multi-plateformes. Pour les laboratoires souhaitant que les données de suivi reflètent la biologie plutôt que des artefacts liés au pipeline, cette stabilité constitue un fondement essentiel.