Почему выбор алгоритма определяет каждый набор данных траекторий
Система отслеживания траекторий зебрафиш настолько хороша, насколько хороши алгоритмы, работающие под камерой. Аппаратное обеспечение захватывает пиксели. Программное обеспечение решает, что означают эти пиксели. Две лаборатории могут использовать одну и ту же камеру, одну и ту же арену и одинаковое освещение, но получить совершенно разные наборы данных, поскольку один конвейер хорошо справляется с перекрытиями, а другой — нет. Алгоритмы отслеживания находятся в центре этой разницы.
Работа разбивается на три части. Обнаружение находит рыбу на каждом кадре. Сопоставление связывает обнаруженные объекты между кадрами, чтобы одна и та же рыба сохраняла одинаковый идентификатор. Сглаживание оценивает истинную траекторию при шумных или отсутствующих обнаружениях. Различные семейства алгоритмов решают эти задачи с разными предположениями, а сами предположения определяют, какие выводы можно сделать на основе данных.
Вычитание фона и пороговая обработка по-прежнему остаются первым этапом обработки
Большинство конвейеров начинаются с метода отделения рыбы от фона. Вычитание фона строит модель пустой арены и выделяет пиксели, отличающиеся от этой модели. Пороговая обработка затем преобразует карту различий в бинарную маску. Морфологические операции устраняют мелкие дырки и случайные пиксели.
Этот подход работает быстро и хорошо, если фон статичен, а контраст достаточен. Тёмная рыба на ярком фоне распознаётся легко. Проблемы возникают при изменении освещения, перемещении бликов или попадании в кадр пузырьков и мусора. Тень может выглядеть как рыба. Рыба у стенки может сливаться с её краем. Вычитание фона также затрудняется при наложении рыб, поскольку маска превращается в один объект вместо двух.
Отслеживание центроидов и сопоставление по ближайшему соседу подходят для простых аквариумов
После обнаружения рыб проще всего связывать кадры с помощью отслеживания центроидов. Вычисляется центр масс каждого объекта, и предполагается, что ближайший центр масс в следующем кадре соответствует той же рыбе. Сопоставление по ближайшему соседу легко реализовать и хорошо работает при одной рыбе или нескольких рыбах, которые держатся на значительном расстоянии друг от друга.
Режим сбоя — подмена идентификаторов. Когда два объекта пересекают траектории друг друга, ближайший центроид может принадлежать не тому объекту. Отслеживающая система меняет идентификаторы местами, и данные траекторий становятся некорректными. Это не редкий пограничный случай: данио-рерио — социальные организмы и часто плавают в непосредственной близости друг от друга. Конвейер, игнорирующий сохранение идентичности, генерирует визуально привлекательные траектории, но биологически неверные.
Фильтры Калмана вводят прогноз движения в конвейер
Фильтр Калмана добавляет модель движения. Вместо предположения, что объект остаётся неподвижным между кадрами, фильтр прогнозирует его положение на основе предыдущей скорости. Прогноз сравнивается с новым обнаружением, и оценка состояния обновляется. Это сглаживает зашумленные измерения и помогает в случаях пропуска обнаружения на один–два кадра.
Стандартный фильтр Калмана предполагает линейное движение и гауссовский шум. Зебrafish не всегда сотрудничает. Он может резко поворачивать, мгновенно ускоряться или зависать на месте. Расширенные фильтры Калмана и фильтры частиц ослабляют некоторые из этих предположений, но добавляют сложность. Практическая выгода при этом остаётся реальной. Даже простая модель постоянной скорости снижает дрожание и улучшает непрерывность траекторий в открытом водоёме.
Венгерский алгоритм сопоставления и многоточечное отслеживание сохраняют целостность идентификаторов объектов
Венгерский алгоритм решает задачу сопоставления. При заданной матрице затрат, оценивающей вероятность соответствия каждого обнаруженного объекта каждой существующей траектории, алгоритм находит однозначное соответствие, минимизирующее суммарные затраты. Затраты могут объединять расстояние, внешнее сходство и прогноз движения. Это основа методов многоточечного отслеживания, таких как SORT и DeepSORT.
-
Прогнозировать положение каждой траектории с помощью модели движения.
-
Вычислить матрицу затрат между траекториями и новыми обнаружениями.
-
Решить задачу сопоставления с помощью венгерского алгоритма.
-
Обновление совпадающих треков и обработка несовпадающих обнаружений как новых или утерянных.
DeepSORT добавляет дескриптор внешнего вида, зачастую небольшую нейронную сеть, что позволяет повторно идентифицировать рыб после заслонения. Это полезно, когда две рыбы пересекаются, а затем разделяются. Недостаток — повышенные вычислительные затраты и необходимость более тонкой настройки. Этап сопоставления работает не лучше, чем матрица стоимости, а плохо взвешенная матрица по-прежнему может приводить к подмене идентификаторов.
| Семейство алгоритмов | Прочности | Слабость | Оптимальное соответствие |
|---|---|---|---|
| Вычитание фона | Быстро, просто | Чувствительно к освещению и мусору | Статичный аквариум, высокий контраст |
| Центроид с ближайшим соседом | Легко реализовать | Подмена идентификаторов | Один рыбка или низкая плотность |
| Фильтр Калмана | Сглаживает шум и прогнозирует | Предположение о линейном движении | Открытое поле, умеренная скорость |
| Венгерское сопоставление | Оптимальное взаимно однозначное сопоставление | Настройка матрицы затрат | Отслеживание нескольких рыбок |
| Трекер на основе глубокого обучения | Обрабатывает заслонение и изменение внешнего вида | Требуются данные и графический процессор | Сложные сцены, высокая изменчивость |
Трекеры на основе глубокого обучения повышают точность и меняют требования к оборудованию
Глубокое обучение широко внедрено в отслеживании данио-рерио. Детекторы объектов, такие как YOLO и Faster R-CNN, способны обнаруживать рыб без вычитания фона. Инструменты оценки позы, например DeepLabCut, позволяют отслеживать части тела, а не только центроиды. Сети повторной идентификации могут сравнивать внешний вид между кадрами. Для отслеживания также применяются трансформеры и сайамские сети.
Преимущества действительно проявляются в переполненных или изменчивых сценах. Однако и затраты тоже реальны. Обучающие данные необходимо размечать, зачастую по каждому кадру. Для вывода требуется графический процессор, если частота кадров высока. Модели, обученные на освещении и штамме рыб одной лаборатории, могут не обобщаться на другую. Трекер на основе глубокого обучения — не прямая замена классическому конвейеру. Он меняет бюджет оборудования, объём аннотационной работы и стратегию верификации.
Пример из практики, где несоответствие алгоритма привело к подмене идентификаторов
В поведенческом исследовательском центре университета на юге Китая работала установка для отслеживания объектов в нескольких резервуарах. Первоначальный конвейер использовал вычитание фона и сопоставление по ближайшему соседу. Траектории выглядели чистыми при испытаниях с одной рыбой. При групповых испытаниях данные демонстрировали невозможные скачки: рыбы как будто телепортировались через арену, а затем возвращались обратно.
Проблема заключалась в перепутывании идентификаторов при пересечениях траекторий. Команда добавила фильтр Калмана для прогнозирования и заменила сопоставление по ближайшему соседу венгерским алгоритмом назначения. В матрицу стоимости была включена простая функция внешнего вида, основанная на форме хвоста. Эффект «телепортации» исчез. Тем не менее, при плотном косяке траектории по-прежнему требовали ручной проверки, однако набор данных стал пригодным для использования. Главный вывод состоял не в том, что один алгоритм всегда лучше другого, а в том, что алгоритм должен соответствовать социальному поведению животных.
Соответствие алгоритмов биологическому вопросу и экспериментальной установке
Ни одно семейство алгоритмов не является универсальным решением. Простой трекер на основе центроида вполне подходит для отслеживания одной личинки в планшете с 24 лунками. Глубокий трекер на основе глубокого обучения может оказаться избыточным для этого же анализа, но окажется незаменимым при работе с переполненным аквариумом взрослых рыб. Правильный выбор зависит от плотности рыб, сложности арены, стабильности освещения и биологического вопроса.
Выбор также зависит от оборудования. Стабильное крепление камеры, равномерное освещение и чистый фон значительно повышают эффективность классических алгоритмов. Нестабильное крепление или мерцающий свет вынуждают программное обеспечение компенсировать проблемы, которые следовало бы устранить на механическом уровне. Точность трекинга — это свойство всей системы, а не только программной функции.
Hunter Lab (Hunter) создаёт оборудование для лабораторий по изучению данио-рерио с особым вниманием к механической и оптической стабильности, от которой зависят алгоритмы отслеживания. Производство и контроль качества обеспечивают согласованность, необходимую для поведенческих исследований с использованием нескольких установок. Для лабораторий, стремящихся к тому, чтобы данные отслеживания отражали биологию, а не артефакты обработки, такая стабильность является частью фундамента.