Чому вибір алгоритму визначає кожен набір даних траєкторій
Система відстеження траєкторій зебрафіш настільки добра, наскільки добрі алгоритми, що працюють під камерою. Апаратне забезпечення захоплює пікселі. Програмне забезпечення вирішує, що ці пікселі означають. Два наукових колективи можуть використовувати одну й ту саму камеру, одну й ту саму арену й однакове освітлення, але отримати дуже різні набори даних, оскільки один конвеєр добре обробляє перекриття, а інший — ні. Алгоритми відстеження знаходяться в центрі цієї різниці.
Завдання розбивається на три частини. Виявлення визначає рибу на кожному кадрі. Асоціація зв’язує виявлення між кадрами, щоб риба зберігала ту саму ідентичність. Згладжування оцінює справжню траєкторію, коли виявлення є шумними або відсутніми. Різні сімейства алгоритмів обробляють ці частини за різних припущень, а ці припущення визначають, які дані можна підтримати.
Віднімання фону та порогове перетворення залишаються першою лінією оборони
Більшість конвеєрів починаються з методу, що відокремлює рибу від фону. Віднімання фону створює модель порожньої арени й позначає пікселі, що відрізняються від цієї моделі. Порогове перетворення потім перетворює карту різниць у бінарну маску. Морфологічні операції усувають малі отвори та випадкові пікселі.
Цей підхід швидкий і добре працює, коли фон статичний, а контраст достатній. Темна риба на яскравому тлі — це просто. Проблеми виникають, коли змінюється освітлення, рухаються відблиски або в кадр потрапляють бульбашки й сміття. Тінь може виглядати як риба. Риба поблизу стінки може злитися з її краєм. Віднімання фона також неспроможне, коли риби накладаються одна на одну, бо маска перетворюється на один плямистий об’єкт замість двох.
Відстеження центроїдів і співставлення за найближчим сусідом працюють у простих акваріумах
Після виявлення риб найпростішим способом зв’язування кадрів є відстеження центроїдів. Обчислюється центроїд кожного плямистого об’єкта, і припускається, що найближчий центроїд у наступному кадрі належить тій самій рибі. Співставлення за найближчим сусідом легко реалізувати й добре працює для однієї риби або кількох риб, які тримаються на значній відстані одна від одної.
Режим збою — це помилкова заміна ідентифікаторів. Коли дві рибини перетинають траєкторії, найближчий центроїд може належати неправильній рибині. Система відстеження міняє їх ідентифікатори, і дані траєкторій стають хаотичними. Це не рідкісний крайовий випадок. Зебрафіші соціальні й часто плавають дуже близько одна до одної. Підхід, який ігнорує сталість ідентифікаторів, породжує візуально привабливі траєкторії, але з біологічною помилкою.
Фільтри Кальмана вводять у процес передбачення руху
Фільтр Кальмана додає модель руху. Замість припущення, що рибина залишається нерухомою між кадрами, фільтр передбачає її нове положення на основі попередньої швидкості. Це передбачення порівнюється з новим виявленням, і оцінка стану оновлюється. Це згладжує шумні вимірювання й допомагає у випадках, коли виявлення відсутнє протягом одного-двох кадрів.
Стандартний фільтр Калмана припускає лінійний рух і гаусовий шум. Зебrafish не завжди співпрацює. Він може різко повертати, ривком рухатися або зависати. Розширені фільтри Калмана та фільтри частинок послаблюють деякі з цих припущень, але додають складності. Практична вигода залишається реальною. Навіть проста модель постійної швидкості зменшує дрожання й покращує неперервність траєкторій у відкритій воді.
Угорське призначення та відстеження кількох об’єктів забезпечують чітку ідентифікацію
Угорський алгоритм розв’язує задачу призначення. За заданою матрицею вартості, що оцінює ймовірність відповідності кожної нової детекції кожній існуючій траєкторії, алгоритм знаходить взаємно однозначне співставлення, яке мінімізує загальну вартість. Вартість може поєднувати відстань, зовнішній вигляд та прогноз руху. Це основа методів відстеження кількох об’єктів, таких як SORT і DeepSORT.
-
Прогнозувати позицію кожної траєкторії за допомогою моделі руху.
-
Обчислити матрицю вартості між траєкторіями та новими детекціями.
-
Розв’язати задачу призначення за допомогою угорського алгоритму.
-
Оновити відповідні треки та обробляти невідповідні виявлення як нові або втрачені.
DeepSORT додає описник зовнішнього вигляду, зазвичай невелику нейромережу, щоб риб можна було повторно ідентифікувати після закриття. Це корисно, коли дві риби перетинаються, а потім розходяться. Вартість — більше обчислень і більше налаштувань. Крок призначення є таким самим точним, як і матриця вартостей, а погано зважена матриця все ще може призводити до замін ідентифікаторів.
| Сім’я алгоритмів | Міцності | Слабкість | Найкращий вибір |
|---|---|---|---|
| Віднімання фону | Швидко, просто | Чутливий до світла й забруднень | Статична арена, високий контраст |
| Центроїд із найближчим сусідом | Легко реалізувати | Заміни ідентифікаторів | Одинична риба або низька щільність |
| Фільтр Калмана | Згладжує шум і прогнозує | Припущення про лінійний рух | Відкрите поле, помірна швидкість |
| Угорське призначення | Оптимальне взаємно однозначне співставлення | Налаштування матриці вартості | Відстеження кількох риб |
| Трекер на основі глибокого навчання | Обробляє приховування та зміни зовнішності | Потребує даних і GPU | Складні сцени, висока мінливість |
Трекери на основі глибокого навчання підвищують точність і змінюють апаратні вимоги
Глибоке навчання масштабно увійшло в трекінг зебrafish. Детектори об’єктів, такі як YOLO та Faster R-CNN, можуть виявляти риб без віднімання фону. Інструменти оцінки пози, наприклад DeepLabCut, дозволяють відстежувати частини тіла, а не лише центроїди. Мережі повторної ідентифікації можуть порівнювати зовнішність між кадрами. Для трекінгу також застосовують трансформери та сіамські мережі.
Переваги є реальними в переповнених або змінних сценах. Але й витрати також реальні. Навчальні дані потрібно розмічати, часто кадр за кадром. Для високого темпу кадрів висновування вимагає GPU. Моделі, навчені на освітленні та штамі риб одного лабораторного закладу, можуть не узагальнюватися на інші. Трекер на основі глибокого навчання — це не прямий замінник класичного конвеєра. Він змінює бюджет на апаратне забезпечення, обсяг роботи з анотацією та стратегію валідації.
Приклад із практики, де невідповідність алгоритму призвела до помилкової заміни ідентифікаторів
У науково-дослідному центрі поведінки при університеті в південному Китаї працювала багатобакова система відстеження. Початкова обробка даних ґрунтувалася на відніманні фону та зіставленні за принципом найближчого сусіда. У випадку одного рибки траєкторії виглядали чисто. Під час експериментів із групою риб у даних спостерігалися фізично неможливі стрибки: рибки ніби телепортувалися через арену й потім поверталися назад.
Проблема полягала в помилковому зіставленні особин під час перехрещень. Команда додала фільтр Кальмана для прогнозування й замінила зіставлення за принципом найближчого сусіда на угорське зіставлення. До матриці вартостей також додали просту ознаку зовнішнього вигляду, засновану на формі хвоста. Телепортації припинилися. Проте під час щільного школінгу траєкторії все ще потребували ручної перевірки, але набір даних став придатним до використання. Головний висновок полягав не в тому, що один алгоритм завжди кращий. Він полягав у тому, що алгоритм має відповідати соціальній поведінці тварин.
Підбір алгоритмів під біологічне запитання та конфігурацію системи
Жодна єдина сім’я алгоритмів не є універсальною. Простий трекер на основі центроїда цілком підходить для відстеження одного личинка в планшеті з 24 лунками. Глибокий навчальний трекер може бути надмірним для того самого аналізу, але є обов’язковим для переповненої акваріумної ємності з дорослими рибами. Правильний вибір залежить від щільності риб, складності арени, стабільності освітлення та біологічного запитання.
Це також залежить від установки. Стабільне кріплення камери, рівномірне освітлення та чистий фон значно покращують роботу класичних алгоритмів. Нестабільне кріплення або мерехтливе освітлення змушують програмне забезпечення компенсувати проблеми, які слід було вирішити механічно. Точність відстеження — це властивість усієї системи, а не лише функція програмного забезпечення.
Hunter Lab (Hunter) виробляє обладнання для лабораторій, що працюють із даними про зебrafish, з урахуванням механічної та оптичної стабільності, від якої залежать алгоритми відстеження. Виробництво та контроль якості забезпечують узгодженість, необхідну для поведінкових досліджень із використанням кількох установок. Для лабораторій, які хочуть, щоб дані відстеження відображали біологічні процеси, а не артефакти обробки, така стабільність є однією з основних складових.