Защо изборът на алгоритъм оформя всеки набор данни за траектория
Системата за проследяване на траектории на зебрадани е толкова добра, колкото са алгоритмите, които работят под камерата. Апаратното осигуряване записва пиксели. Софтуерът решава какво означават тези пиксели. Две лаборатории могат да използват една и съща камера, един и същи арена и едно и също осветление, но все пак да получат много различни набори данни, защото един обработващ поток добре се справя с прикритията, а другият – не. Алгоритмите за проследяване са в центъра на тази разлика.
Задачата се разделя на три части. Засичането намира рибите във всяка кадър. Асоциирането свързва засичанията между кадрите, така че една и съща риба запазва своята идентичност. Изглаждането оценява истинската траектория, когато засичанията са шумни или липсват. Различните семейства алгоритми обработват тези части с различни предположения, а тези предположения определят какви данни могат да бъдат поддържани.
Изваждането на фона и праговото преобразуване остават първата линия отбрана
Повечето вериги от операции започват с начин за отделяне на рибите от фона. Изваждането на фона изгражда модел на празната арена и маркира пикселите, които се различават от този модел. Праговото преобразуване след това превръща картата на разликите в двоична маска. Морфологичните операции почистват малките дупки и случайни пиксели.
Този подход е бърз и работи добре, когато фона е статичен и контрастът е добър. Тъмна риба срещу ярка арена е лесна за разпознаване. Проблеми възникват, когато осветлението се променя, отраженията се местят или мехурчета и отпадъци влязат в кадъра. Сянката може да изглежда като риба. Рибата, която е близо до стената, може да се слее с ръба. Изваждането на фона също се затруднява, когато рибите се припокриват, тъй като маската става един обем вместо два.
Проследяването по центроид и съпоставянето чрез най-близкия съсед обработват прости арени
След като рибите са открити, най-простият начин за свързване на кадрите е проследяването по центроид. Изчислява се центроидът на всеки обем, а най-близкият центроид в следващия кадър се приема за същата риба. Съпоставянето чрез най-близкия съсед е лесно за реализация и работи добре за една риба или няколко риби, които остават на разстояние една от друга.
Режимът на отказ е размяна на самоличността. Когато две риби се пресекат, най-близкият центроид може да принадлежи на погрешната риба. Следящата система разменя самоличностите и траекторните данни се превръщат в хаос. Това не е рядък краен случай. Даниота е социална риба и често плува близо една до друга. Пайплайн, който пренебрегва запазването на самоличността, ще генерира визуално привлекателни траектории, които обаче са биологически некоректни.
Филтрите на Калман включват прогнозиране на движението в пайплайна
Филтърът на Калман добавя модел на движение. Вместо да се предполага, че рибата стои неподвижна между кадрите, филтърът прогнозира къде трябва да се намира, като използва предишната скорост. Прогнозата се сравнява с новото откритие и оценката на състоянието се актуализира. Това изглажда шумните измервания и помага, когато за един или два кадъра липсва откритие.
Стандартният филтър на Калман предполага линейно движение и гаусов шум. Зебраданът не винаги сътрудничи. Той може рязко да завива, да се движи бързо или да остава неподвижен. Разширените филтри на Калман и частиците отслабват част от тези предположения, но добавят сложност. Практическата полза обаче е реална. Дори проста модел с постоянна скорост намалява трептенето и подобрява непрекъснатостта на проследяването в открито водно пространство.
Унгарският метод за присвояване и проследяване на множество обекти запазват идентичностите ясни
Унгарският алгоритъм решава задачата за присвояване. При дадена матрица на разходите, която оценява вероятността всяко откриване да съответства на всеки съществуващ трасирания път, алгоритъмът намира едно-към-едно съпоставяне, което минимизира общите разходи. Разходите могат да комбинират разстояние, външен вид и прогноза за движение. Това е основата на методите за проследяване на множество обекти като SORT и DeepSORT.
-
Прогнозирайте позицията на всеки трасирания път, използвайки модел на движение.
-
Изчислете матрица на разходите между трасирания път и новите откривания.
-
Решете задачата за присвояване с унгарския алгоритъм.
-
Актуализиране на съвпадащите траектории и обработване на несъвпадащите открития като нови или изгубени.
DeepSORT добавя дескриптор на външния вид, често малка невронна мрежа, така че рибите могат да бъдат повторно идентифицирани след засенчване. Това помага, когато две риби се пресекат и след това се разделят. Стоимостта е по-голямо изчислително натоварване и по-голяма необходимост от настройка. Стъпката за присвояване е толкова добра, колкото е матрицата на разходите, а лошо претеглена матрица все още може да води до размяна на идентичности.
| Семейство алгоритми | Якост | Слабост | Най-добро съответствие |
|---|---|---|---|
| Изваждане на фона | Бързо, просто | Чувствително към светлина и отломки | Статичен терен, висок контраст |
| Центроид с най-близкия съсед | Лесно за имплементация | Размяна на идентичности | Единична риба или ниска плътност |
| Филтър на Калман | Заглажда шума и предвижда | Предположение за линейно движение | Отворено поле, умерена скорост |
| Унгарско съпоставяне | Оптимално едно-към-едно съпоставяне | Настройка на матрицата на разходите | Проследяване на множество риби |
| Проследяващ алгоритъм въз основа на дълбоко обучение | Управлява засенчване и външен вид | Изисква данни и GPU | Сложни сцени, висока променливост |
Дълбокото обучение за проследяване повишава точността и променя изискванията към хардуера
Дълбокото обучение е влязло значително в проследяването на данио-рибки. Детектори на обекти като YOLO и Faster R-CNN могат да откриват рибки без изваждане на фона. Инструменти за оценка на позата като DeepLabCut могат да проследяват части от тялото, а не само центроиди. Мрежи за повторна идентификация могат да сравняват външния вид между кадри. Трансформатори и сигамски мрежи също се използват за проследяване.
Предимствата са реални при претъпкани или променливи сцени. Стоимостите също са реални. Обучителните данни трябва да бъдат маркирани, често кадър по кадър. Изводът изисква GPU, ако честотата на кадрите е висока. Модели, обучени върху осветлението и шепата рибки от една лаборатория, може да не се обобщават добре за друга. Проследяващият алгоритъм, базиран на дълбоко обучение, не е директна замяна на класическия пайплайн. Той променя бюджета за хардуер, натоварването за анотиране и стратегията за валидиране.
Пример от практиката, при който несъответствие на алгоритъма е довело до размяна на идентичности
Центр за поведенчески изследвания в университет в южна Китай използваше система за проследяване с множество резервоари. Първоначалният анализатор използваше изваждане на фона и съпоставяне чрез най-близкия съсед. Проследяванията изглеждаха чисти при експерименти с единична риба. При групови експерименти обаче данните показваха невъзможни скокове. Рибите изглеждаха така, сякаш телепортират през арената и след това се връщат обратно.
Проблемът беше размяна на идентичността по време на пресичания. Екипът добави филтър на Калман за прогнозиране и замени съпоставянето чрез най-близкия съсед с унгарско разпределение. В матрицата на разходите беше добавена проста функция за външния вид, базирана на формата на опашката. Телепортациите спряха. Проследяванията все още изискваха ръчен преглед при плътни школи, но наборът от данни стана използваем. Урокът не беше, че един алгоритъм винаги е по-добър. Той беше, че алгоритъмът трябва да съответства на социалното поведение на животните.
Съгласуване на алгоритми с биологичния въпрос и с оборудването
Нито един алгоритъм от дадено семейство не е универсално най-добър. Простият центроиден трекер е напълно подходящ за проследяване на една ларва в 24-дупкова плоча. Дълбокият машинен трекер може да е прекалено сложен за същия тест, но е абсолютно необходим за претъпкан аквариум с възрастни риби. Правилният избор зависи от плътността на рибите, сложността на арената, стабилността на осветлението и биологичния въпрос.
Той също така зависи от оборудването. Стабилна монтирана камера, равномерно осветление и чист фон значително подобряват работата на класическите алгоритми. Нестабилна монтирана камера или премигващо осветление принуждават софтуера да компенсира проблеми, които трябваше да бъдат решени чрез механични средства. Точността на проследяването е свойство на цялата система, а не само функция на софтуера.
Hunter Lab (Hunter) произвежда лабораторно оборудване за изследвания с данио рерио, като обръща специално внимание на механичната и оптичната стабилност, от която зависят алгоритмите за проследяване. Производствената и контролно-качествената част гарантира последователността, необходима за поведенчески проучвания с множество установки. За лабораториите, които искат данните от проследяването да отразяват биологията, а не артефактите от обработката, тази стабилност е част от основата.