Зашто избор алгоритма обликује сваки скуп података о путањи
Систем за праћење путање зебрице је добар колико и алгоритми који раде испод камере. Хардвер снима пикселе. Софтвер одлучује шта ти пиксели значе. Две лабораторије могу користити исту камеру, исту арену и исто осветљење, али ипак добити веома различите скупове података јер један цевовод добро обрађује заклон, а други не. Алгоритми за праћење су у средишту те разлике.
Посао се дели на три дела. Детекција проналази рибу у сваком фрејму. Асоцијација повезује детекције кроз фрејмове тако да риба задржи исти идентитет. Изравнавање процењује праву путању када су детекције бучне или недостају. Различите породице алгоритама обрађују те делове са различитим претпоставкама, а те претпоставке одређују шта подаци могу да подрже.
Одузимање позадине и праг остају прва линија одбране
Већина цевовода почиње начином одвајања рибе од позадине. Одузимање позадине гради модел празне арене и означава пикселе који се разликују од тог модела. Праг затим претвара мапу разлике у бинарну маску. Морфолошке операције чисте мале рупе и залутале пикселе.
Овај приступ је брз и добро функционише када је позадина статична, а контраст пристојан. Тамна риба на светлом пољу је једноставна за снимање. Проблеми се јављају када се светлост помера, рефлексије се померају или мехурићи и остаци улазе у кадар. Сенка може изгледати као риба. Риба близу зида може се стопити са ивицом. Одузимање позадине такође има проблема када се рибе преклапају, јер маска постаје једна мрља уместо две.
Праћење центроида и упаривање најближег суседа обрађују једноставне арене
Када се рибе детектују, најједноставнији начин повезивања фрејмова је праћење центроида. Израчунава се центроид сваке мрље, а претпоставља се да је најближи центроид у следећем фрејму иста риба. Упаривање најближег суседа је лако имплементирати и добро функционише за једну рибу или неколико риба које остају далеко једна од друге.
Начин квара је замена идентитета. Када се две рибе укрсте, најближи центроид може припадати погрешној риби. Трагач мења идентитете, а подаци о путањи постају збркани. Ово није редак гранични случај. Зебрице су друштвене и често пливају близу једна другој. Цевовод који игнорише постојаност идентитета произвешће прелепе трагове који су биолошки погрешни.
Калманови филтери доносе предвиђање кретања у цевовод
Калманов филтер додаје модел кретања. Уместо претпоставке да риба мирује између фрејмова, филтер предвиђа где би требало да се налази на основу претходне брзине. Предвиђање се упоређује са новом детекцијом, а процена стања се ажурира. Ово ублажава шум у мерењима и помаже када детекција недостаје један или два фрејма.
Стандардни Калманов филтер претпоставља линеарно кретање и Гаусов шум. Зебрица не сарађује увек. Може нагло да се окрене, да се стрела или да лебди. Проширени Калманови филтери и филтери честица ублажавају неке од тих претпоставки, али додају сложеност. Практична корист је и даље стварна. Чак и једноставан модел константне брзине смањује подрхтавање и побољшава континуитет путање у отвореној води.
Мађарско додељивање и праћење више објеката одржавају идентитете исправним
Мађарски алгоритам решава проблем доделе. Дата је матрица трошкова која бодује колико је вероватно да ће свака детекција одговарати свакој постојећој стази, алгоритам проналази један-на-један подударање које минимизира укупне трошкове. Трошкови могу комбиновати удаљеност, изглед и предвиђање кретања. Ово је окосница метода праћења више објеката као што су SORT и DeepSORT.
-
Предвидите сваки положај пруге користећи модел кретања.
-
Израчунајте матрицу трошкова између трагова и нових детекција.
-
Реши задатак мађарским алгоритмом.
-
Ажурирате одговарајуће траке и третирате неодговарајуће детекције као нове или изгубљене.
DeepSORT додаје дескриптор изгледа, често малу неврону мрежу, тако да се риба може поново идентификовати након оклузије. То помаже када се две рибе прелазе и затим се одвоје. Трошкови су више рачунања и више подешавања. Корак доделе је само добар као и матрица трошкова, а лоше тежи матрица и даље може произвести замене.
| Семеј алгоритама | Čvrstoća | Слабост | Најбоље решење |
|---|---|---|---|
| Подразање позадине | Брзо, једноставно | Осетљив на светлост и остатке | Статичка арена, висока контрастност |
| Центроид са најближим суседом | Лако је имплементирати | Замена идентитета | Јединица рибе или мала густина |
| Калман филтер | Ублажава буку и предвиђа | Претпоставка линеарног кретања | Отворено поље, умерене брзине |
| Порука у Мађарској | Оптимално усаглашавање један на један | Налагођивање матрице трошкова | Слеђење више риба |
| Следећи дубоко учење | Ручи оклузију и изглед | Потребно је датотеке и ГПУ | Сложне сцене, велика варијабилност |
Трекер за дубоко учење повећава тачност и мења потребе за хардвером
Дубоко учење се у великој мери преселило у праћење зебра рибе. Детектори објеката као што су YOLO и Faster R-CNN могу пронаћи рибу без одузимања позадине. Инструменти за процену позиције као што је DeepLabCut могу пратити делове тела, а не само центриоде. Мрежа за реидентификацију може да упореди изглед преко оквира. Трансформатори и сијамске мреже такође се користе за праћење.
Добитак је реалан у претјераним или променљивим сценкама. Кошта су такође стварна. Подаци о обуци морају бити означени, често кадр по кадр. Инфференција треба ГПУ ако је брзина кадра висока. Модели обучени на осветљењу једне лабораторије и на соју рибе можда се не генерализују на другу. Следећи систем за дубоко учење није замена за класични пипелијн. Променио је хардверски буџет, наметнуто радно оптерећење и стратегију валидације.
Пример поља у којем је неисправност алгоритма изазвала замену идентитета
Поводећи се у основном објекту на универзитету у јужној Кини, радила је на мулти-танковом праћењу. Први пут је коришћен фонов одузимање и ближи суседски одговарајући. У експериментима са рибом трагови су изгледали чисто. У груповим испитивањем, подаци су показали немогуће скокове. Рибе су се телепортирале преко арене и назад.
Проблем је био размена идентитета током преласка. Тим је додао Калман филтер за предвиђање и заменио најближег суседа мађарским задатком. Једноставна карактеристика изгледа заснована на облику репа додата је матрици трошкова. Телепортација је престала. Путке су још увек требале ручно прегледати током густог школовања, али се скуп података постао користан. Урок није био да је један алгоритам увек бољи. То је било да алгоритам мора да одговара друштвеном понашању животиња.
Успоређивање алгоритама са биолошком питањем и платформом
Ниједна породица алгоритама не побеђује свуда. Једноставни тракери централа су добри за једну ларву у 24-купаном плочу. Следећи систем за дубоко учење може бити претерано за исти тест, али је неопходан за густо препуни резервоар. Прави избор зависи од густине риба, сложености арене, стабилности осветљења и биолошког питања.
То такође зависи од алата. Стабилна камера, једнака осветљеност и чиста позадина чине да класични алгоритми раде много боље. Несигурна монтажа или трепетање светлости присиљавају софтвер да компензује проблеме које би требало да се реше механички. Точност праћења је својство система, а не само софтверска карактеристика.
Хант Лаб (Хант) гради лабораторијску опрему за зебра рибе са пажњом на механичку и оптичку стабилност на коју зависе алгоритми за праћење. Производња и контрола квалитета подржавају конзистенцију коју захтевају студије понашања више-риг. За лабораторије које желе да трагачки подаци одражавају биологију, а не артефакте цеви, стабилност је део темеља.