Algoritm tandau har bir traektoriya derектer jynysyna qanday ta'sir etedi
Zebrafish traektoriyasyndagy izdeu juyesi kameralardyq astynda isleytugyn algoritmlerge baylanysty. Qurlym piksellerdi qabyldaydy. Jazbylym sol piksellerdin manasyn aniktaidy. Eki zertteu laboratoriyasy birdey kamerany, birdey arenany, birdey jaryqtylyqty paydalanyp, biraq bir juyi toqtauylardy jaksy oqytyp, ekinshisi olardy oqytalmagandyq sebepti, ote aytymdy derектer jynyslaryna iye bolady. Izdeu algoritmleri sondagy ayrimdyq ortasynda ornalasqan.
Жұмыс үш бөлікке бөлінеді. Анықтау әр кадрда балықтарды табады. Байланыстыру анықтауларды кадрлар арасында байланыстырады, сондықтан балық өзінің сол бірлігін сақтайды. Тегістеу анықтаулар шулы немесе жоқ болған кезде нақты траекторияны бағалайды. Әртүрлі алгоритмдер отбасылары осы бөліктерді әртүрлі жорамалдармен өңдейді, ал осы жорамалдар деректердің қандай қолдау көрсетуі мүмкін екенін анықтайды.
Фонды алып тастау мен порогтау әлі де бірінші қорғаныс сызығы болып табылады
Көптеген өңдеу жолдары балықтарды фоннан бөлу әдісімен басталады. Фонды алып тастау бос арена моделін құрады және осы модельден айырмашылығы бар пиксельдерді белгілейді. Порогтау одан кейін айырма картасын екілік маскаға айналдырады. Морфологиялық операциялар кішкентай тесіктер мен жалғыз пиксельдерді тазартады.
Бұл әдіс жылдам және артқы фон статикалық, контраст жақсы болған кезде жақсы жұмыс істейді. Жарық аренада қара балықты анықтау оңай. Алайда жарықтың ығысуы, шағылулардың қозғалысы немесе көпіршіктер мен ластанулар кадрға енген кезде проблемалар туындайды. Көлеңке балыққа ұқсай алады. Қабырғаға жақын орналасқан балық шетімен бірігіп кетуі мүмкін. Балықтар бір-біріне басып түскен кезде артқы фонды алып тастау әдісі де қиындыққа ұшырайды, себебі маска екі емес, бір ғана дақ болып қалады.
Центройдтық іздеу және ең жақын көршілерді салыстыру қарапайым ареналар үшін қолданылады
Балықтар анықталғаннан кейін кадрларды байланыстырудың ең қарапайым әдісі — центройдтық іздеу. Әрбір дақтың центройды есептеп шығарады, ал келесі кадрдағы ең жақын центройд балықтың сол ғана екендігі деп есептеледі. Ең жақын көршілерді салыстыру әдісін іске асыру оңай және бір немесе бірнеше балық үшін, егер олар бір-бірінен алыс орналасса, жақсы нәтиже береді.
Ақаулық режимі — бір-бірімен ауысу. Екі балық өз жолдарын қиып өткен кезде ең жақын центроид қате балыққа тиесілі болуы мүмкін. Трекер идентификаторларды ауыстырады, сондықтан траекториялық деректер бұзылады. Бұл сирек кездесетін шеткі жағдай емес. Зебрафиштер әлеуметтік тіршілік етеді және жиі бір-біріне жақын жüzеді. Идентификаторлардың тұрақтылығын ескермейтін өңдеу процесі биологиялық тұрғыдан қате, бірақ әсем көрінетін тректер береді.
Kalman сүзгілері қозғалыс болжамын өңдеу процесіне енгізеді
Kalman сүзгісі қозғалыс моделін қосады. Балықтың кадрлар арасында қозғалмайтынын болжамдамай, сүзгі оның алдыңғы жылдамдығына негізделген орнын болжайды. Болжам жаңа анықтаумен салыстырылады, содан кейін күй бағасы жаңартылады. Бұл шулы өлшеулерді тегістейді және бір немесе екі кадрда анықтау жоғалған кезде көмектеседі.
Стандарттық Калман сүзгісі сызықтық қозғалыс пен Гаусс шуын ұсынады. Зебрафиш әрқашан да ынтымақтастыққа келмейді. Ол қатты бұрылады, жедел қозғалады немесе орында тоқтайды. Кеңейтілген Калман сүзгілері мен бөлшек сүзгілері осы ұсыныстардың кейбіреулерін жеңілдетеді, бірақ олар күрделілікті арттырады. Практикалық пайда әлі де нақты. Тіпті қарапайым тұрақты жылдамдық моделі ашық суда тербелісті азайтады және іздеудің үздіксіздігін жақсартады.
Венгрлік тағайындау және көп нысанды іздеу арқылы субъектілердің тепе-теңдігі сақталады
Венгрлік алгоритм тағайындау есебін шешеді. Әрбір анықталған нысан мен әлдеқашан бар іздеулердің қаншалықты сәйкес келетінін бағалайтын шығын матрицасы берілген кезде, алгоритм жалпы шығынды минималдандыратын бірден-бірге сәйкестендіруді табады. Шығын қашықтықты, сыртқы пішінді және қозғалыс болжамын қосу арқылы есептеледі. Бұл SORT және DeepSORT сияқты көп нысанды іздеу әдістерінің негізі болып табылады.
-
Қозғалыс моделін пайдаланып, әрбір іздің орнын болжаңыз.
-
Іздер мен жаңа анықталған нысандар арасында шығын матрицасын есептеңіз.
-
Венгрлік алгоритм арқылы тағайындау есебін шешіңіз.
-
Сәйкес келетін іздерді жаңартыңыз және сәйкес келмейтін анықтауларды жаңа немесе жоғалған ретінде өңдеңіз.
DeepSORT көрініс сипаттамасын, жиі кіші нейралдық желіні қосады, сондықтан балықтар бір-бірінен жасырылғаннан кейін қайтадан анықталады. Бұл екі балық қиылысып, сосын бөлінген кезде көмектеседі. Алайда, оның қосымша есептеу қажеттілігі мен түзету көлемі де артады. Тапсырма беру қадамы тек қана шығын матрицасына тәуелді, ал жаман салмақталған матрица әлі де ауыстыруларға әкелуі мүмкін.
| Әдістер отбасысы | Қуаттылығы | Әлсіздік | Ең тиімдісі |
|---|---|---|---|
| Артқы фонды алу | Тез, қарапайым | Жарық пен ластануға сезімтал | Статикалық арена, жоғары контраст |
| Ең жақын көршімен центроид | Орындауға оңай | Тұлғалардың ауысуы | Жеке балық немесе төмен тығыздық |
| Калман сүзгісі | Шуы азайтады және болжайды | Сызықты қозғалыс тұжырымдамасы | Ашық алаң, орташа жылдамдық |
| Венгрлік тағайындау | Оптималды бірден-бірге сәйкестендіру | Құны матрицасын реттеу | Көп балықты бақылау |
| Терең оқыту бақылаушысы | Көрінбей қалу мен пайда болуды басқарады | Деректер мен GPU-ға қажеттілік бар | Күрделі сценалар, жоғары айнымалылық |
Терең оқыту негізіндегі трекерлер дәлдікті көтереді және құрылғылық талаптарын өзгертеді
Терең оқыту зебрафиштерді іздеуге кеңінен енді. YOLO және Faster R-CNN сияқты объектілерді анықтаушылар фонды алып тастаусыз балықтарды таба алады. DeepLabCut сияқты дене бөліктерін бағдарлау құралдары тек центроидтар емес, дене бөліктерін де іздей алады. Қайта-идентификациялау желілері кадрлар арасындағы сыртқы ұқсастықты салыстыра алады. Трекинг үшін трансформерлер мен саймез желілері де қолданылады.
Тығыз немесе айнымалы сценалардағы жетістіктер нағыз. Бірақ шығындар да нағыз. Оқыту деректерін белгілеу қажет, жиі әрбір кадрға жеке. Егер кадрлар жиілігі жоғары болса, қорытындылау үшін GPU қажет. Бір зертхананың жарықтандыруы мен балық тұқымы бойынша оқытылған модельдер басқа зертханаға жарамсыз болуы мүмкін. Терең оқыту негізіндегі трекер классикалық құбырлардың орнына қойылатын дайын шешім емес. Ол құрылғылық бюджетін, белгілеу жұмысының көлемін және тексеру стратегиясын өзгертеді.
Алгоритм сәйкессіздігінен туындаған тұлғалардың ауысуына мысал ретіндегі өріс жағдайы
Оңтүстік Қытайдың бір университетіндегі мінез-құлықты зерттеу орталығында көптеген аквариумдардан тұратын бақылау жүйесі іске қосылды. Бастапқы өңдеу құбылысы артқы фонды алып тастау мен ең жақын көршілерді салыстыру әдістерін қолданған. Жеке балықтардың сынақтарында траекториялар таза көрінді. Ал топтық сынақтарда деректерде мүмкін емес секірулер байқалды. Балықтар аренада бірден басқа жерге «телепортацияланып», сосын қайта орнына қайтып келді.
Проблема балықтардың өткел кезіндегі тепе-теңдігінің ауысуында болды. Топ Kalman фильтрін болжам үшін қосып, ең жақын көршілерді венгерлік сәйкестендірумен алмастырды. Құнын есептеу матрицасына құйрық пішініне негізделген қарапайым сыртқы белгі қосылды. «Телепортация» тоқтады. Бірақ тығыз балықтар тобында траекторияларды әлі де қолмен тексеру қажет болды, алайда деректер жинағы қолданысқа жарамды болды. Сабақ — бір ғана алгоритм әрқашан жақсы емес деген емес. Сабақ — алгоритм жануарлардың әлеуметтік мінез-құлқына сәйкес келуі керек деген.
Алгоритмдерді биологиялық сұрақ пен құрылғыға сәйкестендіру
Бір ғана алгоритм тобы барлық жерде жеңіске жетпейді. 24-ұяшықты пластинаға орналастырылған жалғыз личинка үшін қарапайым центроид трекері жеткілікті. Дәл сол сынақ үшін терең оқыту негізіндегі трекер артық болуы мүмкін, бірақ тығыз толтырылған ересек балықтар аквариумы үшін міндетті. Дұрыс таңдау балықтар тығыздығына, арена күрделілігіне, жарықтың тұрақтылығына және биологиялық сұраққа байланысты.
Ол сонымен қатар құрылғыға да байланысты. Тұрақты камералық орнату, біркелкі жарықтандыру және таза артқы фон классикалық алгоритмдердің әлдеқайда жақсы жұмыс істеуін қамтамасыз етеді. Тербелмелі орнату немесе жанып-сөніп тұрған жарық бағдарламалық қамтамасыз етуді механикалық тұрғыдан шешілуі керек мәселелерге қосымша қосымша өңдеуге мәжбүр етеді. Трекинг дәлдігі — бұл тек бағдарламалық құрал емес, сонымен қатар бүкіл жүйенің қасиеті.
Hunter Lab (Hunter) zebrafish зертханалық жабдықтарын механикалық және оптикалық тұрақтылыққа назар аудара өндіреді, өйткені бұл трекинг алгоритмдеріне сүйенеді. Өндіріс пен сапаны бақылау саласы көп-ригтік мінез-құлықтық зерттеулерге қажетті тұрақтылықты қамтамасыз етеді. Трекинг деректерінің биологияны, ал pipeline ақауларын емес көрсетуге талпынатын зертханалар үшін осы тұрақтылық негіз болып табылады.