एल्गोरिदम के चुनाव का प्रत्येक ट्रैजेक्टरी डेटासेट पर क्यों प्रभाव पड़ता है
एक ज़ेब्राफ़िश ट्रैजेक्टरी ट्रैकिंग प्रणाली उतनी ही अच्छी होती है जितनी अच्छे एल्गोरिदम कैमरे के नीचे चल रहे होते हैं। हार्डवेयर पिक्सेल्स को कैप्चर करता है। सॉफ़्टवेयर तय करता है कि वे पिक्सेल्स क्या अर्थ रखते हैं। दो प्रयोगशालाएँ एक ही कैमरा, एक ही एरिना और एक ही प्रकाश व्यवस्था का उपयोग कर सकती हैं, फिर भी उनके डेटासेट बहुत अलग हो सकते हैं — क्योंकि एक पाइपलाइन ओक्लूज़न को अच्छी तरह सँभालती है और दूसरी नहीं। ट्रैकिंग एल्गोरिदम उस अंतर के केंद्र में स्थित होते हैं।
कार्य को तीन भागों में विभाजित किया जाता है। पहला भाग, डिटेक्शन, प्रत्येक फ़्रेम में मछलियों का पता लगाता है। दूसरा भाग, एसोसिएशन, फ़्रेम्स के बीच डिटेक्शन को जोड़ता है ताकि कोई मछली अपनी पहचान बनाए रखे। तीसरा भाग, स्मूदिंग, उस स्थिति में सही पथ का अनुमान लगाता है जब डिटेक्शन शोरयुक्त हों या अनुपस्थित हों। विभिन्न एल्गोरिदम परिवार इन भागों को अलग-अलग मान्यताओं के आधार पर संभालते हैं, और ये मान्यताएँ यह निर्धारित करती हैं कि डेटा क्या समर्थन कर सकता है।
बैकग्राउंड सबट्रैक्शन और थ्रेशोल्डिंग अब भी पहली पंक्ति की रक्षा बनी हुई है
अधिकांश पाइपलाइन्स मछलियों और बैकग्राउंड के बीच अंतर करने के लिए किसी न किसी तरीके से शुरू होती हैं। बैकग्राउंड सबट्रैक्शन खाली एरिना का एक मॉडल बनाता है और उन पिक्सेल्स को चिह्नित करता है जो उस मॉडल से भिन्न होते हैं। फिर थ्रेशोल्डिंग अंतर मैप को एक बाइनरी मास्क में बदल देती है। मॉर्फोलॉजिकल ऑपरेशन्स छोटे छेदों और अव्यवस्थित पिक्सेल्स को साफ़ कर देते हैं।
यह दृष्टिकोण तेज़ है और तब अच्छी तरह काम करता है जब पृष्ठभूमि स्थिर होती है और विपरीतता उचित होती है। एक चमकदार मैदान के विरुद्ध एक गहरे रंग की मछली का पता लगाना आसान है। लेकिन जब प्रकाश का स्तर बदलता है, परावर्तन गतिमान होते हैं, या फ्रेम में बुलबुले और कचरा प्रवेश करते हैं, तो समस्याएँ उत्पन्न होती हैं। एक छाया मछली जैसी दिख सकती है। दीवार के पास रहने वाली मछली किनारे के साथ मिल सकती है। मछलियों के ओवरलैप होने पर पृष्ठभूमि घटाव भी कठिनाइयों का सामना करता है, क्योंकि मास्क दो के बजाय एक ही गुच्छा बन जाता है।
केंद्रक ट्रैकिंग और निकटतम पड़ोसी मिलान साधारण मैदानों के लिए उपयुक्त हैं
एक बार मछलियों का पता लग जाने के बाद, फ्रेम्स को जोड़ने का सबसे सरल तरीका केंद्रक ट्रैकिंग है। प्रत्येक गुच्छे का केंद्रक परिकलित किया जाता है, और अगले फ्रेम में निकटतम केंद्रक को उसी मछली के रूप में माना जाता है। निकटतम पड़ोसी मिलान को लागू करना आसान है और यह एकल मछली या कुछ मछलियों के लिए अच्छी तरह काम करता है जो एक-दूसरे से दूर रहती हैं।
विफलता का मोड आइडेंटिटी स्वैप है। जब दो मछलियाँ एक-दूसरे के रास्ते में आती हैं, तो निकटतम केंद्रबिंदु गलत मछली का हो सकता है। ट्रैकर आइडेंटिटीज़ को स्वैप कर देता है, और ट्रैजेक्टरी के डेटा अव्यवस्थित हो जाते हैं। यह कोई दुर्लभ सीमा केस नहीं है। ज़ेब्राफ़िश सामाजिक होती हैं और अक्सर एक-दूसरे के बहुत पास तैरती हैं। एक पाइपलाइन जो आइडेंटिटी स्थायित्व को अनदेखा करती है, वह सुंदर दिखने वाले ट्रैक उत्पन्न करेगी जो जैविक रूप से गलत होंगे।
कल्मैन फ़िल्टर गति की भविष्यवाणी को पाइपलाइन में शामिल करते हैं
एक कल्मैन फ़िल्टर एक गति मॉडल जोड़ता है। फ़्रेम्स के बीच मछली के स्थिर रहने की धारणा के बजाय, फ़िल्टर पिछले वेलोसिटी के आधार पर यह भविष्यवाणी करता है कि वह कहाँ होनी चाहिए। इस भविष्यवाणी की तुलना नए डिटेक्शन से की जाती है, और राज्य का अनुमान अपडेट किया जाता है। यह शोरयुक्त मापनों को चिकना बनाता है और तब सहायता करता है जब कोई डिटेक्शन एक या दो फ़्रेम के लिए लुप्त हो जाता है।
मानक कल्मैन फ़िल्टर रैखिक गति और गॉसियन शोर की पूर्वधारणा करता है। एक ज़ेब्राफ़िश हमेशा सहयोग नहीं करती है। यह तेज़ी से मुड़ सकती है, झपट सकती है, या स्थिर रह सकती है। विस्तारित कल्मैन फ़िल्टर और कण फ़िल्टर इन पूर्वधारणाओं में से कुछ को ढीला करते हैं, लेकिन वे जटिलता जोड़ते हैं। व्यावहारिक लाभ अभी भी वास्तविक है। यहाँ तक कि एक सरल स्थिर वेग मॉडल भी खुले पानी में झिंझोड़ को कम करता है और ट्रैक निरंतरता में सुधार करता है।
हंगेरियन असाइनमेंट और बहु-वस्तु ट्रैकिंग पहचानों को स्पष्ट रखते हैं
हंगेरियन एल्गोरिदम असाइनमेंट समस्या को हल करता है। एक लागत मैट्रिक्स दिया गया होने पर जो प्रत्येक पहचाने गए बिंदु के प्रत्येक मौजूदा ट्रैक से मेल खाने की संभावना को अंकित करता है, यह एल्गोरिदम कुल लागत को न्यूनतम करने वाला एक-से-एक मिलान खोजता है। लागत में दूरी, दिखावट और गति की भविष्यवाणी को संयोजित किया जा सकता है। यह SORT और DeepSORT जैसी बहु-वस्तु ट्रैकिंग विधियों की मेरुदंड है।
-
प्रत्येक ट्रैक की स्थिति की भविष्यवाणी एक गति मॉडल का उपयोग करके करें।
-
ट्रैक और नए पहचाने गए बिंदुओं के बीच एक लागत मैट्रिक्स की गणना करें।
-
हंगेरियन एल्गोरिदम के साथ असाइनमेंट को हल करें।
-
मिलान किए गए ट्रैक्स को अपडेट करें और अमिलानित डिटेक्शन्स को नए या खोए हुए के रूप में संभालें।
डीपसॉर्ट एक दृश्य विवरण (अपीयरेंस डिस्क्रिप्टर) जोड़ता है, जो अक्सर एक छोटा न्यूरल नेटवर्क होता है, ताकि मछलियों को ओक्लूज़न के बाद पुनः पहचाना जा सके। यह तब सहायक होता है जब दो मछलियाँ एक-दूसरे को काटती हैं और फिर अलग हो जाती हैं। इसकी कीमत अधिक कंप्यूटेशन और अधिक ट्यूनिंग की होती है। असाइनमेंट चरण केवल लागत मैट्रिक्स के जितना अच्छा होता है, और खराब रूप से वजनित मैट्रिक्स भी स्वैप्स उत्पन्न कर सकता है।
| एल्गोरिदम परिवार | शक्ति | कमजोरी | सबसे उपयुक्त |
|---|---|---|---|
| पृष्ठभूमि घटाव | तेज़, सरल | प्रकाश और कचरे के प्रति संवेदनशील | स्थिर अरीना, उच्च कंट्रास्ट |
| सेंट्रॉइड के साथ नियरेस्ट नेबर | कार्यान्वयन करने में आसान | पहचान स्वैप्स | एकल मछली या कम घनत्व |
| काल्मान फ़िल्टर | शोर को सुचारू करता है और भविष्यवाणी करता है | रैखिक गति की पूर्वधारणा | खुला मैदान, मध्यम गति |
| हंगेरियन असाइनमेंट | इष्टतम एक-से-एक मिलान | लागत मैट्रिक्स ट्यूनिंग | बहु-मछली ट्रैकिंग |
| डीप लर्निंग ट्रैकर | आवरण और दिखावट को संभालता है | डेटा और GPU की आवश्यकता होती है | जटिल दृश्य, उच्च परिवर्तनशीलता |
गहन सीखने वाले ट्रैकर्स सटीकता बढ़ाते हैं और हार्डवेयर की आवश्यकताओं को बदलते हैं
गहन सीखना मछलियों की ट्रैकिंग में ज़ेब्राफ़िश के क्षेत्र में बड़े पैमाने पर प्रवेश कर चुका है। YOLO और Faster R-CNN जैसे वस्तु-संसूचक बिना पृष्ठभूमि घटाए मछलियों का पता लगा सकते हैं। DeepLabCut जैसे शरीर-स्थिति अनुमान उपकरण केंद्रबिंदुओं के बजाय शरीर के अंगों को ट्रैक कर सकते हैं। पुनः-पहचान नेटवर्क फ़्रेमों के बीच दिखावट की तुलना कर सकते हैं। ट्रांसफ़ॉर्मर्स और साइएमीज़ नेटवर्क्स का भी ट्रैकिंग के लिए उपयोग किया जाता है।
भीड़-भाड़ वाले या परिवर्तनशील दृश्यों में लाभ वास्तविक हैं। लागत भी वास्तविक हैं। प्रशिक्षण डेटा को लेबल करना आवश्यक है, अक्सर फ़्रेम-दर-फ़्रेम। यदि फ़्रेम दर उच्च है तो अनुमान के लिए GPU की आवश्यकता होती है। एक प्रयोगशाला की रोशनी और मछली की किस्म पर प्रशिक्षित मॉडल दूसरी प्रयोगशाला के लिए सामान्यीकृत नहीं हो सकते हैं। गहन सीखने वाला ट्रैकर क्लासिकल पाइपलाइन के लिए तैयार-प्रतिस्थापन नहीं है। यह हार्डवेयर बजट, एनोटेशन कार्यभार और सत्यापन रणनीति को बदल देता है।
एक क्षेत्र उदाहरण जहाँ एल्गोरिदम की गलत फिटिंग के कारण पहचान स्वैप हुए
दक्षिणी चीन में एक विश्वविद्यालय में एक व्यवहारगत मूल सुविधा में बहु-टैंक ट्रैकिंग व्यवस्था चल रही थी। प्रारंभिक पाइपलाइन में पृष्ठभूमि घटाव और निकटतम पड़ोसी मिलान का उपयोग किया गया था। एकल मछली के परीक्षणों में ट्रैक साफ़ दिखाई दे रहे थे। समूह परीक्षणों में, डेटा में असंभव छलांगें दिखाई दीं। मछलियाँ अखाड़े के पार टेलीपोर्ट हो जाती थीं और फिर वापस आ जाती थीं।
समस्या क्रॉसिंग के दौरान पहचान के अदला-बदली में थी। टीम ने भविष्यवाणी के लिए कैल्मैन फ़िल्टर जोड़ा और निकटतम पड़ोसी को हंगेरियन असाइनमेंट से बदल दिया। लागत मैट्रिक्स में पूँछ के आकार पर आधारित एक सरल दृश्य विशेषता जोड़ी गई। टेलीपोर्टिंग बंद हो गई। घने स्कूलिंग के दौरान ट्रैक्स की अभी भी हस्तचालित समीक्षा की आवश्यकता थी, लेकिन डेटासेट उपयोग करने योग्य बन गया। सीख यह नहीं थी कि एक एल्गोरिदम हमेशा बेहतर होता है। यह थी कि एल्गोरिदम को जानवरों के सामाजिक व्यवहार के अनुरूप होना चाहिए।
जैविक प्रश्न और उपकरण के अनुकूल एल्गोरिदम का मिलान
कोई एकल एल्गोरिदम परिवार हर जगह जीत नहीं सकता। एक 24-वेल प्लेट में एकल लार्वा के लिए एक सरल सेंट्रॉइड ट्रैकर पर्याप्त है। वही परीक्षण जिसके लिए डीप लर्निंग ट्रैकर अत्यधिक हो सकता है, भीड़-भाड़ वाले वयस्क टैंक के लिए आवश्यक हो सकता है। सही चुनाव मछलियों के घनत्व, अरीना की जटिलता, प्रकाश की स्थिरता और जैविक प्रश्न पर निर्भर करता है।
यह उपकरण पर भी निर्भर करता है। एक स्थिर कैमरा माउंट, समान प्रकाश और एक साफ़ पृष्ठभूमि क्लासिकल एल्गोरिदम को कहीं अधिक प्रभावी बनाती है। एक हिलता हुआ माउंट या टिमटिमाती रोशनी सॉफ़्टवेयर को उन समस्याओं के लिए क्षतिपूर्ति करने के लिए मजबूर करती है जिन्हें यांत्रिक रूप से हल किया जाना चाहिए था। ट्रैकिंग की सटीकता एक प्रणाली गुण है, केवल एक सॉफ़्टवेयर सुविधा नहीं।
हंटर लैब (हंटर) ज़ेब्राफ़िश प्रयोगशाला उपकरणों का निर्माण करता है, जिसमें ट्रैकिंग एल्गोरिदम की आवश्यकता वाली यांत्रिक और प्रकाशिक स्थिरता पर विशेष ध्यान दिया जाता है। निर्माण और गुणवत्ता नियंत्रण का पक्ष बहु-रिग व्यवहारात्मक अध्ययनों के लिए आवश्यक सुसंगतता का समर्थन करता है। उन प्रयोगशालाओं के लिए, जो ट्रैकिंग डेटा को जीवविज्ञान के बजाय पाइपलाइन के कृत्रिम प्रभावों के रूप में नहीं देखना चाहती हैं, यह स्थिरता उनकी आधारशिला का हिस्सा है।