چرا انتخاب الگوریتم هر مجموعه دادهای از مسیرهای حرکتی را شکل میدهد
سیستم ردیابی مسیر حرکتی ماهی زِبرافیش تنها به اندازهی الگوریتمهایی که در پشت دوربین اجرا میشوند خوب است. سختافزار پیکسلها را ثبت میکند. نرمافزار تصمیم میگیرد که آن پیکسلها چه معنایی دارند. دو آزمایشگاه میتوانند از یک دوربین، یک محیط آزمایشی و یک روشنایی یکسان استفاده کنند، اما به مجموعهدادههای بسیار متفاوتی برسند؛ زیرا یک خط لوله (پایپلاین) با انسدادها بهخوبی کنار میآید و دیگری نه. الگوریتمهای ردیابی در مرکز این تفاوت قرار دارند.
این کار به سه بخش تقسیم میشود. تشخیص، ماهیها را در هر فریم پیدا میکند. ارتباطدهی، تشخیصها را در فریمهای متوالی به هم متصل میکند تا شناسهٔ یک ماهی ثابت بماند. صافسازی، مسیر واقعی را زمانی که تشخیصها نویزی یا ناقص هستند، تخمین میزند. خانوادههای مختلف الگوریتم این بخشها را با فرضیات متفاوتی پوشش میدهند و این فرضیات تعیین میکنند که دادهها چه چیزی را میتوانند پشتیبانی کنند.
حذف پسزمینه و آستانهگذاری همچنان اولین خط دفاعی هستند.
بیشتر خطوط اجرایی از روشی برای جداسازی ماهیها از پسزمینه آغاز میشوند. حذف پسزمینه با ساختن مدلی از محیط خالی، پیکسلهایی را که از آن مدل انحراف دارند، شناسایی میکند. سپس آستانهگذاری نقشهٔ تفاوت را به یک ماسک دودویی تبدیل میکند. عملیات مورفولوژیکی، سوراخهای کوچک و پیکسلهای پراکنده را پاک میکنند.
این روش سریع است و زمانی که پسزمینه ثابت باشد و تضاد مناسبی وجود داشته باشد، بهخوبی کار میکند. شناسایی یک ماهی تیره در برابر یک سالن روشن آسان است. اما مشکلاتی هنگامی ظاهر میشوند که نوردهی تغییر کند، بازتابها جابهجا شوند یا حبابها و ذرات آلاینده وارد تصویر شوند. یک سایه ممکن است شبیه یک ماهی به نظر برسد. یک ماهی نزدیک دیوار ممکن است با لبهٔ تصویر ادغام شود. همچنین، تفریق پسزمینه هنگامی که ماهیها بر هم قرار میگیرند با مشکل مواجه میشود، زیرا ماسک بهجای دو شیء جداگانه، بهصورت یک تودهٔ واحد تشکیل میشود.
ردیابی مرکزثقل و تطبیق نزدیکترین همسایه برای سالنهای ساده مناسب است
پس از شناسایی ماهیها، سادهترین روش برای اتصال فریمها، ردیابی مرکزثقل است. مرکزثقل هر توده محاسبه میشود و فرض بر این است که نزدیکترین مرکزثقل در فریم بعدی متعلق به همان ماهی است. تطبیق نزدیکترین همسایه پیادهسازیاش آسان است و برای یک ماهی یا چند ماهی که فاصلهٔ کافی از هم داشته باشند، بهخوبی کار میکند.
حالت خرابی، جابجایی هویت است. هنگامی که دو ماهی از کنار یکدیگر عبور میکنند، نزدیکترین مرکز جرم ممکن است متعلق به ماهی اشتباه باشد. ردیاب هویتها را با یکدیگر عوض میکند و دادههای مسیر به هم میریزند. این حالت یک حالت مرزی نادر نیست. ماهیهای زebrafish اجتماعی هستند و اغلب در نزدیکی یکدیگر شنا میکنند. یک خط لوله که پایداری هویت را نادیده میگیرد، مسیرهایی زیبا اما از نظر زیستشناسی نادرست تولید میکند.
فیلترهای کالمن پیشبینی حرکت را به خط لوله اضافه میکنند
فیلتر کالمن یک مدل حرکتی اضافه میکند. به جای اینکه فرض کند ماهی بین دو فریم ساکن میماند، این فیلتر بر اساس سرعت قبلی پیشبینی میکند که ماهی باید در کجا قرار داشته باشد. این پیشبینی با تشخیص جدید مقایسه میشود و برآورد وضعیت بهروزرسانی میگردد. این کار اندازهگیریهای نویزی را صاف میکند و در مواردی که تشخیص در یک یا دو فریم از دست میرود نیز کمککننده است.
فیلتر کالمن استاندارد فرض میکند که حرکت خطی است و نویز گاوسی دارد. ماهی زebrafish همیشه همکاری نمیکند. این ماهی میتواند بهطور ناگهانی بچرخد، به سرعت شتاب بگیرد یا در جایی متوقف شود. فیلترهای کالمن توسعهیافته و فیلترهای ذرهای برخی از این فرضیهها را کمرنگ میکنند، اما پیچیدگی را افزایش میدهند. با این حال، سود عملی آن واقعی است. حتی یک مدل ساده سرعت ثابت نیز لرزش را کاهش داده و پیوستگی ردیابی را در آب باز بهبود میبخشد.
تخصیص مجاری و ردیابی چندشیءای هویتها را متمایز نگه میدارند.
الگوریتم مجاری مسئله تخصیص را حل میکند. با داشتن یک ماتریس هزینه که احتمال تطبیق هر تشخیص جدید با هر ردیابی موجود را ارزیابی میکند، این الگوریتم تطبیق یکبهیکی را پیدا میکند که مجموع هزینهها را کمینه میسازد. هزینه میتواند ترکیبی از فاصله، ظاهر و پیشبینی حرکت باشد. این اصل اساسی روشهای ردیابی چندشیءای مانند SORT و DeepSORT است.
-
مکان هر ردیابی را با استفاده از یک مدل حرکتی پیشبینی کنید.
-
یک ماتریس هزینه بین ردیابیها و تشخیصهای جدید محاسبه کنید.
-
مسئله تخصیص را با الگوریتم مجاری حل کنید.
-
بهروزرسانی ردیابیهای تطبیقیافته و برخورد با تشخیصهای نامطابق بهعنوان جدید یا ازدسترفته.
دیپسورت (DeepSORT) یک توصیفگر ظاهری، معمولاً یک شبکه عصبی کوچک، اضافه میکند تا ماهیها پس از پوشیدهشدن دوباره شناسایی شوند. این ویژگی در مواردی که دو ماهی از هم عبور کرده و سپس از هم جدا میشوند، کمککننده است. هزینهٔ آن افزایش محاسبات و نیاز به تنظیم بیشتر است. مرحلهٔ تخصیص تنها تا جایی دقیق است که ماتریس هزینه دقیق باشد و یک ماتریس ضعیفوزنشده ممکن است همچنان تبادل هویت ایجاد کند.
| خانوادهٔ الگوریتمها | استحکام | نقاط ضعف | بهترین تناسب |
|---|---|---|---|
| حذف پسزمینه | سریع و ساده | حساس به نور و آلودگیها | محیط ثابت و کنتراست بالا |
| مرکز جرم با همسایهٔ نزدیکترین | آسان برای پیادهسازی | تبادل هویت | ماهی تکی یا تراکم پایین |
| فیلتر کالمن | هموارسازی نویز و پیشبینی | فرض حرکت خطی | فضای باز، سرعت متوسط |
| تخصیص مجاری | تطابق بهینه یکبهیک | تنظیم ماتریس هزینه | ردیابی چندماهی |
| ردیاب یادگیری عمیق | مدیریت پنهانشدن و ظاهر | نیازمند داده و پردازندهٔ گرافیکی | صحنههای پیچیده، تغییرپذیری بالا |
ردیابهای یادگیری عمیق، دقت را افزایش میدهند و نیازهای سختافزاری را تغییر میدهند
یادگیری عمیق بهطور گستردهای در ردیابی ماهی زebrafish وارد شده است. شناساگرهای شیء مانند YOLO و Faster R-CNN میتوانند ماهیها را بدون کمکردن پسزمینه شناسایی کنند. ابزارهای برآورد وضعیت بدن مانند DeepLabCut میتوانند قسمتهای بدن را، نه صرفاً مراکز جرم، ردیابی کنند. شبکههای بازشناسی مجدد (re-identification) میتوانند ظاهر را در فریمهای مختلف مقایسه کنند. ترانسفورمرها و شبکههای سیامی نیز برای ردیابی استفاده میشوند.
مزایا در صحنههای شلوغ یا متغیر واقعی هستند. هزینهها نیز واقعیاند. دادههای آموزشی باید برچسبگذاری شوند، اغلب بهصورت فریمبهفریم. استنتاج در صورت نرخ بالای فریم، نیازمند پردازندهٔ گرافیکی است. مدلهای آموزشدیده روی نورپردازی و ژنوتیپ ماهی یک آزمایشگاه لزوماً در آزمایشگاه دیگری تعمیمپذیر نیستند. یک ردیاب یادگیری عمیق جایگزین آمادهبرای خطلولهٔ کلاسیک نیست؛ بلکه بودجهٔ سختافزاری، حجم کار برچسبگذاری و روش اعتبارسنجی را تغییر میدهد.
نمونهای از زمینه که عدم تطابق الگوریتم منجر به جابجایی هویت شد
یک مرکز تحقیقات رفتاری در یک دانشگاه در جنوب چین، یک سامانه ردیابی چندتانکی را اجرا میکرد. خط لولهٔ اولیه از تفریق پسزمینه و همراهسازی نزدیکترین همسایه استفاده میکرد. ردیابیها در آزمایشهای تکماهی تمیز به نظر میرسیدند. اما در آزمایشهای گروهی، دادهها پرشهای غیرممکنی را نشان میدادند. ماهیها انگار در سرتاسر میدان تلهپورت میشدند و سپس دوباره بازمیگشتند.
مشکل، جابهجایی هویت در زمان عبور از کنار یکدیگر بود. تیم، یک فیلتر کالمن برای پیشبینی اضافه کرد و همراهسازی نزدیکترین همسایه را با تخصیص مجاری جایگزین کرد. ویژگی ظاهری سادهای مبتنی بر شکل دم به ماتریس هزینه افزوده شد. پدیدهٔ تلهپورت متوقف شد. با این حال، ردیابیها هنوز در شرایط انبوهِ ماهیهای در حال تشکیل گله نیازمند بازبینی دستی بودند، اما مجموعهٔ دادهها قابل استفاده شده بود. درس این بود که همواره یک الگوریتم برتر نیست، بلکه الگوریتم باید با رفتار اجتماعی حیوانات هماهنگ باشد.
تطابق الگوریتمها با پرسش زیستی و تجهیزات
هیچ خانوادهای از الگوریتمها در همهجا پیروز نمیشود. ردیاب مرکز جرم ساده برای یک تارلان در یک صفحهٔ ۲۴ چاهی کافی است. اما برای همان آزمایش، یک ردیاب یادگیری عمیق ممکن است بیشازحد باشد، درحالیکه برای یک تانک شلوغ بالغین ضروری است. انتخاب مناسب به تراکم ماهیها، پیچیدگی محیط آزمایش، پایداری نورپردازی و سؤال زیستی مربوط میشود.
این انتخاب همچنین به تجهیزات آزمایش بستگی دارد. نصب پایدار دوربین، روشنایی یکنواخت و پسزمینهای تمیز، عملکرد الگوریتمهای کلاسیک را بهطور قابلتوجهی بهبود میبخشد. اما نصب لرزان یا نور پرکننده، نرمافزار را مجبور میکند تا مشکلاتی را جبران کند که باید ازطریق روشهای مکانیکی حل میشدند. دقت ردیابی یک ویژگی سیستمی است، نه صرفاً یک قابلیت نرمافزاری.
شرکت هانتر لَب (هانتر) تجهیزات آزمایشگاهی ماهی زebrafish را با تمرکز بر پایداری مکانیکی و نوری که الگوریتمهای ردیابی به آن وابستهاند، طراحی و تولید میکند. بخش تولید و کنترل کیفیت این شرکت، ثبات لازم برای مطالعات رفتاری چندسیستمی را تضمین میکند. برای آزمایشگاههایی که دادههای ردیابی باید منعکسکنندهٔ زیستشناسی و نه نتایج ناخواستهٔ خطوط پردازشی باشند، این پایداری بخشی اساسی از زیربنای کار است.