Mengapa pilihan algoritma membentuk setiap kumpulan data lintasan
Sistem pelacakan lintasan ikan zebra hanya sebaik algoritma yang berjalan di bawah kamera. Perangkat keras menangkap piksel. Perangkat lunak menentukan makna piksel-piksel tersebut. Dua laboratorium dapat menggunakan kamera yang sama, arena yang sama, dan pencahayaan yang sama, namun menghasilkan kumpulan data yang sangat berbeda karena satu alur kerja mampu menangani oklusi dengan baik sedangkan yang lain tidak. Algoritma pelacakan berada di pusat perbedaan tersebut.
Pekerjaan ini terbagi menjadi tiga bagian. Deteksi menemukan ikan dalam setiap frame. Asosiasi menghubungkan hasil deteksi di antar frame sehingga suatu ikan mempertahankan identitas yang sama. Perataan memperkirakan lintasan sebenarnya ketika hasil deteksi bersifat tidak akurat atau hilang. Berbagai keluarga algoritma menangani bagian-bagian tersebut dengan asumsi berbeda, dan asumsi-asumsi tersebut menentukan dukungan apa yang dapat diberikan data.
Pengurangan latar belakang dan pelumpuhan tetap menjadi garis pertahanan utama
Sebagian besar alur kerja dimulai dengan cara memisahkan ikan dari latar belakang. Pengurangan latar belakang membangun model arena kosong dan menandai piksel yang berbeda dari model tersebut. Pelumpuhan kemudian mengubah peta perbedaan menjadi masker biner. Operasi morfologis membersihkan lubang kecil dan piksel yang tersebar.
Pendekatan ini cepat dan berfungsi baik ketika latar belakang statis serta kontrasnya memadai. Seekor ikan gelap di arena terang mudah dideteksi. Masalah muncul ketika pencahayaan berubah, pantulan berpindah, atau gelembung serta kotoran masuk ke dalam bingkai. Bayangan bisa tampak seperti ikan. Ikan yang berada dekat dinding bisa menyatu dengan tepi. Pengurangan latar belakang juga kesulitan ketika ikan saling tumpang tindih, karena masker menjadi satu gumpalan alih-alih dua.
Pelacakan centroid dan pencocokan tetangga terdekat cocok untuk arena sederhana
Setelah ikan terdeteksi, cara paling sederhana untuk menghubungkan bingkai-bingkai adalah pelacakan centroid. Centroid setiap gumpalan dihitung, dan centroid terdekat di bingkai berikutnya diasumsikan sebagai ikan yang sama. Pencocokan tetangga terdekat mudah diimplementasikan dan berfungsi baik untuk satu ikan atau beberapa ikan yang tetap berjauhan.
Mode kegagalan adalah pertukaran identitas. Ketika dua ekor ikan berpapasan, centroid terdekat mungkin milik ikan yang salah. Pelacak menukar identitasnya, sehingga data lintasan menjadi kacau. Ini bukan kasus tepi yang langka. Ikan zebra bersifat sosial dan sering berenang berdekatan. Suatu alur kerja yang mengabaikan ketahanan identitas akan menghasilkan lintasan yang tampak indah namun secara biologis salah.
Filter Kalman memasukkan prediksi gerak ke dalam alur kerja
Filter Kalman menambahkan model gerak. Alih-alih mengasumsikan ikan tetap diam antar bingkai, filter ini memprediksi posisi seharusnya berdasarkan kecepatan sebelumnya. Prediksi tersebut dibandingkan dengan deteksi baru, lalu perkiraan status diperbarui. Hal ini memuluskan pengukuran yang berisik serta membantu ketika deteksi hilang selama satu atau dua bingkai.
Filter Kalman standar mengasumsikan gerak linier dan gangguan berdistribusi Gauss. Seekor ikan zebra tidak selalu kooperatif. Ikan ini bisa berbelok tajam, berenang cepat, atau melayang di tempat. Filter Kalman perluasan dan filter partikel melonggarkan sebagian asumsi tersebut, tetapi menambah kompleksitas. Manfaat praktisnya tetap nyata. Bahkan model kecepatan konstan sederhana pun mampu mengurangi getaran (jitter) dan meningkatkan kelangsungan pelacakan di perairan terbuka.
Penugasan Hungaria dan pelacakan multi-objek menjaga identitas tetap jelas
Algoritma Hungaria menyelesaikan masalah penugasan. Diberikan matriks biaya yang menilai seberapa besar kemungkinan tiap deteksi cocok dengan tiap lintasan yang sudah ada, algoritma ini menemukan pencocokan satu-ke-satu yang meminimalkan total biaya. Biaya dapat menggabungkan jarak, penampilan, dan prediksi gerak. Ini merupakan fondasi metode pelacakan multi-objek seperti SORT dan DeepSORT.
-
Prediksi posisi tiap lintasan menggunakan model gerak.
-
Hitung matriks biaya antara lintasan-lintasan dan deteksi-deteksi baru.
-
Selesaikan penugasan menggunakan algoritma Hungaria.
-
Perbarui jejak yang cocok dan tangani deteksi yang tidak cocok sebagai jejak baru atau hilang.
DeepSORT menambahkan deskriptor penampilan, biasanya berupa jaringan saraf kecil, sehingga ikan dapat diidentifikasi kembali setelah terhalang. Pendekatan ini membantu ketika dua ikan saling bersilangan lalu terpisah. Biayanya adalah peningkatan beban komputasi dan penyetelan yang lebih rumit. Langkah penugasan hanya sebaik matriks biaya yang digunakan, dan matriks yang bobotnya buruk tetap dapat menghasilkan pertukaran identitas.
| Rumpun algoritma | Kekuatan | Kelemahan | Paling Tepat |
|---|---|---|---|
| Pengurangan latar belakang | Cepat, sederhana | Sensitif terhadap cahaya dan serpihan kotoran | Arena statis, kontras tinggi |
| Sentroid dengan tetangga terdekat | Mudah diimplementasikan | Pertukaran identitas | Ikan tunggal atau kepadatan rendah |
| Filter Kalman | Menghaluskan noise dan memprediksi | Asumsi gerak linear | Lapangan terbuka, kecepatan sedang |
| Penugasan Hungaria | Pencocokan satu-ke-satu yang optimal | Penyesuaian matriks biaya | Pelacakan multi-ikan |
| Pelacak berbasis pembelajaran mendalam | Menangani oklusi dan perubahan penampakan | Memerlukan data dan GPU | Adegan kompleks, variabilitas tinggi |
Pelacak berbasis pembelajaran mendalam meningkatkan akurasi sekaligus mengubah kebutuhan perangkat keras
Pembelajaran mendalam telah secara signifikan memasuki bidang pelacakan ikan zebra. Detektor objek seperti YOLO dan Faster R-CNN mampu mendeteksi ikan tanpa pengurangan latar belakang. Alat estimasi pose seperti DeepLabCut dapat melacak bagian tubuh, bukan hanya titik pusat. Jaringan re-identifikasi mampu membandingkan penampakan antar-frame. Transformer dan jaringan Siamese juga digunakan untuk pelacakan.
Keuntungan nyata terlihat pada adegan ramai atau sangat bervariasi. Namun, biaya tambahannya pun nyata. Data pelatihan harus dilabeli, sering kali per frame. Inferensi memerlukan GPU jika laju frame tinggi. Model yang dilatih menggunakan pencahayaan dan galur ikan dari satu laboratorium mungkin tidak dapat digeneralisasi ke laboratorium lain. Pelacak berbasis pembelajaran mendalam bukan pengganti langsung bagi jalur pemrosesan klasik. Pelacak ini mengubah anggaran perangkat keras, beban kerja anotasi, serta strategi validasi.
Contoh lapangan di mana ketidakcocokan algoritma menyebabkan pertukaran identitas
Sebuah fasilitas inti perilaku di sebuah universitas di Tiongkok selatan menjalankan pengaturan pelacakan multi-tangki. Jalur analisis awal menggunakan pengurangan latar belakang dan pencocokan tetangga terdekat. Jejak-jejak tampak bersih dalam uji coba satu ekor ikan. Namun, dalam uji coba kelompok, data menunjukkan lompatan yang mustahil. Ikan tampak berpindah secara instan melintasi arena lalu kembali.
Masalahnya adalah pertukaran identitas saat ikan saling berpapasan. Tim menambahkan filter Kalman untuk prediksi dan mengganti pencocokan tetangga terdekat dengan penugasan Hungaria. Sebuah fitur penampakan sederhana berbasis bentuk ekor ditambahkan ke matriks biaya. Fenomena perpindahan instan berhenti. Jejak-jejak tetap memerlukan tinjauan manual saat sekolahan padat, namun kumpulan data menjadi dapat digunakan. Pelajaran yang dipetik bukanlah bahwa satu algoritma selalu lebih unggul, melainkan bahwa algoritma harus sesuai dengan perilaku sosial hewan.
Menyesuaikan algoritma dengan pertanyaan biologis dan perangkat keras
Tidak ada satu keluarga algoritma pun yang unggul di semua situasi. Pelacak sentroid sederhana sudah memadai untuk satu larva dalam pelat 24-sumur. Pelacak berbasis pembelajaran mendalam mungkin berlebihan untuk uji coba yang sama, tetapi justru sangat penting untuk tangki dewasa yang padat. Pilihan tepat bergantung pada kepadatan ikan, kompleksitas arena, stabilitas pencahayaan, serta pertanyaan biologis yang diajukan.
Pilihan juga bergantung pada perangkat kerasnya. Dudukan kamera yang stabil, pencahayaan seragam, dan latar belakang bersih membuat algoritma klasik bekerja jauh lebih baik. Dudukan yang goyah atau cahaya yang berkedip memaksa perangkat lunak mengkompensasi masalah yang seharusnya telah diselesaikan secara mekanis. Akurasi pelacakan merupakan sifat sistem secara keseluruhan, bukan sekadar fitur perangkat lunak.
Hunter Lab (Hunter) membangun peralatan laboratorium zebrafish dengan memperhatikan stabilitas mekanis dan optis yang menjadi andalan algoritma pelacakan. Sisi manufaktur dan pengendalian kualitas mendukung konsistensi yang diperlukan dalam studi perilaku multi-rig. Bagi laboratorium yang menginginkan data pelacakan mencerminkan biologi—bukan artefak pipa analisis—stabilitas tersebut merupakan bagian dari fondasi.