Mengapa pilihan algoritma membentuk setiap set data lintasan
Sistem penjejakkan lintasan ikan zebra hanya sebaik algoritma yang berjalan di bawah kamera. Perkakasan menangkap piksel. Perisian menentukan maksud piksel-piksel itu. Dua makmal boleh menggunakan kamera yang sama, arena yang sama, dan pencahayaan yang sama, namun menghasilkan set data yang sangat berbeza kerana satu saluran menguruskan oklusi dengan baik manakala saluran yang lain tidak. Algoritma penjejakkan berada di pusat perbezaan itu.
Kerja ini dibahagikan kepada tiga bahagian. Pengesanan mengesan ikan dalam setiap bingkai. Pengaitan menghubungkan pengesanan merentasi bingkai supaya satu ikan mengekalkan identiti yang sama. Pelicinan menganggar laluan sebenar apabila pengesanan tidak tepat atau hilang. Keluarga algoritma yang berbeza mengurus bahagian-bahagian ini dengan andaian yang berbeza, dan andaian-andaian ini menentukan apa yang boleh disokong oleh data.
Penolakan latar belakang dan penentuan ambang masih menjadi barisan pertahanan utama
Kebanyakan saluran kerja bermula dengan kaedah untuk memisahkan ikan daripada latar belakang. Penolakan latar belakang membina model arena kosong dan menandakan piksel yang berbeza daripada model tersebut. Penentuan ambang kemudian menukar peta perbezaan itu kepada topeng dedua. Operasi morfologi membersihkan lubang kecil dan piksel yang tersasar.
Pendekatan ini pantas dan berfungsi dengan baik apabila latar belakang statik dan kontrasnya memadai. Seekor ikan gelap di hadapan arena terang adalah mudah. Masalah muncul apabila pencahayaan berubah, pantulan bergerak, atau gelembung dan serpihan masuk ke dalam bingkai. Bayangan boleh kelihatan seperti ikan. Ikan yang berada berhampiran dinding boleh menyatu dengan tepi. Penolakan latar belakang juga menghadapi kesukaran apabila ikan bertindih, kerana topeng menjadi satu titik sahaja bukannya dua.
Penjejakan sentroid dan padanan jiran terdekat menguruskan arena-ringkas
Setelah ikan dikesan, cara paling mudah untuk menghubungkan bingkai ialah penjejakan sentroid. Sentroid setiap titik dikira, dan sentroid terdekat dalam bingkai seterusnya dianggap sebagai ikan yang sama. Padanan jiran terdekat mudah dilaksanakan dan berfungsi dengan baik untuk satu ikan sahaja atau beberapa ikan yang kekal berjauhan.
Mod kegagalan ialah pertukaran identiti. Apabila dua ekor ikan bersilang laluan, sentroid terdekat mungkin milik ikan yang salah. Pengesan menukar identiti, dan data trajektori menjadi kacau. Ini bukan kes sempadan yang jarang berlaku. Ikan zebrafish bersifat sosial dan sering berenang rapat antara satu sama lain. Saluran pengolahan yang mengabaikan ketahanan identiti akan menghasilkan jejak yang kelihatan indah tetapi secara biologi tidak betul.
Penapis Kalman memasukkan ramalan pergerakan ke dalam saluran pengolahan
Penapis Kalman menambah model pergerakan. Alih-alih mengandaikan ikan kekal pegun antara bingkai, penapis ini meramalkan kedudukan sepatutnya berdasarkan halaju sebelumnya. Ramalan ini dibandingkan dengan pengesanan baharu, dan anggaran keadaan dikemaskini. Ini melicinkan ukuran berisik dan membantu apabila pengesanan hilang untuk satu atau dua bingkai.
Penapis Kalman piawai mengandaikan pergerakan linear dan hingar Gaussian. Seekor ikan zebra tidak sentiasa bekerjasama. Ia boleh berpusing tajam, meluru atau terapung. Penapis Kalman lanjutan dan penapis zarah melonggarkan sebahagian daripada andaian tersebut, tetapi menambah kerumitan. Manfaat praktikalnya tetap nyata. Malah model halaju malar yang ringkas pun dapat mengurangkan gegaran dan memperbaiki kesinambungan jejak di kawasan air terbuka.
Penugasan Hungary dan pengesanan pelbagai objek mengekalkan identiti dengan tepat
Algoritma Hungary menyelesaikan masalah penugasan. Diberi matriks kos yang menilai kebarangkalian setiap pengesanan untuk sepadan dengan setiap jejak sedia ada, algoritma ini mencari padanan satu-ke-satu yang meminimumkan jumlah kos. Kos boleh menggabungkan jarak, rupa luaran dan ramalan pergerakan. Ini merupakan teras bagi kaedah pengesanan pelbagai objek seperti SORT dan DeepSORT.
-
Ramalkan kedudukan setiap jejak menggunakan model pergerakan.
-
Kira matriks kos antara jejak dan pengesanan baharu.
-
Selesaikan penugasan dengan algoritma Hungary.
-
Kemaskini trek yang sepadan dan urus pengesanan yang tidak sepadan sebagai baharu atau hilang.
DeepSORT menambahkan penghuraian penampilan, biasanya rangkaian saraf kecil, supaya ikan boleh dikenal pasti semula selepas terhalang. Ini membantu apabila dua ikan bersilang dan kemudian berpisah. Kosnya ialah lebih banyak pengiraan dan penyesuaian. Langkah penugasan hanya sebaik matriks kos, dan matriks yang diberatkan secara lemah masih boleh menghasilkan pertukaran identiti.
| Keluarga algoritma | Kekuatan | Kelemahan | Paling Sesuai |
|---|---|---|---|
| Penolakan latar belakang | Cepat, mudah | Sensitif terhadap cahaya dan serpihan | Arena statik, kontras tinggi |
| Sentroid dengan jiran terdekat | Mudah dilaksanakan | Pertukaran identiti | Ikan tunggal atau ketumpatan rendah |
| Penapis Kalman | Meratakan hingar dan membuat ramalan | Anggapan gerakan linear | Medan terbuka, kelajuan sederhana |
| Penugasan Hungary | Padanan satu-ke-satu yang optimum | Penyesuaian matriks kos | Penjejakan pelbagai ikan |
| Penjejak pembelajaran mendalam | Mengendalikan oklusi dan penampilan | Memerlukan data dan GPU | Skenario kompleks, variasi tinggi |
Pelacak pembelajaran mendalam meningkatkan ketepatan dan mengubah keperluan perkakasan
Pembelajaran mendalam telah memasuki penjejakan ikan zebra secara besar-besaran. Pengesan objek seperti YOLO dan Faster R-CNN boleh mengesan ikan tanpa pengurangan latar belakang. Alat anggaran posisi seperti DeepLabCut boleh menjejaki bahagian badan, bukan hanya sentroid. Rangkaian pengenalpastian semula boleh membandingkan penampilan merentasi bingkai. Transformer dan rangkaian Siamese juga digunakan untuk penjejakan.
Manfaatnya nyata dalam skenario sesak atau berubah-ubah. Kosnya juga nyata. Data latihan perlu dilabel, sering kali bingkai demi bingkai. Inferens memerlukan GPU jika kadar bingkai tinggi. Model yang dilatih pada pencahayaan dan strain ikan di satu makmal mungkin tidak dapat digeneralisasikan ke makmal lain. Pelacak pembelajaran mendalam bukan pengganti langsung bagi saluran klasik. Ia mengubah bajet perkakasan, beban kerja anotasi, dan strategi pengesahan.
Contoh lapangan di mana ketidaksesuaian algoritma menyebabkan pertukaran identiti
Suatu kemudahan teras utama tingkah laku di sebuah universiti di selatan China sedang menjalankan satu susunan penjejak pelbagai tangki. Saluran awal menggunakan pengurangan latar belakang dan padanan jiran terdekat. Jejak-jejak kelihatan bersih dalam ujian ikan tunggal. Dalam ujian kelompok, data menunjukkan lompatan yang mustahil. Ikan kelihatan seolah-olah berpindah secara ajaib merentasi arena dan kemudian kembali.
Masalahnya ialah pertukaran identiti semasa persilangan. Pasukan itu menambahkan penapis Kalman untuk ramalan dan menggantikan padanan jiran terdekat dengan penugasan Hungarian. Ciri penampilan ringkas berdasarkan bentuk ekor ditambahkan ke dalam matriks kos. Fenomena perpindahan ajaib berhenti. Jejak-jejak masih memerlukan semakan manual semasa sekolah ikan yang padat, tetapi set data menjadi boleh digunakan. Pengajaran daripada kes ini bukanlah bahawa satu algoritma sentiasa lebih baik. Sebaliknya, algoritma tersebut mesti sepadan dengan tingkah laku sosial haiwan.
Menyesuaikan algoritma dengan soalan biologi dan susunan peralatan
Tiada satu keluarga algoritma yang menang di semua tempat. Pengesan sentroid ringkas adalah sesuai untuk satu larva dalam plat 24-lohong. Pengesan pembelajaran mendalam mungkin terlalu berat untuk uji kaji yang sama tetapi penting bagi tangki dewasa yang sesak. Pilihan yang betul bergantung kepada ketumpatan ikan, kerumitan arena, kestabilan pencahayaan, dan soalan biologi.
Ia juga bergantung kepada peralatan. Dudukan kamera yang stabil, pencahayaan yang sekata, dan latar belakang yang bersih menjadikan algoritma klasik berfungsi jauh lebih baik. Dudukan yang goyah atau cahaya yang berkelip memaksa perisian mengimbangi masalah yang sepatutnya diselesaikan secara mekanikal. Ketepatan pengesanan adalah sifat sistem, bukan sekadar ciri perisian.
Hunter Lab (Hunter) membina peralatan makmal zebrafish dengan memberi tumpuan kepada kestabilan mekanikal dan optik yang diperlukan oleh algoritma penjejak. Bahagian pembuatan dan kawalan kualiti menyokong keseragaman yang diperlukan dalam kajian tingkah laku berbilang rig. Bagi makmal yang menghendaki data penjejak mencerminkan biologi dan bukan artefak saluran proses, kestabilan ini merupakan sebahagian daripada asasnya.