Neden algoritma seçimi her yörünge veri kümesini şekillendirir
Bir zebra balığı yörünge takip sistemi, kameranın altında çalışan algoritmalar kadar iyidir. Donanım pikselleri yakalar. Yazılım ise bu piksellerin ne anlama geldiğine karar verir. İki laboratuvar aynı kamerayı, aynı alanı ve aynı aydınlatmayı kullanabilir; ancak bir işlem hattı örtüşmeleri (oklüzyon) durumlarını iyi yönetirken diğeri bunu başaramaz, bu yüzden çok farklı veri kümeleri elde edebilir. Takip algoritmaları bu farkın merkezindedir.
İş üç parçaya ayrılır. Tespit, her karede balığı bulur. İlişkilendirme, tespitleri kareler arasında bağlayarak bir balığın kimliğini korumasını sağlar. Düzeltme işlemi ise tespitler gürültülü veya eksik olduğunda gerçek yolu tahmin eder. Farklı algoritma aileleri bu kısımları farklı varsayımlarla ele alır ve bu varsayımlar, verilerin neyi destekleyebileceğini belirler.
Arka plan çıkarma ve eşikleme işlemi hâlâ ilk savunma hattıdır
Çoğu işlem hattı, balıkları arka plandan ayırmak için bir yöntemle başlar. Arka plan çıkarma işlemi, boş bir alanın modelini oluşturur ve bu modelden farklı olan pikselleri işaretler. Eşikleme işlemi daha sonra fark haritasını ikili bir maskeye dönüştürür. Morfolojik işlemler ise küçük delikleri ve dağılmış pikselleri temizler.
Bu yaklaşım, arka plan sabit olduğunda ve kontrast uygun düzeydeyken hızlıdır ve iyi çalışır. Parlak bir ortamda koyu renkli bir balık tespiti kolaydır. Ancak aydınlatma kaymaları, yansımaların hareketi veya kareye kabarcıklar ve artıklar girdiğinde sorunlar ortaya çıkar. Bir gölge, balık gibi görünebilir. Duvarın yakınındaki bir balık, kenarla birleşebilir. Balıklar üst üste geldiğinde arka plan çıkarma yöntemi de zorlanır; çünkü maske, iki ayrı cisim yerine tek bir kütle haline gelir.
Merkez noktası izleme ve en yakın komşu eşleştirme, basit ortamları işler
Balıklar algılandıktan sonra kareleri bağlamak için en basit yöntem, merkez noktası izlemesidir. Her kümenin merkez noktası hesaplanır ve bir sonraki karedeki en yakın merkez noktasının aynı balığa ait olduğu varsayılır. En yakın komşu eşleştirme, uygulanması kolaydır ve tek bir balık veya birbirlerinden uzakta kalan birkaç balık için iyi sonuç verir.
Hata modu kimlik takasıdır. İki balık yoldaşlık yaptığında en yakın merkez noktası yanlış balığa ait olabilir. Takipçi kimlikleri değiştirir ve iz verileri karışır. Bu nadir bir kenar durum değildir. Zebra balıkları sosyaldir ve genellikle birbirlerine çok yakından yüzerler. Kimlik sürekliliğini göz ardı eden bir işlem hattı, biyolojik olarak yanlış olan ancak görsel olarak güzel görünen izler üretir.
Kalman filtreleri hareket tahminini işlem hattına katar
Bir Kalman filtresi hareket modeli ekler. Balığın kareler arasında sabit kaldığını varsaymak yerine, filtre önceki hızına dayalı olarak nerede olması gerektiğini tahmin eder. Bu tahmin yeni algılama ile karşılaştırılır ve durum tahmini güncellenir. Bu, gürültülü ölçümleri düzleştirir ve bir ya da iki kare boyunca algılamanın eksik olduğu durumlarda yardımcı olur.
Standart Kalman filtresi, doğrusal hareket ve Gauss gürültüsü varsayar. Bir zebra balığı her zaman iş birliği yapmaz. Keskin dönüşler yapabilir, ani hareketlerle ileriye fırlayabilir veya yerinde süzülebilir. Genişletilmiş Kalman filtreleri ve parçacık filtreleri bu varsayımlardan bazılarını gevşetir; ancak bunlar karmaşıklık ekler. Pratik avantaj yine de gerçekçidir. Hatta basit bir sabit hız modeli bile açık suda titreşimleri azaltır ve iz sürekliliğini artırır.
Macar atama yöntemi ve çoklu nesne takibi kimlikleri doğru tutar
Macar algoritması, atama problemini çözer. Her bir tespitin mevcut izlerden her biriyle eşleşme olasılığını puanlayan bir maliyet matrisi verildiğinde, algoritma toplam maliyeti en aza indiren bire-bir eşleşmeyi bulur. Maliyet, mesafe, görünüm ve hareket tahmini gibi unsurları birleştirebilir. Bu, SORT ve DeepSORT gibi çoklu nesne takip yöntemlerinin temelidir.
-
Her bir izin konumunu bir hareket modeli kullanarak tahmin edin.
-
İzler ile yeni tespitler arasında bir maliyet matrisi hesaplayın.
-
Atamayı Macar algoritmasıyla çözün.
-
Eşleşen izleri güncelle ve eşleşmeyen tespitleri yeni veya kayıp olarak işleyin.
DeepSORT, balıkların örtülmeden sonra yeniden tanımlanabilmesi için genellikle küçük bir sinir ağı olan bir görünüm tanımlayıcısı ekler. Bu, iki balık kesişip ardından ayrıldığında yardımcı olur. Maliyeti, daha fazla işlem gücü ve daha fazla ayarlama gerektirmesidir. Atama adımı, yalnızca maliyet matrisi kadar iyidir ve kötü ağırlıklandırılmış bir matris hâlâ takaslar üretebilir.
| Algoritma ailesi | Dayanıklılık | Zayıflık | En Uygun Olanı |
|---|---|---|---|
| Arka plan çıkarma | Hızlı, basit | Işık ve kalıntıya duyarlı | Durağan ortam, yüksek kontrast |
| En yakın komşu ile merkez noktası | Uygulanması kolay | Kimlik takasları | Tek balık veya düşük yoğunluk |
| Kalman filtresi | Gürültüyü düzleştirir ve tahmin eder | Doğrusal hareket varsayımı | Açık alan, orta hız |
| Macar atama algoritması | En iyi bire bir eşleştirme | Maliyet matrisi ayarı | Çoklu balık takibi |
| Derin öğrenme takipçisi | Örtülme ve görünümü işler | Veri ve GPU'ya ihtiyaç duyar | Karmaşık sahneler, yüksek değişkenlik |
Derin öğrenme izleyicileri doğruluğu artırır ve donanım gereksinimlerini değiştirir
Derin öğrenme, zebra balığı takibine büyük ölçüde girmiştir. YOLO ve Faster R-CNN gibi nesne algılayıcılar, arka plan çıkarma işlemi olmadan balıkları tespit edebilir. DeepLabCut gibi duruş tahmini araçları, yalnızca merkez noktalar değil, aynı zamanda vücudun parçalarını da izleyebilir. Yeniden tanımlama ağları, kareler arasında görünümü karşılaştırabilir. İzleme için ayrıca Transformer ve Siyam ağları da kullanılır.
Kalabalık veya değişken sahnelerde kazanımlar gerçektir. Ancak maliyetler de gerçektir. Eğitim verileri etiketlenmelidir; genellikle kare kare. Çerçeve hızı yüksekse çıkarım işlemi bir GPU gerektirir. Bir laboratuvarın aydınlatma koşulları ve balık ırkı üzerinde eğitilen modeller, başka bir laboratuvara genellenemeyebilir. Derin öğrenme izleyicisi, klasik bir işlem hattının doğrudan yerine geçecek bir çözüm değildir. Donanım bütçesini, açıklama yükünü ve doğrulama stratejisini değiştirir.
Algoritma uyumsuzluğundan kaynaklanan kimlik değişimlerine neden olan bir saha örneği
Güney Çin'de bir üniversitede bulunan davranışsal temel tesisinde çoklu tank izleme sistemi çalıştırılıyordu. İlk işlem hattı arka plan çıkarma ve en yakın komşu eşleştirme yöntemlerini kullanıyordu. Tek balık deneylerinde izler temiz görünüyordu. Grup deneylerinde ise veriler imkânsız sıçramalar gösteriyordu. Balıklar arena boyunca ışınlanıyormuş gibi görünüyor ve sonra geri dönüyordu.
Sorun, kesişmeler sırasında kimlik değişimi idi. Ekip, tahmin için bir Kalman süzgeci ekledi ve en yakın komşu eşleştirmeyi Macar atama yöntemiyle değiştirdi. Maliyet matrisine, kuyruk şekline dayalı basit bir görünüş özelliği eklendi. Işınlanma olayları sona erdi. Yoğun balık sürülerinde izler hâlâ elle gözden geçirilmek zorundaydı, ancak veri kümesi artık kullanılabilir hâle geldi. Çıkarılan ders, bir algoritmanın her zaman daha iyi olduğu değil, aksine algoritmanın hayvanların sosyal davranışlarına uygun olması gerektiği yönündeydi.
Algoritmaları biyolojik soruya ve donanıma uyumlandırmak
Tek bir algoritma ailesi her yerde kazanmaz. 24 delikli bir plakada tek bir larva için basit bir merkez noktası izleyicisi yeterlidir. Aynı test için derin öğrenme tabanlı bir izleyici aşırı olabilir ama kalabalık bir yetişkin balık tankı için hayati öneme sahiptir. Doğru seçim, balık yoğunluğuna, ortam karmaşıklığına, aydınlatma kararlılığına ve biyolojik soruya bağlıdır.
Ayrıca kullanılan donanıma da bağlıdır. Sabit bir kamera montajı, eşit aydınlatma ve temiz bir arka plan, klasik algoritmaların çok daha iyi çalışmasını sağlar. Titrek bir montaj ya da dalgalanan ışık, yazılımın mekanik olarak çözülmesi gereken sorunlara karşı telafi yapmasını zorunlu kılar. İzleme doğruluğu yalnızca bir yazılım özelliği değil, bir sistem özelliğidir.
Hunter Lab (Hunter), takip algoritmalarının bağımlı olduğu mekanik ve optik kararlılığa dikkat ederek zebra balığı laboratuvar ekipmanları üretir. Üretim ve kalite kontrol süreçleri, çoklu düzenekli davranış çalışmaları için gerekli tutarlılığı destekler. Takip verilerinin biyolojiyi yansıtmak instead of işlem hattı kaynaklı artefaktları yansıtmak isteyen laboratuvarlar için bu kararlılık temelin bir parçasıdır.