Tại sao việc lựa chọn thuật toán định hình mọi tập dữ liệu quỹ đạo
Một hệ thống theo dõi quỹ đạo cá ngựa vằn chỉ tốt đúng bằng các thuật toán chạy bên dưới máy ảnh. Phần cứng ghi lại các điểm ảnh. Phần mềm quyết định ý nghĩa của những điểm ảnh đó. Hai phòng thí nghiệm có thể sử dụng cùng một máy ảnh, cùng một bể thí nghiệm và cùng một điều kiện chiếu sáng, nhưng lại thu được các tập dữ liệu rất khác nhau vì một quy trình xử lý xử lý che khuất hiệu quả trong khi quy trình kia thì không. Các thuật toán theo dõi nằm ở trung tâm của sự khác biệt đó.
Công việc được chia thành ba phần. Phát hiện xác định vị trí cá trong từng khung hình. Liên kết gắn kết các phát hiện qua các khung hình sao cho mỗi con cá giữ nguyên danh tính. Làm mượt ước tính đường đi thực tế khi các phát hiện bị nhiễu hoặc thiếu. Các họ thuật toán khác nhau xử lý những phần này dựa trên các giả định khác nhau, và những giả định đó quyết định khả năng hỗ trợ dữ liệu.
Loại bỏ nền và ngưỡng vẫn là hàng phòng thủ đầu tiên
Hầu hết các quy trình đều bắt đầu bằng cách tách cá ra khỏi nền. Loại bỏ nền xây dựng mô hình của bể rỗng và đánh dấu các điểm ảnh khác biệt so với mô hình đó. Sau đó, ngưỡng chuyển bản đồ chênh lệch thành mặt nạ nhị phân. Các phép toán hình thái học làm sạch các lỗ nhỏ và các điểm ảnh rời rạc.
Phương pháp này nhanh và hoạt động tốt khi nền tĩnh và độ tương phản đủ cao. Một con cá sẫm màu trên nền sáng dễ nhận diện. Vấn đề xuất hiện khi ánh sáng thay đổi, các phản xạ di chuyển hoặc bọt khí và mảnh vụn lọt vào khung hình. Một cái bóng có thể trông giống như một con cá. Một con cá gần thành bể có thể hòa lẫn với đường viền. Việc trừ nền cũng gặp khó khăn khi các con cá chồng lấn nhau, vì mặt nạ lúc đó trở thành một khối duy nhất thay vì hai khối riêng biệt.
Theo dõi trọng tâm và ghép nối hàng xóm gần nhất phù hợp với các bể thí nghiệm đơn giản
Sau khi phát hiện cá, cách đơn giản nhất để liên kết các khung hình là theo dõi trọng tâm. Trọng tâm của mỗi khối được tính toán, và trọng tâm gần nhất trong khung hình tiếp theo được giả định là cùng một con cá. Việc ghép nối hàng xóm gần nhất dễ triển khai và hoạt động tốt với một con cá hoặc vài con cá giữ khoảng cách xa nhau.
Chế độ lỗi là việc hoán đổi danh tính. Khi hai con cá vượt qua nhau, tâm điểm gần nhất có thể thuộc về con cá sai. Bộ theo dõi hoán đổi danh tính, và dữ liệu quỹ đạo trở nên lộn xộn. Đây không phải là một trường hợp ngoại lệ hiếm gặp. Cá zebrafish mang tính xã hội cao và thường bơi sát nhau. Một quy trình xử lý bỏ qua tính liên tục của danh tính sẽ tạo ra các quỹ đạo trông đẹp mắt nhưng lại sai về mặt sinh học.
Bộ lọc Kalman đưa khả năng dự đoán chuyển động vào quy trình xử lý
Bộ lọc Kalman bổ sung một mô hình chuyển động. Thay vì giả định rằng con cá đứng yên giữa hai khung hình, bộ lọc này dự đoán vị trí mà nó nên xuất hiện dựa trên vận tốc trước đó. Dự đoán này được so sánh với phát hiện mới, và ước lượng trạng thái được cập nhật. Điều này làm giảm nhiễu trong các phép đo và hỗ trợ khi thiếu phát hiện trong một hoặc hai khung hình.
Bộ lọc Kalman tiêu chuẩn giả định chuyển động tuyến tính và nhiễu Gauss. Cá zebrafish không luôn hợp tác. Nó có thể rẽ sắc, lao nhanh hoặc lơ lửng. Các bộ lọc Kalman mở rộng và bộ lọc hạt làm giảm bớt một số giả định đó, nhưng lại làm tăng độ phức tạp. Lợi ích thực tiễn vẫn rõ ràng. Ngay cả một mô hình vận tốc không đổi đơn giản cũng giúp giảm rung và cải thiện tính liên tục của quỹ đạo trong vùng nước mở.
Phương pháp gán Hungary và theo dõi đa đối tượng giúp phân biệt rõ danh tính các đối tượng
Thuật toán Hungary giải bài toán gán. Với ma trận chi phí đánh giá mức độ khả thi khi mỗi phát hiện khớp với mỗi quỹ đạo hiện có, thuật toán tìm ra phép ghép một-một sao cho tổng chi phí là nhỏ nhất. Chi phí có thể kết hợp khoảng cách, đặc điểm ngoại hình và dự đoán chuyển động. Đây là nền tảng của các phương pháp theo dõi đa đối tượng như SORT và DeepSORT.
-
Dự đoán vị trí của từng quỹ đạo bằng mô hình chuyển động.
-
Tính toán ma trận chi phí giữa các quỹ đạo và các phát hiện mới.
-
Giải bài toán gán bằng thuật toán Hungary.
-
Cập nhật các đường đi đã khớp và xử lý các phát hiện không khớp như các đối tượng mới hoặc bị mất.
DeepSORT bổ sung một mô tả đặc trưng về ngoại hình, thường là một mạng nơ-ron nhỏ, để cá có thể được nhận diện lại sau khi bị che khuất. Điều này hữu ích khi hai con cá đi ngang qua nhau rồi tách ra. Nhược điểm là tốn thêm tài nguyên tính toán và cần tinh chỉnh nhiều hơn. Bước gán chỉ tốt chừng nào ma trận chi phí tốt, và một ma trận được cân trọng kém vẫn có thể gây ra việc hoán đổi danh tính.
| Họ thuật toán | Độ bền | Điểm yếu | Phù hợp nhất |
|---|---|---|---|
| Trừ nền | Nhanh, đơn giản | Nhạy cảm với ánh sáng và vật cản | Vùng thử nghiệm tĩnh, độ tương phản cao |
| Tâm khối với hàng xóm gần nhất | Dễ triển khai | Hoán đổi danh tính | Cá đơn lẻ hoặc mật độ thấp |
| Bộ lọc Kalman | Làm mờ nhiễu và dự đoán | Giả định chuyển động tuyến tính | Khu vực mở, tốc độ trung bình |
| Phép gán Hungary | Phép ghép nối một-một tối ưu | Hiệu chỉnh ma trận chi phí | Theo dõi nhiều cá |
| Bộ theo dõi học sâu | Xử lý che khuất và thay đổi ngoại hình | Cần dữ liệu và GPU | Cảnh phức tạp, độ biến thiên cao |
Bộ theo dõi dựa trên học sâu nâng cao độ chính xác và làm thay đổi nhu cầu phần cứng
Học sâu đã được áp dụng mạnh mẽ vào việc theo dõi cá zebrafish. Các bộ phát hiện đối tượng như YOLO và Faster R-CNN có thể xác định cá mà không cần trừ nền. Các công cụ ước lượng tư thế như DeepLabCut có thể theo dõi các bộ phận cơ thể, chứ không chỉ tâm điểm. Các mạng nhận dạng lại (re-identification) có thể so sánh ngoại hình qua các khung hình. Các biến đổi (transformers) và mạng Siamese cũng được sử dụng cho việc theo dõi.
Lợi ích là có thật trong các cảnh đông đúc hoặc biến thiên cao. Chi phí cũng là điều có thật. Dữ liệu huấn luyện phải được gán nhãn, thường từng khung hình một. Việc suy luận (inference) cần GPU nếu tốc độ khung hình cao. Các mô hình huấn luyện dưới điều kiện ánh sáng và chủng cá của một phòng thí nghiệm có thể không khái quát hóa được sang phòng thí nghiệm khác. Một bộ theo dõi dựa trên học sâu không phải là giải pháp thay thế trực tiếp (drop-in replacement) cho quy trình cổ điển. Nó làm thay đổi ngân sách phần cứng, khối lượng công việc gán nhãn và chiến lược kiểm định.
Một ví dụ thực tế trong lĩnh vực này, nơi sự không tương thích giữa thuật toán gây ra việc hoán đổi danh tính
Một cơ sở nghiên cứu hành vi tại một trường đại học ở miền nam Trung Quốc đang vận hành hệ thống theo dõi đa bể. Quy trình xử lý ban đầu sử dụng phương pháp trừ nền và ghép cặp láng giềng gần nhất. Các quỹ đạo trông rõ ràng trong các thử nghiệm với một con cá duy nhất. Tuy nhiên, trong các thử nghiệm nhóm, dữ liệu cho thấy những bước nhảy không thể xảy ra: cá dường như dịch chuyển tức thời qua khu vực thí nghiệm rồi quay lại.
Vấn đề nằm ở việc hoán đổi danh tính khi các cá thể đi ngang qua nhau. Nhóm nghiên cứu đã bổ sung bộ lọc Kalman để dự đoán và thay thế phương pháp ghép cặp láng giềng gần nhất bằng thuật toán gán Hungary. Một đặc trưng hình dạng đơn giản dựa trên dáng đuôi được thêm vào ma trận chi phí. Hiện tượng dịch chuyển tức thời chấm dứt. Các quỹ đạo vẫn cần xem xét thủ công trong các tình huống bầy cá đông đặc, nhưng tập dữ liệu đã có thể sử dụng được. Bài học rút ra không phải là một thuật toán nào đó luôn vượt trội hơn, mà là thuật toán phải phù hợp với hành vi xã hội của động vật.
Phù hợp thuật toán với câu hỏi sinh học và thiết lập thí nghiệm
Không có họ thuật toán nào chiếm ưu thế trong mọi tình huống. Bộ theo dõi tâm điểm (centroid tracker) đơn giản là đủ để theo dõi một con giun non duy nhất trong đĩa nuôi cấy 24 hốc. Trong khi đó, bộ theo dõi học sâu (deep learning tracker) có thể quá dư thừa cho cùng thử nghiệm đó, nhưng lại thiết yếu khi quan sát bể chứa đông đặc cá trưởng thành. Lựa chọn phù hợp phụ thuộc vào mật độ cá, độ phức tạp của môi trường thí nghiệm, sự ổn định của ánh sáng và câu hỏi sinh học cần giải đáp.
Lựa chọn cũng phụ thuộc vào hệ thống thiết bị. Giá đỡ máy ảnh ổn định, chiếu sáng đồng đều và nền sạch sẽ giúp các thuật toán cổ điển hoạt động hiệu quả hơn nhiều. Ngược lại, giá đỡ rung lắc hoặc ánh sáng nhấp nháy buộc phần mềm phải bù trừ những vấn đề vốn nên được khắc phục bằng giải pháp cơ học. Độ chính xác khi theo dõi là đặc tính của toàn bộ hệ thống, chứ không chỉ là một tính năng phần mềm.
Hunter Lab (Hunter) sản xuất thiết bị phòng thí nghiệm cho cá zebrafish với sự chú trọng vào độ ổn định cơ học và quang học – yếu tố then chốt đối với các thuật toán theo dõi. Quy trình sản xuất và kiểm soát chất lượng đảm bảo tính nhất quán cần thiết cho các nghiên cứu hành vi trên nhiều hệ thống đồng thời. Đối với các phòng thí nghiệm mong muốn dữ liệu theo dõi phản ánh đúng sinh học thay vì các sai lệch do quy trình xử lý, chính độ ổn định này tạo nên nền tảng cơ bản.