เหตุใดการเลือกอัลกอริทึมจึงมีผลต่อชุดข้อมูลเส้นทางการเคลื่อนที่ทุกชุด
ระบบติดตามเส้นทางการเคลื่อนที่ของปลาเซเบอร์ฟิชจะมีคุณภาพดีเพียงใดนั้น ขึ้นอยู่กับอัลกอริทึมที่ทำงานอยู่เบื้องหลังกล้องเท่านั้น อุปกรณ์ฮาร์ดแวร์ทำหน้าที่จับภาพพิกเซล ส่วนซอฟต์แวร์คือผู้ตัดสินใจว่าพิกเซลเหล่านั้นมีความหมายอย่างไร ห้องปฏิบัติการสองแห่งอาจใช้กล้องรุ่นเดียวกัน พื้นที่ทดลองแบบเดียวกัน และระบบให้แสงแบบเดียวกัน แต่กลับได้ชุดข้อมูลที่แตกต่างกันมาก เนื่องจากสายการประมวลผล (pipeline) ของห้องปฏิบัติการแห่งหนึ่งสามารถจัดการกับปรากฏการณ์การบัง (occlusion) ได้ดี ในขณะที่อีกแห่งไม่สามารถทำได้ อัลกอริทึมการติดตามจึงเป็นศูนย์กลางของความแตกต่างนั้น
งานนี้แบ่งออกเป็นสามส่วน คือ การตรวจจับ ซึ่งใช้ระบุตำแหน่งปลาในแต่ละเฟรม การเชื่อมโยง ซึ่งเชื่อมการตรวจจับระหว่างเฟรมต่าง ๆ เพื่อให้ปลาแต่ละตัวรักษาเอกลักษณ์เดิมไว้ และการเรียบเนียนเส้นทาง ซึ่งใช้ประมาณเส้นทางที่แท้จริงเมื่อผลการตรวจจับมีความคลาดเคลื่อนหรือขาดหายไป ครอบครัวของอัลกอริทึมที่ต่างกันจะจัดการแต่ละส่วนด้วยสมมุติฐานที่ต่างกัน ซึ่งสมมุติฐานเหล่านั้นกำหนดขีดจำกัดว่าข้อมูลสามารถรองรับอะไรได้บ้าง
การลบพื้นหลังและการปรับเกณฑ์ยังคงเป็นแนวป้องกันขั้นแรก
ระบบส่วนใหญ่เริ่มต้นด้วยวิธีแยกปลาออกจากพื้นหลัง การลบพื้นหลังสร้างแบบจำลองของลานทดลองที่ว่างเปล่า แล้วทำเครื่องหมายพิกเซลที่แตกต่างจากแบบจำลองนั้น จากนั้นการปรับเกณฑ์จะแปลงแผนที่ความต่างให้กลายเป็นมาสก์แบบไบนารี และการดำเนินการเชิงรูปภาพ (morphological operations) จะช่วยกำจัดรูเล็ก ๆ และพิกเซลที่กระจายอยู่โดยไม่ตั้งใจ
วิธีนี้รวดเร็วและให้ผลดีเมื่อพื้นหลังไม่เปลี่ยนแปลงและมีความต่างของสีเพียงพอ ตัวอย่างเช่น ปลาสีเข้มที่อยู่บนพื้นสนามสีสว่างจะตรวจจับได้ง่าย แต่ปัญหาจะเกิดขึ้นเมื่อระดับแสงเปลี่ยนไป แสงสะท้อนเคลื่อนที่ หรือฟองอากาศและเศษสิ่งสกปรกเข้ามาในภาพ เช่น เงาอาจถูกตีความผิดว่าเป็นปลา หรือปลาที่อยู่ใกล้ผนังอาจกลืนเข้ากับขอบภาพจนแยกไม่ออก นอกจากนี้ การลบพื้นหลังยังทำงานได้ไม่ดีเมื่อปลามีการทับซ้อนกัน เพราะมาสก์ที่ได้จะกลายเป็นจุดเดียวแทนที่จะแยกเป็นสองจุด
การติดตามจุดศูนย์กลางและการจับคู่กับเพื่อนบ้านที่ใกล้ที่สุดใช้ได้ดีกับสนามทดลองแบบง่าย
เมื่อตรวจจับปลาได้แล้ว วิธีที่ง่ายที่สุดในการเชื่อมเฟรมเข้าด้วยกันคือการติดตามจุดศูนย์กลาง โดยคำนวณจุดศูนย์กลางของแต่ละมวล (blob) แล้วสมมุติว่าจุดศูนย์กลางที่อยู่ใกล้ที่สุดในเฟรมถัดไปคือปลาตัวเดียวกัน การจับคู่กับเพื่อนบ้านที่ใกล้ที่สุดนั้นเขียนโปรแกรมได้ง่ายและให้ผลดีสำหรับปลาหนึ่งตัว หรือปลาไม่กี่ตัวที่อยู่ห่างกันพอสมควร
โหมดความล้มเหลวคือการสลับตัวตน เมื่อปลากลุ่มหนึ่งสองตัวว่ายผ่านกัน จุดศูนย์กลางที่ใกล้ที่สุดอาจถูกจัดให้กับปลาตัวที่ไม่ถูกต้อง ทำให้ระบบติดตามสลับตัวตนของปลา และข้อมูลเส้นทางการเคลื่อนที่ก็จะผิดเพี้ยนไป กรณีเช่นนี้ไม่ใช่เหตุการณ์ขอบเขตที่เกิดขึ้นได้ยากแต่อย่างใด ปล่าเซบราฟิชเป็นสัตว์สังคมและมักว่ายอยู่ใกล้กันเสมอ กระบวนการวิเคราะห์ที่เพิกเฉยต่อความต่อเนื่องของตัวตน จะสร้างเส้นทางการเคลื่อนที่ที่ดูสวยงาม แต่ขัดแย้งกับหลักชีววิทยา
ตัวกรองคาลมานนำการพยากรณ์การเคลื่อนที่เข้าสู่กระบวนการวิเคราะห์
ตัวกรองคาลมานเพิ่มแบบจำลองการเคลื่อนที่เข้าไป แทนที่จะสมมุติว่าปลาไม่ขยับตัวระหว่างเฟรม ตัวกรองนี้จะพยากรณ์ตำแหน่งที่ควรจะเป็นของปลาโดยอิงจากความเร็วก่อนหน้า จากนั้นจึงเปรียบเทียบผลการพยากรณ์กับการตรวจจับครั้งใหม่ และปรับปรุงการประมาณสถานะให้แม่นยำยิ่งขึ้น วิธีนี้ช่วยลดผลกระทบจากสัญญาณรบกวน และยังคงทำงานได้ดีแม้การตรวจจับจะขาดหายไปหนึ่งหรือสองเฟรม
ตัวกรองคาลมานแบบมาตรฐานสมมุติว่าการเคลื่อนที่เป็นเชิงเส้นและสัญญาณรบกวนมีลักษณะแบบเกาส์เซียน แต่ปลาเซบราฟิชไม่จำเป็นต้องให้ความร่วมมือเสมอไป มันอาจเลี้ยวอย่างเฉียบพลัน พุ่งออกไป หรือลอยนิ่งอยู่กับที่ ตัวกรองคาลมานแบบขยาย (Extended Kalman filters) และตัวกรองแบบพาร์ติเคิล (particle filters) ผ่อนคลายสมมุติฐานบางประการเหล่านั้น แต่ก็เพิ่มความซับซ้อนเข้าไปด้วย อย่างไรก็ตาม ประโยชน์เชิงปฏิบัติยังคงมีอยู่จริง แม้แต่แบบจำลองความเร็วคงที่แบบง่ายๆ ก็สามารถลดการสั่นไหว (jitter) และปรับปรุงความต่อเนื่องของการติดตามในน้ำเปิดได้
การจับคู่ตามอัลกอริทึมฮังการีและการติดตามหลายวัตถุช่วยรักษาเอกลักษณ์ของแต่ละวัตถุให้ชัดเจน
อัลกอริทึมฮังการีใช้แก้ปัญหาการจับคู่ โดยเมื่อกำหนดเมทริกซ์ต้นทุนที่ระบุความน่าจะเป็นที่การตรวจจับแต่ละรายการจะตรงกับแทร็กที่มีอยู่แต่ละรายการ อัลกอริทึมจะหาการจับคู่แบบหนึ่งต่อหนึ่งที่ทำให้ผลรวมของต้นทุนต่ำที่สุด ต้นทุนอาจคำนวณจากหลายปัจจัยร่วมกัน เช่น ระยะทาง ลักษณะปรากฏ และการคาดการณ์การเคลื่อนที่ ซึ่งเป็นหลักการพื้นฐานของวิธีการติดตามหลายวัตถุ เช่น SORT และ DeepSORT
-
ทำนายตำแหน่งของแต่ละแทร็กโดยใช้แบบจำลองการเคลื่อนที่
-
คำนวณเมทริกซ์ต้นทุนระหว่างแทร็กกับการตรวจจับใหม่
-
แก้ปัญหาการจับคู่โดยใช้อัลกอริทึมฮังการี
-
อัปเดตแทร็กที่ตรงกัน และจัดการกับการตรวจจับที่ไม่ตรงกันว่าเป็นสิ่งใหม่หรือสูญหาย
DeepSORT เพิ่มตัวระบุลักษณะภายนอก (appearance descriptor) ซึ่งมักเป็นเครือข่ายประสาทเทียมขนาดเล็ก เพื่อให้สามารถระบุปลาแต่ละตัวได้อีกครั้งหลังถูกบดบัง วิธีนี้ช่วยได้เมื่อปลากลุ่มหนึ่งว่ายไขว้กันแล้วแยกจากกัน ข้อเสียคือใช้ทรัพยากรการคำนวณมากขึ้นและต้องปรับแต่งเพิ่มเติม ขั้นตอนการมอบหมาย (assignment step) จะมีประสิทธิภาพดีเท่ากับคุณภาพของเมทริกซ์ต้นทุน (cost matrix) เท่านั้น และหากเมทริกซ์นั้นมีน้ำหนักไม่เหมาะสม ก็อาจยังเกิดการสลับตัวตน (swaps) ได้
| กลุ่มอัลกอริทึม | ความแข็งแรง | ความอ่อนแอ | พอดีที่สุด |
|---|---|---|---|
| การลบพื้นหลัง | เร็วและง่าย | ไวต่อแสงและเศษสิ่งสกปรก | ลานทดลองแบบนิ่ง มีความคมชัดสูง |
| จุดศูนย์กลางมวล (centroid) พร้อมวิธีเพื่อนบ้านที่ใกล้ที่สุด (nearest neighbor) | นำไปใช้งานได้ง่าย | การสลับตัวตน | ปลาตัวเดียวหรือความหนาแน่นต่ำ |
| ตัวกรองคาลมาน | ลดสัญญาณรบกวนและทำนายค่า | สมมุติฐานการเคลื่อนที่เชิงเส้น | พื้นที่เปิด ความเร็วปานกลาง |
| การจับคู่แบบฮังการี | การจับคู่แบบหนึ่งต่อหนึ่งที่ดีที่สุด | การปรับแต่งเมทริกซ์ต้นทุน | การติดตามปลาหลายตัว |
| ตัวติดตามที่ใช้การเรียนรู้เชิงลึก | จัดการกับการบังและการเปลี่ยนแปลงลักษณะภายนอก | ต้องใช้ข้อมูลและหน่วยประมวลผลกราฟิก (GPU) | ฉากซับซ้อน มีความแปรผันสูง |
ตัวติดตามที่ใช้การเรียนรู้เชิงลึกเพิ่มความแม่นยำ และเปลี่ยนความต้องการด้านฮาร์ดแวร์
การเรียนรู้เชิงลึกได้เข้ามามีบทบาทสำคัญอย่างมากในการติดตามปลาเซบราฟิช เครื่องตรวจจับวัตถุ เช่น YOLO และ Faster R-CNN สามารถระบุตำแหน่งปลาได้โดยไม่จำเป็นต้องลบพื้นหลัง ขณะที่เครื่องมือประมาณค่าท่าทาง เช่น DeepLabCut สามารถติดตามส่วนต่าง ๆ ของร่างกาย ไม่ใช่แค่จุดศูนย์กลางเท่านั้น เครือข่ายระบุตัวตนซ้ำ (re-identification networks) สามารถเปรียบเทียบลักษณะภายนอกระหว่างเฟรมต่าง ๆ ได้ นอกจากนี้ยังใช้ทรานส์ฟอร์เมอร์ (Transformers) และเครือข่ายไซแอไมส์ (Siamese networks) สำหรับงานติดตามอีกด้วย
ผลประโยชน์ที่ได้รับนั้นมีจริง โดยเฉพาะในฉากที่มีความหนาแน่นสูงหรือมีความแปรผันมาก แต่ต้นทุนก็มีจริงเช่นกัน ข้อมูลสำหรับฝึกโมเดลต้องมีการป้ายกำกับ ซึ่งมักทำทีละเฟรม การประมวลผลแบบอินเฟอเรนซ์ (inference) จำเป็นต้องใช้ GPU หากต้องการอัตราเฟรมสูง โมเดลที่ฝึกด้วยข้อมูลจากสภาพแสงและสายพันธุ์ปลาของห้องปฏิบัติการหนึ่งอาจไม่สามารถนำไปใช้ได้โดยตรงกับห้องปฏิบัติการอื่น ตัวติดตามที่ใช้การเรียนรู้เชิงลึกจึงไม่ใช่การแทนที่แบบ ‘เสียบแล้วใช้งานได้ทันที’ สำหรับระบบแบบคลาสสิก แต่จะเปลี่ยนแปลงงบประมาณด้านฮาร์ดแวร์ ภาระงานในการป้ายกำกับข้อมูล และกลยุทธ์การตรวจสอบความถูกต้อง
ตัวอย่างจากภาคสนามที่เกิดการสลับตัวตนเนื่องจากอัลกอริทึมไม่สอดคล้องกัน
ศูนย์วิจัยพฤติกรรมแห่งหนึ่งที่มหาวิทยาลัยในภาคใต้ของประเทศจีน กำลังดำเนินการทดลองติดตามการเคลื่อนไหวด้วยระบบหลายถัง ขั้นตอนการประมวลผลเริ่มต้นใช้เทคนิคการลบพื้นหลังร่วมกับการจับคู่แบบเพื่อนบ้านที่ใกล้ที่สุด ผลลัพธ์ที่ได้ดูเรียบร้อยดีในการทดลองที่ใช้ปลาเพียงตัวเดียว แต่เมื่อทดลองกับกลุ่มปลา ข้อมูลที่ได้แสดงการกระโดดอย่างไม่น่าเป็นไปได้ ปลาดูเหมือนจะย้ายตำแหน่งข้ามลานทดลองไปยังจุดไกลๆ แล้วกลับมาอีกครั้ง
ปัญหาเกิดจากการสลับตัวตนของปลาขณะว่ายผ่านกัน ทีมงานจึงเพิ่มตัวกรองคาลมานเพื่อทำนายตำแหน่ง และแทนการจับคู่แบบเพื่อนบ้านที่ใกล้ที่สุดด้วยวิธีการจับคู่แบบฮังกาเรียน พร้อมเสริมคุณลักษณะด้านรูปลักษณ์อย่างง่ายโดยใช้รูปร่างของหางใส่ลงในแมทริกซ์ต้นทุน การย้ายตำแหน่งแบบไม่น่าเป็นไปได้หยุดลง แม้ข้อมูลการติดตามยังจำเป็นต้องตรวจสอบด้วยมือในช่วงที่ฝูงปลาว่ายรวมกันแน่นหนา แต่ชุดข้อมูลนั้นสามารถนำไปใช้งานได้จริง บทเรียนที่ได้ไม่ใช่การยืนยันว่าอัลกอริทึมใดอัลกอริทึมหนึ่งดีกว่าเสมอ แต่คือความเข้าใจว่าอัลกอริทึมต้องสอดคล้องกับพฤติกรรมทางสังคมของสัตว์
การจับคู่อัลกอริทึมให้สอดคล้องกับคำถามเชิงชีววิทยาและโครงสร้างการทดลอง
ไม่มีครอบครัวอัลกอริทึมใดครอบคลุมทุกสถานการณ์ ตัวติดตามแบบเซนทรอยด์ง่ายๆ ก็เพียงพอสำหรับตัวอ่อนเพียงตัวเดียวในจานทดลองแบบ 24 หลุม แต่ตัวติดตามที่ใช้การเรียนรู้เชิงลึกอาจซับซ้อนเกินความจำเป็นสำหรับการทดลองแบบเดียวกันนี้ ทว่ากลับจำเป็นอย่างยิ่งเมื่อใช้กับตู้ปลาที่มีปลามากมาย การเลือกที่เหมาะสมขึ้นอยู่กับความหนาแน่นของปลา ความซับซ้อนของพื้นที่ทดลอง ความเสถียรของแสง และคำถามเชิงชีวภาพที่ต้องการศึกษา
การเลือกยังขึ้นอยู่กับระบบอุปกรณ์ด้วย ขาตั้งกล้องที่มั่นคง การให้แสงที่สม่ำเสมอ และพื้นหลังที่สะอาด จะช่วยให้อัลกอริทึมแบบคลาสสิกทำงานได้ดีขึ้นมาก แต่หากขาตั้งสั่นหรือแสงกระพริบ ซอฟต์แวร์จะต้องมาชดเชยปัญหาที่ควรแก้ไขด้วยวิธีทางกายภาพตั้งแต่ต้น ความแม่นยำในการติดตามจึงเป็นคุณลักษณะของระบบทั้งระบบ ไม่ใช่เพียงคุณสมบัติของซอฟต์แวร์เท่านั้น
Hunter Lab (Hunter) ผลิตอุปกรณ์สำหรับห้องปฏิบัติการปลาเซฟร่าฟิช โดยให้ความสำคัญกับความมั่นคงด้านกลไกและแสง ซึ่งเป็นสิ่งจำเป็นสำหรับอัลกอริทึมการติดตาม การผลิตและการควบคุมคุณภาพยังสนับสนุนความสม่ำเสมอที่งานวิจัยพฤติกรรมแบบใช้หลายระบบต้องการ สำหรับห้องปฏิบัติการที่ต้องการข้อมูลการติดตามที่สะท้อนถึงชีววิทยาจริง ไม่ใช่สิ่งผิดปกติที่เกิดจากกระบวนการวิเคราะห์ ความมั่นคงนี้จึงถือเป็นพื้นฐานสำคัญ