알고리즘 선택이 모든 궤적 데이터셋을 어떻게 형성하는가
제브라피시 궤적 추적 시스템은 그 하부에서 작동하는 알고리즘만큼이나 정확합니다. 하드웨어는 픽셀을 캡처할 뿐이며, 소프트웨어가 그 픽셀들이 무엇을 의미하는지를 결정합니다. 두 실험실이 동일한 카메라, 동일한 실험 공간, 동일한 조명을 사용하더라도, 한 파이프라인은 교차를 잘 처리하는 반면 다른 파이프라인은 그렇지 못하기 때문에 매우 다른 데이터셋을 얻게 될 수 있습니다. 추적 알고리즘은 바로 이러한 차이의 핵심에 위치합니다.
이 작업은 세 부분으로 나뉜다. 탐지는 각 프레임에서 물고기를 찾는 과정이다. 연관은 프레임 간 탐지를 연결하여 물고기가 동일한 정체성을 유지하도록 한다. 부드러운 추정은 탐지가 잡음에 휘둘리거나 누락된 경우 진짜 경로를 추정한다. 서로 다른 알고리즘 계열이 이러한 부분을 각기 다른 가정 하에 처리하며, 그러한 가정이 데이터가 지지할 수 있는 범위를 결정한다.
배경 제거와 이진화는 여전히 첫 번째 방어선이다
대부분의 파이프라인은 물고기와 배경을 분리하는 방법으로 시작한다. 배경 제거는 비어 있는 경기장의 모델을 구축하고, 그 모델과 차이가 나는 픽셀을 표시한다. 이진화는 그런 차이 맵을 이진 마스크로 변환한다. 형태학적 연산은 작은 구멍과 산발적인 픽셀을 정리한다.
이 방법은 배경이 정적이고 대비가 적절할 때 빠르고 잘 작동한다. 밝은 경기장에서 어두운 물고기를 인식하는 것은 간단하다. 그러나 조명이 변하거나 반사광이 움직이거나 기포 및 이물질이 프레임 안으로 들어오면 문제가 발생한다. 그림자는 물고기처럼 보일 수 있고, 벽 근처의 물고기는 테두리와 융합될 수 있다. 또한 물고기들이 겹쳐질 경우 배경 차분 기법은 어려움을 겪는다. 마스크가 두 개의 별개 영역이 아니라 하나의 덩어리로만 인식되기 때문이다.
중심점 추적과 최근접 이웃 매칭은 단순한 경기장에 적합하다
물고기를 탐지한 후 프레임을 연결하는 가장 간단한 방법은 중심점 추적이다. 각 영역의 중심점을 계산하고, 다음 프레임에서 가장 가까운 중심점을 동일한 물고기로 간주한다. 최근접 이웃 매칭은 구현이 쉬우며, 한 마리 또는 서로 멀리 떨어져 있는 소수의 물고기에 대해서는 잘 작동한다.
고장 모드는 정체성 교체이다. 두 마리 물고기가 경로를 교차할 때, 가장 가까운 중심점이 잘못된 물고기에 속할 수 있다. 추적기는 정체성을 바꾸고, 궤적 데이터가 엉망이 된다. 이는 드문 경계 사례가 아니다. 제브라피시는 사회적 동물이며 종종 서로 가까이서 헤엄친다. 정체성 지속성을 무시하는 파이프라인은 생물학적으로 부정확한, 보기 좋기만 한 궤적을 생성한다.
칼만 필터는 움직임 예측을 파이프라인에 도입한다
칼만 필터는 움직임 모델을 추가한다. 프레임 간에 물고기가 정지해 있다고 가정하는 대신, 필터는 이전 속도를 기반으로 다음 위치를 예측한다. 이 예측은 새로운 탐지 결과와 비교되며, 상태 추정치가 갱신된다. 이를 통해 잡음이 많은 측정값이 매끄럽게 처리되고, 한두 프레임 동안 탐지가 누락되었을 때도 도움이 된다.
표준 칼만 필터는 선형 운동과 가우시안 잡음을 가정한다. 제브라피쉬는 항상 협조하지 않는다. 급격히 방향을 틀거나, 빠르게 움직이거나, 정지할 수 있다. 확장 칼만 필터와 입자 필터는 이러한 가정 일부를 완화하지만, 복잡성이 증가한다. 실용적 이점은 여전히 명확하다. 단순한 등속도 모델조차도 개방 수역에서 흔들림을 줄이고 추적 연속성을 향상시킨다.
헝가리안 할당 및 다중 객체 추적으로 객체 식별을 명확히 유지한다.
헝가리안 알고리즘은 할당 문제를 해결한다. 기존 추적 각각에 대한 탐지 가능성 점수를 담은 비용 행렬이 주어졌을 때, 이 알고리즘은 총 비용을 최소화하는 일대일 매칭을 찾는다. 비용은 거리, 외관, 운동 예측을 조합하여 계산할 수 있다. 이는 SORT 및 DeepSORT와 같은 다중 객체 추적 방법의 핵심이다.
-
운동 모델을 사용해 각 추적 위치를 예측한다.
-
추적과 새로운 탐지 사이에 비용 행렬을 계산한다.
-
헝가리안 알고리즘으로 할당 문제를 해결한다.
-
일치하는 추적 항목을 업데이트하고, 일치하지 않은 탐지 항목은 새 객체 또는 소실된 객체로 처리합니다.
DeepSORT는 외관 기술자(appearance descriptor)를 추가하며, 이는 보통 작은 신경망으로 구성되어 물고기가 가려진 후에도 다시 식별될 수 있도록 합니다. 이 방식은 두 마리 물고기가 교차한 뒤 분리될 때 유용합니다. 다만 계산 부담이 커지고 조정 작업도 더 복잡해집니다. 할당 단계의 성능은 비용 행렬(cost matrix)의 품질에 전적으로 의존하며, 부적절하게 가중치가 설정된 행렬은 여전히 정체성 교환(identity swap)을 유발할 수 있습니다.
| 알고리즘 계열 | 강도 | 약점 | 최적의 선택 |
|---|---|---|---|
| 배경 차분 | 빠르고 간단함 | 조명 및 이물질에 민감함 | 정적 환경, 높은 대비 |
| 질량 중심 기반 최근접 이웃 | 구현이 쉬움 | 정체성 교환 | 단일 물고기 또는 낮은 밀도 |
| 칼만 필터 | 잡음 제거 및 예측 수행 | 선형 운동 가정 | 개방된 공간, 중간 속도 |
| 헝가리안 할당 | 최적의 일대일 매칭 | 비용 행렬 조정 | 다중 물고기 추적 |
| 딥러닝 추적기 | 가림 및 외형 처리 | 데이터와 GPU 필요 | 복잡한 장면, 높은 변동성 |
딥러닝 기반 추적기의 등장으로 정확도 향상과 하드웨어 요구 사항 변화
딥러닝 기술이 제브라피시 추적 분야에 대규모로 도입되었다. YOLO 및 Faster R-CNN 같은 객체 탐지 모델은 배경 차분 없이 물고기를 식별할 수 있다. DeepLabCut 같은 포즈 추정 도구는 중심점뿐 아니라 신체 부위까지 추적할 수 있다. 재식별(Re-identification) 네트워크는 프레임 간 외형을 비교할 수 있다. 트랜스포머 및 사이아미즈 네트워크도 추적에 활용된다.
혼잡하거나 변동성이 큰 장면에서는 실질적인 성능 향상이 있다. 그러나 비용도 실질적이다. 학습 데이터는 프레임 단위로 수작업 라벨링해야 하는 경우가 많다. 고프레임레이트 환경에서는 추론 시 GPU가 필수적이다. 한 실험실의 조명 조건이나 물고기 계통에서 학습된 모델은 다른 실험실에서는 일반화되지 않을 수 있다. 딥러닝 기반 추적기는 기존 전통적 파이프라인을 그대로 대체할 수 있는 솔루션이 아니다. 하드웨어 예산, 주석 작업량, 검증 전략 전반을 바꾸게 된다.
알고리즘 불일치로 인해 개체 식별 오류가 발생한 실제 사례
중국 남부에 위치한 대학의 행동 연구 시설에서는 다중 수조 추적 시스템을 운영하고 있었다. 초기 분석 파이프라인은 배경 차분과 최근접 이웃 매칭을 사용했다. 단일 물고기 실험에서는 추적 결과가 깔끔해 보였다. 그러나 집단 실험에서는 불가능한 순간 이동 현상이 데이터에 나타났다. 물고기들이 경기장 내에서 마치 텔레포트하듯 갑작스럽게 이동한 후 다시 원래 위치로 돌아오는 듯한 양상이었다.
문제의 근본 원인은 교차 시 발생하는 개체 식별 오류였다. 연구팀은 예측을 위해 칼만 필터를 도입했고, 최근접 이웃 매칭을 헝가리안 할당 방식으로 대체했다. 또한 꼬리 형태를 기반으로 한 단순 외형 특징을 비용 행렬에 추가했다. 그 결과 텔레포트 현상은 사라졌다. 여전히 밀집 학군 상황에서는 수작업 검토가 필요했지만, 데이터셋은 실용적으로 활용 가능해졌다. 이 사례에서 얻은 교훈은 특정 알고리즘이 항상 우월하다는 것이 아니라, 알고리즘이 동물의 사회적 행동 양식과 정확히 부합해야 한다는 점이었다.
생물학적 질문과 실험 장치에 맞는 매칭 알고리즘 선택
어느 한 가지 알고리즘 계열도 모든 상황에서 우위를 점하지는 않는다. 24-웰 플레이트 내 단일 유충을 추적할 때는 간단한 중심점 추적기만으로도 충분하다. 그러나 같은 실험에서 딥러닝 기반 추적기는 과도할 수 있지만, 복잡하게 얽힌 성체 어항에서는 필수적이다. 적절한 선택은 물고기 밀도, 실험 공간의 복잡성, 조명의 안정성, 그리고 생물학적 연구 질문에 따라 달라진다.
또한 측정 장치의 상태에도 영향을 받는다. 흔들림 없는 카메라 고정장치, 균일한 조명, 깨끗한 배경은 전통적 알고리즘이 훨씬 더 잘 작동하도록 만든다. 반면 흔들리는 고정장치나 깜빡이는 조명은 소프트웨어로 하여금 기계적으로 해결되어야 할 문제를 보정하도록 강요한다. 추적 정확도는 소프트웨어 기능이 아니라 전체 시스템의 특성이다.
헌터 랩(Hunter)은 트래킹 알고리즘이 의존하는 기계적·광학적 안정성을 고려해 제브라피시 실험 장비를 제작한다. 제조 및 품질 관리 측면은 다중 장비 행동 연구에 필요한 일관성을 지원한다. 생물학적 현상을 반영하는 트래킹 데이터를 원하는 실험실의 경우, 이러한 안정성이 기반이 된다.