アルゴリズムの選択が、すべての軌道データセットを左右する理由
ゼブラフィッシュの軌道追跡システムの性能は、カメラの下で動作するアルゴリズムの質に等しくなります。ハードウェアは画素を記録するだけです。画素が何を意味するかを判断するのはソフトウェアです。同じカメラ、同じ実験水槽、同じ照明条件を用いても、ある研究室と別の研究室とでは、得られるデータセットが大きく異なることがあります。その違いの要因は、一方の処理パイプラインが遮蔽(オクルージョン)を適切に処理できるのに対し、他方はそうではないという点にあります。追跡アルゴリズムは、こうした差異の中心に位置しています。
このタスクは3つの部分に分かれています。検出(デテクション)は、各フレーム内の魚を特定します。関連付け(アソシエーション)は、複数のフレームにわたって検出結果を結びつけ、個々の魚が一貫した識別子(ID)を保持できるようにします。平滑化(スムージング)は、検出結果にノイズが混入していたり、欠落している場合に、魚の実際の軌跡を推定します。これらの各工程には、異なる仮定に基づく複数のアルゴリズム群が用いられ、その仮定が、解析可能なデータの性質を決定します。
背景差分法と閾値処理は、今なお最も基本的な前処理手法です
ほとんどの処理パイプラインは、まず魚と背景を分離する手法から始めます。背景差分法では、水槽(または実験場)が空の状態をモデル化し、そのモデルと大きく異なる画素を検出します。その後、閾値処理によって差分画像を2値マスクに変換します。さらに、モルフォロジー演算を用いて、小さな穴や孤立画素などのノイズを除去します。
この手法は高速で、背景が静的でコントラストが十分にある場合には良好に機能します。明るい水槽内を泳ぐ黒い魚は検出が容易です。しかし、照明の変化、反射の移動、気泡や異物のフレーム内への侵入などが生じると問題が発生します。影が魚と誤認識されることがあります。また、壁近くを泳ぐ魚は、壁の輪郭と一体化してしまい、区別できなくなることがあります。さらに、複数の魚が重なった場合にも、背景差分法は困難を伴います。なぜなら、マスクが「2匹」ではなく「1つの塊」として抽出されてしまうからです。
重心追跡と最近傍マッチングは、単純な水槽環境に対応できます
魚の検出が完了した後、フレーム間を関連付ける最もシンプルな方法が重心追跡です。各ブロブの重心を算出し、次のフレームにおける最も近い重心を同一の魚と仮定します。最近傍マッチングは実装が容易で、単一の魚、あるいは互いに十分離れて泳ぐ少数の魚に対しては、高い精度で動作します。
故障モードは「アイデンティティの入れ替わり」です。2匹の魚がすれ違う際、検出された重心(セントロイド)のうち最も近いものが、本来とは異なる魚に属してしまうことがあります。その結果、トラッカーが魚の識別情報を誤って入れ替えてしまい、軌道データが混乱します。これは稀なエッジケースではなく、ゼブラフィッシュは社会性が高く、しばしば互いに接近して泳ぐため、頻繁に発生します。アイデンティティの継続性を無視した処理パイプラインでは、見た目は美しくても生物学的に不正確なトラッキング結果が得られてしまいます。
カルマンフィルターにより、動きの予測がパイプラインに組み込まれます
カルマンフィルターは運動モデルを導入します。従来のようにフレーム間で魚が静止していると仮定する代わりに、過去の速度に基づいて次にどこにいるかを予測します。この予測値と新しい検出位置を比較し、状態推定値を更新します。これにより、ノイズを含む計測値が滑らかになり、1~2フレーム分の検出が欠落した場合にも対応できます。
標準的なカルマンフィルタは、直線的な運動とガウス雑音を仮定します。しかし、ゼブラフィッシュは常に協力的とは限りません。急激な方向転換、素早い動き、あるいは停止(ホバリング)を行うことがあります。拡張カルマンフィルタやパーティクルフィルタはこうした仮定を緩和しますが、その分計算の複雑さが増します。とはいえ、実用上の効果は確かにあります。たとえば、単純な等速度モデルを用いるだけでも、開放水域におけるトラッキングのジッターを低減し、追跡の連続性を向上させることができます。
ハンガリー法による割り当てと複数対象追跡により、各対象の識別情報を一貫して維持します
ハンガリー法は、割り当て問題を解くアルゴリズムです。既存のトラックと新たな検出結果との間で、それぞれの対応可能性(コスト)を表す行列(コスト行列)が与えられたとき、このアルゴリズムは全コストの合計が最小となる一対一の対応を導き出します。このコストには、位置間の距離、外見の類似度、および運動予測に基づく指標などを統合できます。これは、SORT や DeepSORT といった複数対象追跡手法の基盤となる処理です。
-
運動モデルを用いて、各トラックの次位置を予測します。
-
トラックと新たな検出結果の間でコスト行列を算出します。
-
ハンガリー法を用いて割り当て問題を解きます。
-
一致したトラックを更新し、不一致の検出は新規または消失として処理します。
DeepSORTでは、外見特徴量(通常は小さなニューラルネットワーク)を追加することで、遮蔽後に魚を再識別可能にします。これにより、2匹の魚が交差してから分離した場合にも対応できます。ただし、計算負荷が増し、パラメーター調整もより複雑になります。割り当てステップの精度はコスト行列の質に依存しており、重み付けが不適切な行列では依然としてIDの入れ替わり(スワップ)が発生する可能性があります。
| アルゴリズムの種類 | 強度 | 弱さ | 最適な用途 |
|---|---|---|---|
| 背景差分法 | 高速・シンプル | 光や異物に敏感 | 静止した観察領域、高コントラスト |
| 重心+最近傍法 | 実装が容易 | IDの入れ替わり | 単一の魚または低密度 |
| カルマンフィルター | ノイズを平滑化し、動きを予測 | 直線運動の仮定 | 開放的な水域、中程度の速度 |
| ハンガリー法による割り当て | 最適な一対一対応 | コスト行列の調整 | 複数の魚の追跡 |
| ディープラーニングを用いたトラッカー | 遮蔽や外見の変化に対応可能 | データとGPUが必要 | 複雑なシーン、高い変動性 |
ディープラーニングによる追跡手法は精度を向上させる一方で、ハードウェア要件も変化させる
ディープラーニングはゼブラフィッシュの追跡分野に大きく浸透しています。YOLOやFaster R-CNNなどの物体検出器を用いれば、背景差分を用いずに魚を検出できます。DeepLabCutなどのポーズ推定ツールを使えば、重心だけでなく身体部位単位での追跡が可能です。再識別(re-identification)ネットワークを活用すれば、フレーム間で外見を比較することもできます。また、トランスフォーマーやサイアミーズネットワークも追跡に利用されています。
混雑したシーンや条件変動の大きいシーンでは、その効果は確かに実証されています。しかし、コスト面での課題も現実的です。学習データには、しばしばフレーム単位でのラベリング作業が必要です。また、高フレームレートでの推論処理にはGPUが不可欠です。ある研究室の照明条件やゼブラフィッシュの系統で学習したモデルは、他の環境では一般化できない可能性があります。ディープラーニングによる追跡手法は、従来の古典的手法パイプラインを単純に置き換える「ドロップイン型」のソリューションではありません。ハードウェア予算、アノテーション作業量、検証戦略のすべてを変える必要があります。
アルゴリズムの不適合が個体識別の誤りを引き起こした実例
中国南部の大学にある行動科学実験施設では、複数の水槽を用いた魚の追跡実験が行われていた。当初の解析パイプラインでは背景差分法と最近傍マッチングを用いていた。単一の個体を対象とした試験では、得られた軌道はきれいに見えたが、群れを対象とした試験では、物理的にありえない急激な位置変化(ジャンプ)がデータ上に現れた。魚が実験エリアを瞬間移動し、その後元の位置に戻ってくるような挙動が観測された。
問題の原因は、個体が交差する際に発生するアイデンティティの入れ替わり(IDスワップ)だった。研究チームは、予測にカルマンフィルターを導入し、最近傍マッチングをハンガリアン法による割り当てに置き換えた。さらに、尾びれの形状に基づく単純な外見特徴をコスト行列に組み込んだ。その結果、瞬間移動のような異常な軌道は解消された。ただし、密集した群れ(スクーリング)においては依然として手動による検証が必要であったが、データセット全体としては実用可能な品質になった。この経験から得られた教訓は、「あるアルゴリズムが常に優れている」ということではない。むしろ、アルゴリズムは対象となる動物の社会的行動に適合していなければならない、という点にあった。
生物学的な問いと実験装置に応じたマッチングアルゴリズムの選択
特定のアルゴリズム族がすべての状況で優れているわけではありません。24ウェルプレート内の単一の幼生を追跡するには、シンプルな重心トラッカーで十分です。しかし、同じアッセイでも、混雑した成魚用タンクではディープラーニングによるトラッカーが過剰であるどころか、むしろ不可欠となります。最適な選択は、魚の密度、実験装置の複雑さ、照明の安定性、および生物学的な研究目的によって決まります。
また、使用する機器(リグ)にも依存します。カメラの固定が安定しており、照明が均一で、背景がシンプルであれば、従来型のアルゴリズムの性能は大幅に向上します。一方、カメラの固定が不安定であったり、照明がちらついたりすると、ソフトウェアが本来は機械的に解決すべき問題を補正しようとせざるを得なくなります。トラッキングの精度は、ソフトウェアの機能というより、システム全体の特性です。
ハンター・ラボ(ハンター)は、追跡アルゴリズムが依存する機械的・光学的安定性に配慮したゼブラフィッシュ用実験装置を製造しています。製造および品質管理プロセスは、複数の実験装置を用いた行動解析研究に不可欠な再現性を支えています。実験データが生物学的現象を正確に反映し、解析パイプライン由来の人工的な歪みを排除したい研究室にとって、この安定性は信頼できる基盤となります。