Kodėl algoritmų pasirinkimas formuoja kiekvieną trajektorijų duomenų rinkinį
Zebrų žuvų trajektorijų stebėjimo sistema yra tokia pat tikslia, kokia tikslūs yra po kameros veikiantys algoritmai. Įranga užfiksuoja pikselius. Programinė įranga nusprendžia, ką šie pikseliai reiškia. Dvi laboratorijos gali naudoti tą pačią kamerą, tą patį arenoje ir tą pačią apšvietimą, tačiau vis tiek gauti labai skirtingus duomenų rinkinius, nes viena duomenų apdorojimo grandinė gerai tvarko objektų uždengimą, o kita – ne. Stebėjimo algoritmai yra šio skirtumo centras.
Darbas suskaidomas į tris dalis. Aptikimas kiekviename kadre randą žuvis. Susiejimas jungia aptikimus tarp kadrų, kad žuvies tapatybė išliktų ta pati. Išlyginimas įvertina tikrąją trajektoriją, kai aptikimai yra triukšmingi arba trūksta. Skirtingos algoritmų šeimos šias dalis tvarko su skirtingais prielaidomis, o šios prielaidos nulemia, ką duomenys gali palaikyti.
Fono atėmimas ir slenkstinis metodas vis dar yra pirmoji gynybos linija
Dauguma sistemų prasideda būdu, kaip atskirti žuvis nuo fono. Fono atėmimas sukuria tuščios arenos modelį ir pažymi pikselius, kurie skiriasi nuo to modelio. Toliau slenkstinis metodas paverčia skirtumo žemėlapį dvejetainiu kauštuku. Morfologinės operacijos išvalo mažus skylių ir atsitiktinių pikselių defektus.
Šis metodas yra greitas ir gerai veikia, kai fonas yra nejudantis ir kontrastas pakankamas. Tamsus žuvis šviesiame arenoje atskleisti lengva. Problemos kyla, kai apšvietimas kinta, atspindžiai juda arba kadre pasirodo burbulai ir dulkės. Šešėlis gali atrodyti kaip žuvis. Žuvis šalia sienos gali susilieti su kraštu. Fonų atėmimo metodas taip pat kelia sunkumų, kai žuvys persidengia, nes kaukė tampa vienu kamuoliuku vietoj dviejų.
Centroidų sekimas ir artimiausio kaimyno priskyrimas tinkami paprastiems arenoms
Kai žuvys aptinkamos, paprasčiausias būdas susieti kadrus – centroidų sekimas. Apskaičiuojamas kiekvieno plunksno centro taškas, o kitame kadre artimiausias centras laikomas tos pačios žuvies tęsinys. Artimiausio kaimyno priskyrimas yra paprastas įdiegti ir gerai veikia vienai žuviui ar kelioms žuvims, kurios išlieka toli viena nuo kitos.
Nepavyko režimo pavyzdys – tapatybės sukeitimas. Kai du žuvys susitinka, artimiausias centrų taškas gali priklausyti neteisingai žuviai. Sekimo sistema keičia tapatybes, todėl trajektorijų duomenys tampa neįskaitomi. Tai nėra retas kraštutinis atvejis. Danio rerio yra socialūs gyvūnai ir dažnai plaukia vienas šalia kito. Jei sekimo procese nepaisoma tapatybės išlaikymo, gaunamos gražios atrodančios, bet biologiškai neteisingos trajektorijos.
Kalmano filtrai įtraukia judėjimo prognozavimą į sekimo procesą
Kalmano filtras prideda judėjimo modelį. Vietoj to, kad būtų laikoma, jog žuvis nejudėjo tarp kadrų, filtras prognozuoja jos tikėtiną poziciją remdamasis ankstesniu greičiu. Ši prognozė lyginama su nauju aptikimu, o būsenos įvertinimas atnaujinamas. Tai sumažina matavimų triukšmą ir padeda, kai vieną ar du kadrus aptikimas nepavyksta.
Standartinis Kalmano filtras priima tiesinį judėjimą ir Gauso triukšmą. Danio rerio žuvys ne visada bendradarbiauja. Jos gali staigiai pasukti, staigiai judėti ar kabo vandenyje. Išplėstiniai Kalmano filtrai ir dalelių filtrai palengvina kelias šias prielaidas, bet prideda sudėtingumo. Praktinė nauda vis tiek yra reali. Net paprastas pastovaus greičio modelis sumažina drebulį ir pagerina stebėjimo tęstinumą atvirame vandenyje.
Vengų priskyrimo algoritmas ir kelių objektų sekimas išlaiko identifikavimą aiškų
Vengų algoritmas sprendžia priskyrimo problemą. Duotajame kainos masyve įvertinama, kiek tikėtina, kad kiekvienas aptikimas atitinka kiekvieną esamą seką, o algoritmas randa vieną į vieną atitikmenį, kuris minimizuoja bendrą kainą. Kaina gali apimti atstumą, išvaizdą ir judėjimo prognozę. Tai yra daugelio objektų sekimo metodų, tokių kaip SORT ir DeepSORT, pagrindas.
-
Prognozuokite kiekvienos sekos poziciją naudodami judėjimo modelį.
-
Apskaičiuokite kainos masyvą tarp sekų ir naujų aptikimų.
-
Išspręskite priskyrimo uždavinį vengų algoritmu.
-
Atnaujinti priderintus takus ir neprietaikytus aptikimus apdoroti kaip naujus ar prarastus.
DeepSORT prideda išvaizdos aprašymą, dažnai mažą neuroninį tinklą, kad žuvys būtų atpažįstamos po užstoymo. Tai padeda, kai dvi žuvys susikerta ir vėliau išsiskiria. Papildomas skaičiavimų ir derinimo poreikis. Priskyrimo žingsnis yra tikslus tiek, kiek tikslus yra kainos matricos elementas, o netinkamai pasverta matrica vis dar gali sukelti tapatybės sukeitimus.
| Algoritmų šeima | Stiprumas | Silpnoji vieta | Geriausias pasirinkimas |
|---|---|---|---|
| Fono atskyrimas | Greitas, paprastas | Jautrus šviesai ir dulkių patekimui | Nejudantis arenoje, aukštas kontrastas |
| Centroidas su artimiausiu kaimynu | Lengvai įdiegiamas | Tapatybės sukeitimai | Vienas žuvis arba maža tankis |
| Kalmano filtras | Sumalšina triukšmą ir prognozuoja | Tiesiaeigio judėjimo prielaida | Atviras laukas, vidutinis greitis |
| Vengrų priskyrimas | Optimalus vienas-prie-vieno priskyrimas | Kainų matricos derinimas | Kelių žuvų sekimas |
| Gilaus mokymosi sekimo sistema | Valdo uždavinius, susijusius su uždengimu ir išvaizda | Reikia duomenų ir GPU | Sudėtingos scenos, didelis kintamumas |
Giliaujųjų mokymosi sekimo sistemos padidina tikslumą ir keičia įrangos reikalavimus
Giliaujieji mokymosi metodai plačiai naudojami žuvų (zebrafish) sekimo srityje. Objektų aptikimo įrankiai, tokie kaip YOLO ir Faster R-CNN, gali aptikti žuvis be fono atimties. Pozicijos nustatymo įrankiai, pvz., DeepLabCut, gali sekti kūno dalis, o ne tik centrines taškų pozicijas. Pakartotinio identifikavimo tinklai gali palyginti išvaizdą tarp skirtingų kadro momentų. Sekimui taip pat naudojami transformatoriai ir siameziniai tinklai.
Nauda yra tikroji, ypač perpildytose ar kintamos aplinkos scenose. Tačiau ir sąnaudos taip pat tikros. Mokymo duomenys turi būti pažymėti, dažnai kiekvieno kadro pagrindu. Išvedimo procesui reikia GPU, jei kadro dažnis aukštas. Modeliai, išmokyti vienoje laboratorijoje su konkrečia apšvietimo sąlyga ir žuvų veisle, gali netinkamai veikti kitose sąlygose. Giliaujųjų mokymosi sekimo sistema nėra tiesioginis klasikinės sekimo grandinės pakaitalas. Ji keičia įrangos biudžetą, pažymėtų duomenų paruošimo apkrovą ir patvirtinimo strategiją.
Realus pavyzdys lauke, kai algoritmo neatitikimas sukėlė tapatybės sukeitimus
Elgsėjimo tyrimų centras pietų Kinijoje esančiame universitete naudojo daugiau nei vieną akvariumą apimantį stebėjimo komplektą. Pradinė analizės grandinė remdavosi fono atskyrimu ir artimiausio kaimyno priskyrimu. Vieno žuvies bandymų metu gauti sekos atrodė švarios. Grupinių bandymų duomenys parodė neįmanomus žuvų padėties šuolius. Žuvys atrodė taip, tarsi peršoktų aikštės erdvę ir vėl grįžtų atgal.
Problema buvo tapatybės sukeitimas, kai žuvys kryžminosi. Komanda įdiegė Kalmano filtrą prognozėms ir artimiausio kaimyno priskyrimą pakeitė vengrų priskyrimo algoritmu. Į kainų matricą buvo įtraukta paprasta išvaizdos charakteristika, paremta uodegos forma. „Teleportavimas“ nutrūko. Sekos vis dar reikalavo rankinės peržiūros tankioje žuvų bandomojoje grupėje, tačiau duomenų rinkinys tapo naudojamas. Pamoka nebuvo ta, kad vienas algoritmas visada geriausias. Pamoka buvo ta, kad algoritmas turi atitikti gyvūnų socialinį elgesį.
Algoritmų pritaikymas biologiniam klausimui ir įrenginiui
Jokios vienos algoritmų šeimos nepavyksta visur. Paprastas centroidų seklys tinka vienam lervai 24 skylučių lėkštėje. Gilaus mokymosi seklys gali būti pernelyg sudėtingas tam pačiam tyrimui, tačiau būtinas perpildyto suaugusių žuvų akvariumo stebėjimui. Teisingas pasirinkimas priklauso nuo žuvų tankio, arenos sudėtingumo, apšvietimo stabilumo ir biologinio klausimo.
Tai taip pat priklauso nuo įrangos. Stabilus kameros laikiklis, vienodas apšvietimas ir švarus fonas leidžia klasikiniams algoritmams veikti daug geriau. Nestabilus laikiklis arba mirksintis šviesos šaltinis priverčia programinę įrangą kompensuoti problemas, kurios turėtų būti išspręstos mechaniniu būdu. Sekimo tikslumas yra sistemos savybė, o ne tik programinės įrangos funkcija.
Hunter Lab (Hunter) gamina žebrafish tyrimų įrangą, atsižvelgdama į mechaninę ir optinę stabilumą, kuris būtinas sekimo algoritmams. Gamybos ir kokybės kontrolės procesai užtikrina nuoseklumą, reikalingą elgsenos tyrimams su keliomis įrengimų sistemomis. Laboratorijoms, kurios nori, kad sekimo duomenys atspindėtų biologiją, o ne analizės grandinės klaidas, šis stabilumas yra vienas iš pagrindų.