Kaip zebrafish trajektorijų sekimo sistema nustato plaukimo kelius trimatėje erdvėje?
AZebražuvų trajektorijos sekimo sistema paviršiaus sukerta stebimos gyvūno judėjimo stebėjimus į laiko tvarka išrikiuotą kelią su x, y ir z koordinatėmis. Rezultatas nėra paprastas bruožas, nubrėžtas per vaizdo įrašą. Tai yra rekonstruotas erdvinis įrašas, kuris gali parodyti, kur judėjo žuvis, kaip greitai ji pakeitė kryptį ir ar eksperimento metu pasikeitė jos gylyje ar regione pasirinktos vietos. Tyrėjams, tiriantiems elgseną, neuroaktyviuosius junginius ar aplinkos poveikį, šis skirtumas yra svarbus: dvimatė linija gali paslėpti vertikalią judėjimą, kuris keičia biologinę interpretaciją.
Kaip kasdieninis zebrafish vaizdų analizės darbų naudotojas, man patogu užduotį padalyti į keturias susijusias dalis: patikrimo tūrio apibrėžimą, sinchronizuotų vaizdų įrašymą, tos pačios žuvies atpažinimą kiekviename vaizde ir sutapdintų vaizdo taškų konvertavimą į erdvines koordinates. A Zebražuvų trajektorijos sekimo sistema turi nuosekliai atlikti visus keturis veiksmus, kol galima pradėti lyginti tolesnius matavimus.
Kodėl 3D žemėlapiavimas keičia plaukimo maršrutų interpretaciją
Viršutinio vaizdo kamera gali išmatuoti suprojektuotą maršrutą per baseiną, tačiau ji suspaudžia gylį. Dvi žuvys vaizde gali atrodyti taip, lyg jos susikirstų, net jei iš tikrųjų praplaukė skirtingais gyliu. Panašiai, žuvis, kuri vaizde atrodo sustojusi, iš tikrųjų gali plaukti į kamerą arba nuo kameros. 3D žemėlapiavimas išsaugo tą prarastą matmenį, leisdama analizuoti trajektoriją kaip judėjimą kalibruotame tūryje, o ne kaip plokščią piešinį.
Tai ypač svarbu, kai kyla klausimas apie eratinis pasirinkimą, vertikalią tyrinėjimą, ratukavimą, vengimą ar socialinį tarpą. Teisingas požiūris labai priklauso nuo baseino geometrijos, raidos stadijos, apšvietimo ir žuvų skaičiaus; nėra vieno rekonstrukcijos nustatymo, kuris veiktų visose laboratorijose vienodai. Vis dėlto pagrindinė logika yra pastovi.
1. Sistema pirma nustato bendrą 3D koordinačių sistemą
Prieš pradedant įrašymą, reikia sukalibruoti kameras ir areną. Kalibravimas įvertina tai, kaip kiekviena kamera mato pasaulį: jos padėtį ir orientaciją santykinai tanko, židinio elgseną bei optinę iškraipymą. Kalibravimo taikinys su žinomais taškais dedamas į atitinkamą vaizdo įrašymo tūrį arba prie jo. Programinė įranga naudoja tuos žinomus taškus, kad kiekvienoje nuotraukoje susietų pikselių vietą su bendra fizine koordinačių sistema.
Šis žingsnis dažnai nepakankamai vertinamas. Jei koordinačių sistema nestabili, išmatuotas gylis gali atspindėti lęšių iškraipymą, pakeistą kameros padėtį arba lūžio efektus vandens–oro riboje, o ne tikrąją elgseną. Praktikoje protinga kiekvieno protokolo metu įrašyti kalibravimo konfigūraciją, vandens lygį, kameros nustatymus ir arenos padėtį. Dažnai niekas nepaminėtas paruošiamasis žingsnis būna tas, kuris užtikrina palyginamumą tarp skirtingų bandymų.
2. Sinchronizuotos kameros fiksuoja papildomus dvimatius stebėjimus
AZebražuvų trajektorijos sekimo sistema paprastai naudoja du ar daugiau tos pačios arenos vaizdų. Stereoscopinė arba kelių kamerų išdėstymai tuo pačiu metu suteikia skirtingas perspektyvas. Aparatinės įrangos paleidimas arba tiksliai patikrintas laikymo metodas užtikrina, kad vienos kameros 250 kadras atitinka kitos kameros 250 kadras. Be sinchronizacijos greiti posūkiai gali būti susiejami su neteisinga pozicija kitoje perspektyvoje ir sukurti netikėtą 3D įvertinimą.
Kiekvienas vaizdas vis dar prasideda kaip dvimatė matavimo reikšmė. Sekimo programinė įranga žuvį izoliuoja nuo fono naudodama kontrastą, segmentavimą arba išmokytą detektorių, tada įvertina reprezentacinį tašką, pvz., kūno centrą, galvą ar centroidą. Pasirinktas taškas turėtų atitikti biologinį klausimą. Centroidas gali būti pakankamas atstumui ir zonos užimtumui įvertinti, o galvos orientacija gali būti informatyvesnė navigacija arba stimulus–reakcijos tyrimams.
3. Žvilgsnio kryžminė asociacija nustato tą pačią stebėjimą
Kitas uždavinys – atitikmenys: nustatyti, kuris kamerų A aptikimas priklauso kuriam kamerų B aptikimui. Kai akvariume yra viena žuvis paprastoje terpėje, tai gali būti paprasta užduotis. Tačiau kai žuvys susiburia į grupes, atsiranda atspindžių, kūnų persidengimo ar užstoymo reiškiniai – užduotis tampa daug sudėtingesnė. Gerose apdorojimo grandinėse galimi atitikmenys ribojami naudojant kalibruotą kamerų geometriją, kūno išvaizdą bei nuoseklumą iš gretimų kadro momentų.
Laikinasis nuoseklumas čia yra svarbus. Žuvis negali realistiškai šokti per visą akvariumą tarp gretimų kadro momentų, todėl sekimo logika gali pažymėti netinkamą atitikmenį, kuris sukurtų neįmanomą judėjimo greitį ar posūkį. Tačiau ji neturėtų tyliąja tvarka panaikinti tikrojo staigaus judėjimo. Patikima darbo eiga žymėja mažo pasitikėjimo segmentus peržiūrai, o ne laiko kiekvieną išlygintą liniją kaip neabejotiną tiesą.
4. Trianguliacija paverčia atitinkamus pikselius į 3D pozicijas
Kai sistemai nustatoma atitinkama dvimatė vieta sinchronizuotose vaizdo kampuose, ji iš kiekvienos kameros projekcijos spindulį per tą vaizdo tašką. Apskaičiuota trimatė pozicija yra ta vieta, kur šie spinduliai susikerta, arba artimiausia vieta, kur jie susitinka, kai matavimo triukšmas neleidžia tiksliai nustatyti susikirtimo. Kartojant šį skaičiavimą kiekvienoje kadre gaunama koordinačių seka: x – šoninė pozicija, y – kita horizontali ašis ir z – gylis.
Tai yra pagrindas 3D žemėlapiavimas . Nesenai paskelbtoje trimatės danio žuvų sekimo tyrime pranešta, kad buvo naudojami 36 980 vaizdų, kad būtų rekonstruotos 18 490 danio žuvų koordinatės; šis pavyzdys iliustruoja automatinės analizės galimą mastą, o ne visuotinį kiekvienos laboratorijos etaloną. Naudingas rezultatas – laiko priklausanti koordinačių seka, kurioje, kai įmanoma, išsaugoma pasitikėjimo informacija.
5. Filtravimas sukuria suprantamą trajektoriją, nepridedant naujos elgsenos
Neapdorotos koordinatės dažnai turi nedidelį kadro į kadro drebulį. A Zebražuvų trajektorijos sekimo sistema gali naudoti filtravimą ar būsenos įvertinimą, kad sumažintų triukšmą ir užpildytų trumpas nepastebėjimo pertraukas. Pagrindinis dalykas – atsargumas. Per didelis išlyginimas gali pavertti aštrius, biologiškai reikšmingus posūkius švelniais lankais; agresyvus tarpų užpildymas gali sukurti plaukimo trajektorijas kurių žuvis nepraplaukė.
Pradėjome laikyti vizualiai lygią kreivę kaip tikslą, tačiau naudingiau buvo įvertinti rekonstrukcijos patikimumą kartu su pačia kreive. Peržvelkite suprojektuotus 3D taškus ant originalių vaizdo įrašų, ištirkite likutines klaidas iš kamerų vaizdų ir palyginkite santraukos rodiklius su nefiltruotais stebėjimais. Jei akivaizdus gylio pasirinkimas išnyksta, kai pašalinami žemo patikimumo segmentai, tai turėtų būti pranešta kaip neaišku, o ne pateikta kaip patvirtinta išvada.
Iš koordinačių į elgsenos matavimus
Po rekonstrukcijos koordinačių seka gali palaikyti tokias matavimo priemones kaip bendras kelio ilgis, akimirkinis greitis, pagreitis, vertikali užimtumas, laikas nustatytose zonose, kampinė greičio vertė, artimiausio kaimyno atstumas ir perėjimo modeliai. Šie rezultatai atsako į skirtingus klausimus. Bendras atstumas apibūdina aktyvumą; vertikalus užimtumas gali apibūdinti vertikalų navigacija ; posūkio dažnis gali atskleisti manevravimą arba reakciją į dirginantį veiksnį. Aiškus analizės planas apibrėžia šiuos matavimus dar prieš lyginant grupes.
Aplinkos kontrolė yra interpretacijos dalis. Temperatūra, apšvietimas, virpesiai, vandens kokybė ir gyvūnų aptarnavimas gali keisti plaukimo trajektorijas nepriklausomai nuo tiriamosios sąlygos. Taip pat gali paveikti paslinkęs vaizdo įrašymo aparatas arba pakeistas vandens lygis. Praktiškas požiūris – susieti koordinačių duomenis su įrašymo metaduomenimis ir palyginamaisiais kontroliniais seansais.
Praktiškas patvirtinimo kontrolinis sąrašas
- Prieš pradedant rinkti elgsenos duomenis, patvirtinkite vaizdo įrašymo aparato sinchronizavimą pakartotinio testo pagalba.
- Kalibruokite atitinkamo indo talpos viduje ir pakartokite kalibravimą po įrangos ar vandens lygio pakeitimų.
- Patikrinkite reprezentatyvius 3D taškus uždėdami projekcijas ant kiekvieno kameros vaizdo.
- Tikrinkite žemos pasitikėjimo intervalus, uždengimus, atspindžius ir tapatybės sukeitimus vietoj to, kad priimtumėte, jog programinė įranga juos išsprendė teisingai.
- Iš anksto apibrėžkite eratinis zonas ir rezultatų matavimus, kurie naudojami palyginimui.
- Saugokite neapdorotus vaizdo įrašus, kalibravimo įrašus, koordinačių eksportus ir apdorojimo nustatymus, kad rezultatas būtų tikrinamas.
Ką gali pasakyti 3D kelias
AZebražuvų trajektorijos sekimo sistema atspindi elgesį susiejant tiksliai kalibruotus vaizdus su sinchronizuotais aptikimais, kryžminiais vaizdais atitinkančiais objektais, trianguliuotomis koordinatėmis ir skaidriais kokybės tikrinimais. Jis nekeičia eksperimentinio dizaino; jis padaro judėjimo įrašą išsamiau. Kai kalibravimas, pasitikėjimo peržiūra ir aplinkos kontrolė laikoma tyrimo dalimi, 3D trajektorijos gali atskleisti tikrąją navigacija ar gylio naudojimo pakeitimą, o ne vaizdo įrašymo artefaktą.
Kad atliktumėte patikimą tyrimą, pradėkite nuo biologinio klausimo, pasirinkite tašką, kurį stebėsite, patvirtinkite rekonstrukciją tikroje aplinkoje, o tada apskaičiuokite tik tuos rodiklius, kurie atsako į tą klausimą. Tokia seka užtikrina, kad 3D judėjimo duomenys būtų naudingi, atkuriami ir remtųsi tuo, ką iš tikrųjų pastebėjo kameros.