Hogyan képezi le egy zebrafish pálya-követő rendszer a úszási pályákat háromdimenziós térben?
AZebrahal-pálya-nyomkövető rendszer a rendszer időrendbe állított, x-, y- és z-koordinátákkal ellátott pályát hoz létre egy úszó állat szinkronizált megfigyeléseiből. Az eredmény nem csupán egy vonal a videón. Ez egy rekonstruált térbeli feljegyzés, amely feltárja, hol mozgott a hal, milyen gyorsan változtatott irányt, és hogy a kísérlet során megváltozott-e a mélység- vagy régiópreferencia. A viselkedési, neuroaktív vegyületeket vizsgáló vagy környezeti hatásokat tanulmányozó kutatók számára ez a különbség döntő: egy 2D-s nyomvonal elrejtheti a függőleges mozgást, amely megváltoztathatja a biológiai értelmezést.
Napi gyakorlatként használva a zebrahalász képalkotási folyamatokat, hasznosnak tartom a feladatot négy összekapcsolt részfeladatra bontani: megbízható megfigyelési térfogat meghatározása, szinkronizált nézetek rögzítése, ugyanazon hal azonosítása minden nézetben, valamint az illesztett képpontok térbeli koordinátákká alakítása. Egy Zebrahal-pálya-nyomkövető rendszer nek mind a négy feladatot konzisztensen kell elvégeznie, mielőtt az utólagos metrikák összehasonlíthatók lennének.
Miért változtatja meg a 3D-térképezés a úszási pályák értelmezését
Egy felülnézeti kamera mérheti a medencén át húzódó vetített útvonalat, de összenyomja a mélységet. Két hal úgy tűnhet, mintha kereszteznék egymást a képen, miközben különböző mélységekben haladtak el egymás mellett. Hasonlóképpen, egy hal, amely egyik nézetből állónak tűnik, valójában a kamerához vagy attól távolodva úszhat. 3D-térképezés megőrzi ezt a hiányzó dimenziót, így egy pálya vizsgálata egy kalibrált térfogaton keresztüli mozgásként történik, nem pedig egy sík rajzként.
Ez különösen fontos, ha a kérdés az alábbiakra vonatkozik: térbeli preferencia, függőleges felfedezés, körözés, kerülés vagy társas távolságtartás. A megfelelő módszer erősen függ a medence geometriájától, a fejlődési stádiumtól, a megvilágítástól és a halak számától; nincs egyetlen rekonstrukciós beállítás, amely minden laborban azonosan működne. Ugyanakkor az alapul szolgáló logika stabil.
1. A rendszer először létrehoz egy közös 3D-koordináta-rendszert
A rögzítés megkezdése előtt a kamerákat és az arénát kalibrálni kell. A kalibráció becslést ad arról, hogy az egyes kamerák hogyan látják a világot: a helyzetükről és tájolásukról a medencehez képest, a fókuszviszonyaikról és az optikai torzulásukról. Egy ismert pontokat tartalmazó kalibrációs céltárgyat helyeznek el a releváns képfelvételi térfogatban vagy annak határán. A szoftver ezeket az ismert pontokat használja fel ahhoz, hogy minden nézetben egy-egy képpont helyzetét összekapcsolja egy közös fizikai koordináta-rendszert alkotó értékekkel.
Ezt a lépést könnyű alábecsülni. Ha a koordináta-rendszer instabil, akkor egy mért mélységváltozás nem feltétlenül a tényleges viselkedést tükrözi, hanem inkább lencsetorzulást, megváltozott kamerahelyzetet vagy a víz–levegő határfelületen fellépő törési hatásokat jelezhet. Gyakorlatiasan érdemes minden protokoll során rögzíteni a kalibrációs konfigurációt, a vízszintet, a kamerabeállításokat és az aréna elhelyezését. Az a beállítási lépés, amelyről senki sem beszél, gyakran éppen az, amely biztosítja a futtatások közötti összehasonlíthatóságot.
2. Szinkronizált kamerák kiegészítő 2D-megfigyeléseket rögzítenek
AZebrahal-pálya-nyomkövető rendszer általában két vagy több nézőpontot használ ugyanarról a területről. A sztereó vagy többkamerás elrendezések egyszerre különböző nézőpontokat nyújtanak. A hardveres indítás, illetve egy gondosan ellenőrzött időzítési módszer biztosítja, hogy az egyik kamerából származó 250. képkocka megfeleljen a másik kamerából származó 250. képkockának. Időzítés hiányában a gyors fordulatok rossz pozícióval párosíthatók egy másik nézetben, és hihetetlen 3D-becslést eredményezhetnek.
Minden kép továbbra is 2D-mérésből indul ki. A követőszoftver elkülöníti a halat a háttértől kontraszt, szegmentáció vagy egy betanított detektor segítségével, majd becsli a képviselő pontot – például a test középpontját, a fejet vagy a súlypontot. A kiválasztott pontnak illeszkednie kell a biológiai kérdéshez. A súlypont elegendő lehet a távolság- és zónafoglaltsági vizsgálatokhoz, míg a fej iránya informatívabb lehet a navigáció vagy inger-válasz vizsgálatokhoz.
3. A keresztnézetes társítás azonos megfigyelést azonosít
A következő feladat a megfeleltetés: el kell dönteni, hogy melyik észlelés tartozik a kamerában A-hoz a kamerában B-ben lévő melyik észleléshez. Egy hal egyszerű akváriumban történő jelenléte esetén ez egyszerű lehet. Csoportok, tükröződések, átfedő testek vagy takarás esetén azonban sokkal nehezebbé válik. A jó feldolgozási folyamatok a lehetséges egyezések számát korlátozzák a kalibrált kamerageometria, a test megjelenése és a szomszédos képkockákból származó folytonosság alapján.
A temporális folytonosság itt fontos. Egy hal nem ugorhat valóságtalanul át az akváriumon két egymást követő képkocka között, így a nyomkövetési logika figyelmeztethet egy olyan javasolt egyezésre, amely lehetetlen sebességet vagy fordulatot eredményezne. Ugyanakkor nem szabad csendben törölnie a valódi gyors mozgást. Egy megbízható munkafolyamat inkább alacsony bizonyosságú szakaszokat jelöl ki átvizsgálásra, semmint minden simított vonalat mint alapigazságot kezel.
4. A trianguláció a párosított képpontokat 3D-pozíciókká alakítja
Amikor a rendszer megtalálja a megfelelő 2D helyet a szinkronizált nézetekben, akkor minden kamerából egy látósugárt vetít át az adott képponton. A becsült 3D pozíció ott van, ahol ezek a sugarak metszik egymást, vagy – ha a mérési zaj miatt pontos metszéspont nem állítható elő – ott, ahol a sugarak a legközelebb kerülnek egymáshoz. Ennek a számításnak a keretenkénti ismétlése koordinátasorozatot eredményez: x a szélességi irányú pozíciót, y a másik vízszintes tengelyt, z pedig a mélységet jelöli.
Ez a központi eleme a 3D-térképezés . Egy nemrég megjelent, háromdimenziós danio rerio nyomon követési tanulmány 36 980 kép felhasználásáról számolt be a 18 490 danio rerio koordinátáinak rekonstrukciójához; ez a példa a teljesen automatizált elemzés elérhető méretarányát mutatja be, nem pedig minden laboratóriumra érvényes univerzális mércét. A hasznos kimenet egy időhöz kötött koordinátasorozat, amelyben – amennyire lehetséges – megőrzésre kerül a bizonyosságra vonatkozó információ.
5. A szűrés értelmezhető pályát hoz létre anélkül, hogy viselkedést találna ki
A nyers koordináták gyakran tartalmaznak kis keret-ről-keretre ingadozást. Egy Zebrahal-pálya-nyomkövető rendszer szűrést vagy állapotbecslést használhat a zaj csökkentésére és a rövid, kimaradt érzékelések áthidalására. A kulcs a mértékletesség. A túlzott simítás éles, biológiailag jelentős fordulókat enyhe görbékké alakíthat; a túlzottan agresszív réshidak kialakítása hamis úszási pályákat hozhat létre, amelyeket a hal nem tett meg.
Eredetileg egy vizuálisan sima nyomvonalat tekintettünk célként, de a hasznosabb metrika a rekonstrukciós bizonyosság volt a nyomvonal mellett. Értékelje újra a vetített 3D-pontokat az eredeti videókra, vizsgálja meg a kameranézetekből származó maradékhibákat, és hasonlítsa össze az összegző mutatókat a szűretlen megfigyelésekkel. Ha a látszólagos mélységpreferencia eltűnik, amikor a alacsony bizonyosságú szegmenseket kizárják, akkor ezt bizonytalan eredményként kell jelenteni, nem pedig megbízható felfedezésként.
Koordinátáktól a viselkedési mérőszámokig
A rekonstrukciót követően a koordináta-sorozat támogatja az alábbi méréseket: teljes útvonalhossz, pillanatnyi sebesség, gyorsulás, függőleges elfoglaltság, meghatározott zónákban töltött idő, szögsebesség, legközelebbi szomszéd távolsága és átmeneti mintázatok. Ezek a kimenetek különböző kérdésekre adnak választ. A teljes távolság az aktivitást írja le; a függőleges elfoglaltság a mélységet írhatja le navigáció ; a fordulási arány feltárhatja a manőverezést vagy egy ingerre adott választ. Egy átlátható elemzési terv ezeket a méréseket meghatározza még a csoportok összehasonlítása előtt.
A környezeti vezérlés része az értelmezésnek. A hőmérséklet, a megvilágítás, a rezgés, a vízminőség és a kezelés függetlenül is befolyásolhatja úszási pályákat a vizsgált kezeléstől. Ugyanezt okozhatja egy elmozdult kamera vagy egy megváltozott vízszint is. Gyakorlatias megközelítés a koordináta-adatok párosítása az adatfelvétel metaadataival és összehasonlítható kontrollmérésekkel.
Gyakorlati ellenőrzőlista
- A kamerák szinkronizációját ismételhető teszttel ellenőrizze a viselkedési adatok gyűjtése előtt.
- Kalibrálja a megfelelő tartálytérfogatot belül, és ismételje meg a kalibrációt hardver- vagy vízszintváltozás után.
- Ellenőrizze a reprezentatív 3D-pontokat minden kameranézetben a vetületek egymásra helyezésével.
- Vizsgálja meg az alacsony bizonyossági intervallumokat, takarásokat, visszaverődéseket és azonosság-csere eseteket, ne feltételezze, hogy a szoftver helyesen oldotta fel őket.
- Előre definiálja a térbeli övezeteket és az összehasonlításhoz használt eredménymutatókat.
- Mentse el a nyers videókat, a kalibrációs jegyzőkönyveket, a koordináták exportjait és a feldolgozási beállításokat, hogy az eredmény auditálható legyen.
Mit mondhat el egy 3D-pálya
AZebrahal-pálya-nyomkövető rendszer a viselkedést térképezi le a gondosan kalibrált képek és a szinkronizált észlelések, keresztnézeti egyezések, triangulált koordináták, valamint átlátható minőségellenőrzések összekapcsolásával. Nem helyettesíti a kísérlettervezést; inkább teljesebbé teszi a mozgásfelvételt. Ha a kalibráció, a bizonyossági felülvizsgálat és a környezeti vezérlések részét képezik a vizsgálati eljárásnak, akkor a 3D-pályák képesek megkülönböztetni egy valódi változást a navigáció vagy mélységfelhasználásban egy képfeldolgozási artefaktustól.
Egy megbízható tanulmány elkészítéséhez először a biológiai kérdéssel kell kezdeni, majd kiválasztani a nyomon követendő pontot, érvényesíteni a rekonstrukciót a tényleges környezetben, és végül csak azokat a méréseket elvégezni, amelyek választ adnak erre a kérdésre. Ez a sorrend biztosítja, hogy a 3D pályaadatok hasznosak, reprodukálhatók és azon a megfigyelésen alapuljanak, amelyet a kamerák ténylegesen rögzítettek.