Miksi algoritmivalinta muokkaa jokaista rata-aineistoa
Zebrafish-radan seuranta-järjestelmä on yhtä hyvä kuin sen kameran alla toimivat algoritmit. Laitteisto kuvaa pikselit. Ohjelmisto päättää, mitä ne pikselit tarkoittavat. Kaksi laboratoriota voi käyttää samaa kameraa, samaa aluetta ja samaa valaistusta, mutta saada erilaisia aineistoja, koska toinen putki käsittelee peittyvyyttä hyvin ja toinen ei. Seuranta-algoritmit ovat keskiössä tuossa erottelevassa tekijässä.
Tehtävä jakautuu kolmeen osaan. Tunnistus löytää kalan jokaisesta kuvasta. Yhdistäminen yhdistää tunnistukset eri kuvien välillä siten, että kala säilyttää saman tunnisteen. Tasoitus arvioi todellisen reitin, kun tunnistukset ovat kohinaisia tai puuttuvia. Eri algoritmi-perheet käsittelevät näitä osia eri oletuksin, ja nämä oletukset määrittävät, mitä tietoja voidaan tukea.
Taustan poisto ja kynnystys ovat edelleen ensimmäinen puolustuslinja
Useimmat putkit (pipelines) alkavat tavalla erottaa kalat taustasta. Taustan poisto rakentaa mallin tyhjästä alueesta ja merkitsee pikselit, jotka poikkeavat tästä mallista. Kynnystys muuntaa sitten erotuskartan binäärimaskiksi. Morfologiset operaatiot siivoavat pienet aukot ja satunnaiset pikselit.
Tämä menetelmä on nopea ja toimii hyvin, kun tausta on staattinen ja kontrasti riittävän hyvä. Tumma kala kirkkaassa alueessa on helppoa tunnistaa. Ongelmia ilmestyy, kun valaistus muuttuu, heijastukset liikkuvat tai kuplia ja likaa tulee kuvan sisään. Varjo voi näyttää kalalta. Kala seinän lähellä voi sulautua reunan kanssa. Taustan poisto ei myöskään toimi hyvin, kun kalat peittävät toisiaan, koska maski muodostuu yhdeksi pilkun sijaan kahdeksi.
Keskipisteseuranta ja lähimmän naapurin vastaavuus käsittelevät yksinkertaisia alueita
Kun kalat on havaittu, yksinkertaisin tapa yhdistää kuvakehykset on keskipisteseuranta. Jokaisen pilkun keskipiste lasketaan, ja seuraavassa kehyksessä oleva lähin keskipiste oletetaan kuuluvan samalle kalaan. Lähimmän naapurin vastaavuus on helppoa toteuttaa ja toimii hyvin yhden kalan tai muutaman kalan tapauksessa, kun ne pysyvät riittävän kaukana toisistaan.
Vian muoto on tunnistetietojen sekoittuminen. Kun kaksi kalaa kohtaa toisensa, lähin keskipiste saattaa kuulua väärälle kalaan. Seurantajärjestelmä vaihtaa tunnistetietoja, ja liikeradan tiedot muodostavat sekasortoja. Tämä ei ole harvinainen reunatapaus. Zebrafish-kalat ovat yhteiskunnallisesti suuntautuneita ja uivat usein hyvin lähellä toisiaan. Jos järjestelmä ei huomioi tunnistetietojen säilymistä, se tuottaa kauniin näköisiä liikeratoja, jotka ovat kuitenkin biologisesti virheellisiä.
Kalman-suodattimet tuovat liikkeen ennustamisen käyttöön järjestelmässä
Kalman-suodatin lisää liikemallin. Sen sijaan että oletettaisiin, että kala pysyy paikoillaan kuvien välillä, suodatin ennustaa sen sijaintia edellisen nopeuden perusteella. Ennustetta verrataan uuteen havaintoon, ja tila-arviota päivitetään. Tämä tasoittaa kohinaisia mittauksia ja auttaa tapauksissa, joissa havainto puuttuu yhden tai kahden kuvan ajalta.
Standardi Kalmanin suodatin olettaa lineaarisen liikkeen ja Gaussisen kohinan. Zebrafish ei aina yhteistyökykyinen. Se voi kääntyä jyrkästi, hyppiä tai kellua paikoillaan. Laajennetut Kalmanin suodattimet ja hiukkassuodattimet lieventävät joitakin näistä oletuksista, mutta ne lisäävät monimutkaisuutta. Käytännön hyöty on kuitenkin todellinen. Jopa yksinkertainen vakionopeusmalli vähentää tärinää ja parantaa seurannan jatkuvuutta avoimessa vedessä.
Unkarilainen liittämisalgoritmi ja usean kohteen seuranta pitävät identiteetit selkeinä
Unkarilainen algoritmi ratkaisee liittämisongelman. Kun annetaan kustannusmatriisi, joka arvioi, kuinka todennäköistä kunkin havainnon on vastata kunkin olemassa olevan seurannan kanssa, algoritmi löytää yksi-yhteen-liittämisen, joka minimoi kokonaiskustannukset. Kustannukseen voidaan yhdistää etäisyys, ulkonäkö ja liikkeen ennustaminen. Tämä on usean kohteen seurannan menetelmien, kuten SORT:n ja DeepSORT:n, perusta.
-
Ennusta kunkin seurannan sijainti käyttämällä liikemallia.
-
Laske kustannusmatriisi seurantojen ja uusien havaintojen välille.
-
Ratkaise liittäminen unkarilaisella algoritmilla.
-
Päivitä vastaavat jäljitetyt radat ja käsittele vastaamattomat havainnot uusina tai kadonneina.
DeepSORT lisää ulkonäköä kuvaavan tunnusvektorin, usein pienen neuroverkon, jotta kalan voidaan tunnistaa uudelleen peittyneisyyden jälkeen. Tämä auttaa, kun kaksi kalaa risteää ja erkaantuu sitten toisistaan. Hinta on suurempi laskentakulut ja enemmän säätöä. Liitäntävaihe on yhtä hyvä kuin kustannusmatriisi, ja huonosti painotettu matriisi voi edelleen aiheuttaa identiteettivaihtoja.
| Algoritmiyhteisö | Lujuutta | Heikkous | Paras vaihtoehto |
|---|---|---|---|
| Taustan poisto | Nopea ja yksinkertainen | Herkkä valolle ja epäpuhtauksille | Staattinen alue ja korkea kontrasti |
| Keskipiste lähimmän naapurin avulla | Helppoa toteuttaa | Identiteettivaihdot | Yksittäinen kala tai alhainen tiukkuus |
| Kalman-suodatin | Suodattaa kohinaa ja ennustaa | Lineaarisen liikkeen oletus | Avoin alue, kohtalainen nopeus |
| Unkarilainen liittämisalgoritmi | Optimaalinen yksi-yhteen-liittäminen | Kustannusmatriisin säätö | Usean kalan seuranta |
| Syväoppimuspohjainen seurantajärjestelmä | Käsittelee peittyvyyttä ja ulkonäköä | Tarvitsee dataa ja GPU:tä | Monimutkaiset kohtaukset, suuri vaihtelu |
Syväoppivat seurantajat parantavat tarkkuutta ja muuttavat laitteistovaatimuksia
Syväoppiminen on saanut merkittävää leviämistä zebrafish-seurannassa. Esimerkiksi YOLO- ja Faster R-CNN -tyyppiset objektitunnistimet voivat löytää kaloja ilman taustan poistoa. DeepLabCut-kaltaiset asennon estimointityökalut voivat seurata kehon osia, ei ainoastaan keskipisteitä. Uudelleentunnistusverkot voivat vertailla ulkonäköä kuvien välillä. Myös transformerit ja siameesiverkot käytetään seurannassa.
Hyödyt ovat todellisia tiukkojen tai vaihtelevien kohtausten tapauksessa. Myös kustannukset ovat todellisia. Opetusdataa täytyy merkitä, usein kuvakohtaisesti. Päättelyyn tarvitaan GPU, jos kuvataajuus on korkea. Yhden laboratorion valaistuksessa ja kalakannassa koulutetut mallit eivät välttämättä yleisty toiseen. Syväoppiva seurantaja ei ole suora korvaus klassiselle putkelle. Se muuttaa laitteistobudjetin, merkintätyön määrän ja validointistrategian.
Kenttäesimerkki, jossa algoritmin soveltumattomuus aiheutti identiteettivaihdoksia
Käyttäytymissuuntaisen tutkimuksen keskus yliopistossa Etelä-Kiinassa käytti monitankkijärjestelmää liikkeen seurantaan. Alkuperäisessä käsittelyketjussa käytettiin taustan poistamista ja lähimmän naapurin vastaavuusmenetelmää. Yksittäisten kalojen kokeissa saadut liikeradat näyttivät selkeiltä. Ryhmäkokeissa data kuitenkin osoitti mahdottomia hyppäyksiä: kalat näyttivät teleporttautuvan areenan yli ja takaisin.
Ongelmana oli yksilöiden vaihtuminen risteyskohtien yhteydessä. Tiimi lisäsi ennustukseen Kalman-suodattimen ja korvasi lähimmän naapurin unkarilaisella assosiaatiomenetelmällä. Kustannusmatriisiin lisättiin yksinkertainen ulkonäön ominaisuus perustuen häntämuotoon. Teleporttaukset loppuivat. Tiukassa koulutuksessa saadut radat edellyttävät edelleen manuaalista tarkastusta, mutta aineisto muuttui käytettäväksi. Opiskeltavaa ei ollut se, että yksi algoritmi olisi aina parempi, vaan se, että algoritmin on sovittava eläinten sosiaaliseen käyttäytymiseen.
Algoritmien sovittaminen biologiseen kysymykseen ja mittausjärjestelmään
Yksikään algoritmi ei ole paras kaikkialla. Yksinkertainen keskipisteseurantaa käyttävä algoritmi riittää yhden koirasen seurantaan 24-lokeroisessa levyssä. Syväoppimiseen perustuva seurantalgoritmi saattaa olla liiallinen samaan koeasetelmaan, mutta välttämätön vilkkaassa aikuiskalakuvastossa. Oikea valinta riippuu kalatiukkuudesta, koekentän monimutkaisuudesta, valaistuksen vakauden ja biologisesta kysymyksestä.
Valinta riippuu myös koejärjestelmästä. Vakaa kameratukirakenne, tasainen valaistus ja puhtaasti taustakuva parantavat klassisten algoritmien toimintaa huomattavasti. Epävakaa tukirakenne tai vilkkuvat valot pakottavat ohjelmiston korjaamaan ongelmia, jotka olisi pitänyt ratkaista mekaanisesti. Seurantatarkkuus on koko järjestelmän ominaisuus, ei pelkästään ohjelmiston ominaisuus.
Hunter Lab (Hunter) valmistaa zebrafish-laboratoriolaitteita, joiden mekaaninen ja optinen vakaus on tärkeää seurantalgoritmeille. Valmistus- ja laadunvalvontapuoli tukee sitä yhdenmukaisuutta, jota monirigisten käyttäytymistutkimusten suorittaminen vaatii. Laboratorioille, jotka haluavat, että seurantatiedot heijastavat biologiaa eikä putkistojen virheitä, tämä vakaus muodostaa perustan.