Mitä koulutusdataa tarvitaan zebrafish-käyttäytymisanalyyssysteemin optimointiin?
AZebrakalasten käyttäytymisen analyysijärjestelmälle voi muuntaa videon liikkeen, sijainnin ja tapahtumatasoisiksi mittauksiksi, mutta tuloste on yhtä luotettava kuin sen konfigurointiin ja validointiin käytetty data. Lääkeyrityksen tutkimus- ja kehitystiimin kannalta hyödyllinen kysymys ei ole pelkästään »kuinka monta videota meillä tarvitaan?« vaan sen sijaan, edustavatko koulutusdatat niitä eläimiä, testausolosuhteita, kameran näkökulmia ja poikkeustilanteita, joita tiimi todellisuudessa kohtaa.
Oikea aineisto riippuu biologisesta kysymyksestä. Järjestelmä, joka on koulutettu tunnistamaan nuorten zebrafishien uimaliikkeet hallitussa lautasessa suoritettavassa testissä, ei ole automaattisesti valmis luokittelemaan aikuisten kalojen sosiaalista etäisyyttä tai reaktiota eri valaistusolosuhteissa. Käytännöllinen optimointisuunnitelma alkaa kirjoitetulla datamäärittelyllä ja testaa sen jälkeen, säilyykö järjestelmän toiminta järkevänä, kun laboratorion tavallisesta vaihtelusta aiheutuvat erot ilmenevät.
Aloita päätöksestä, jonka tukemiseen järjestelmän on tarkoitus auttaa
Ennen kuin kerätään lisää videoita, määritellään päätös, jonka Zebrakalasten käyttäytymisen analyysijärjestelmälle odotetaan tukevan. Onko kyseessä seulontatriagepäätös, fenotyyppien vertailu, myrkyllisyysmerkin tarkastelu vai menetelmän kehitykseen liittyvä tutkimus? Vastaus määrittää merkintöjen, aikaresoluution ja virhetoleranssin, jotka ovat merkityksellisiä.
Esimerkiksi tutkimuksellinen seulonta saattaa vaatia luotettavia aktiivisuusyhteenvetoja ja tapaa merkitä tallenteita tarkasteltaviksi. Vahvistava tutkimus saattaa vaatia jäljitettäviä eläintasoisia tuloksia, etukäteen määriteltyjä poissulkeutumisia ja vahvempaa tarkastusjälkeä. Piilokustannus molemmissa työnkulkuprosesseissa on usein epäselvien klippien uudelleenmerkitseminen sen jälkeen, kun malli on jo säädetty niiden ympärille. Määritä ensin lopputulos, ja kerää sitten koulutusdataa tämän lopputuloksen ympärille sen sijaan, että pyydettäisiin yhtä mallia ratkaisemaan kaikki käyttäytymiseen liittyvät kysymykset.
Rakenna kattavuutta biologisen vaihtelun lähteiden osalta
Hyödyllinen koulutusdata tulisi sisältää edustavia kaloja ja kokeellisia tiloja, ei ainoastaan selkeimmin tallennettuja kohteita. Merkitse kehitysvaihe, kanta tai linja, jos soveltuu, munakasa tai ryhmä, sukupuoli, kun se on merkityksellinen, hoitoryhmä, ruokinta- ja totutteluehdot sekä suunniteltu käyttäytymisparadigma. Nämä kentät auttavat tiimiä myöhemmin selvittämään, onko ilmeinen koneoppimisen virhe todellisuudessa muutos kokeellisessa populaatiossa.
Sisällytä sekä tavallisia että vaikeita esimerkkejä: vähän liikkuvia kaloja, noita käännöksiä, päällekkäisiä eläimiä, osittaisia peittyneisyyksiä, likaa, heijastuksia sekä arenaa reunustavia eläimiä. Julkaistussa zebrafish-tutkimuksessa on käytetty kamerapohjaista kolmiulotteista seurantaa ja käyttäytymisominaisuuksien tunnistamista; tämä muistuttaa siitä, että geometria ja katseluehdot kuuluvat ongelman määrittelyyn, eivätkä ne ole pelkästään laitteistollinen yksityiskohta.
Kysy suora kysymys suunnitteluvaiheessa: Oletko otannut näytteitä niistä ryhmistä ja käyttäytymistiloista, jotka haastavat järjestelmän käytön jälkeen? Jos vastaus on ei, lisää nuo leikkaukset ennen helpoimman luokan laajentamista. A Zebrakalasten käyttäytymisen analyysijärjestelmälle malli, joka on opittu kapealta "puhtaalta" jakautumalta, voi näyttää tarkalta, vaikka se epäonnistuisi tärkeimmillä nauhoituksilla.
Kerää kuvantamis- ja analyysimetatiedot jokaisesta videosta
Käytettäväksi optimointi , pelkät videotiedostot eivät riitä. Linkitä jokainen nauhoitus kameran sijaintiin, linssiin ja suurennukseen, kuvataajuuteen, resoluutioon, valaistukseen, areenan geometriaan, veden lämpötilaan, tallennusaikaan, käyttäjään ja ohjelmiston asetuksiin. Jos käyttäytyminen on herkkä käsittelylle tai ympäristölle, dokumentoi myös tottuminen, ärsykkeen ajoitus ja nauhoitusten järjestys.
Raakaliikkeen jäljessä hitaasti tapahtuva siirtymä istunnon aikana voi näyttää hiljaa muuttuvan taustatoiminnan siirtymältä – merkki siitä, että lämpötilaa, valaistusta tai tottumista ei pidetty yhtä tasaisena kuin oli tarkoitus. Suosittelemme käsittelemään tällaisia metatietoja mallisyötteinä diagnoosia varten, vaikka ne eivät olisi suoria piirteitä lopullisessa luokittelijassa. Tämä mahdollistaa datalaatuprobleeman ja biologisen tuloksen erottamisen toisistaan.
Larvaalisten zebrafish-kokeiden menetelmäraportointia koskevat ohjeet korostavat menetelmällisiä muuttujia, ja eläinkokeita koskevat raportointiohjeet korostavat myös satunnaisuutta ja sokeutusta. Sovella samaa tarkkuutta myös a Zebrakalasten käyttäytymisen analyysijärjestelmälle : säilytä ne olosuhteet, joissa tunnisteet ja tulokset tuotettiin.
Suunnittele tunnisteet niin, että ne vastaavat tarkoitettua analyysiä
Tunnisteen laatu on yleensä arvokkaampaa kuin suuri määrä heikosti määriteltyjä klippejä. Kirjoita lyhyt annotointiohje, jossa määritellään jokainen asento, liiketapahtuma, vyöhykkeen vaihto tai poikkeava käyttäytyminen; lisää esimerkkejä ja sääntö epävarmoihin tapauksiin. Käytä vähintään otantapohjaista kaksinkertaista tunnistusprosessia ja tarkista erimielisyydet henkilön kanssa, joka ymmärtää kokeen, eikä ratkaise niitä pelkästään enemmistöpäätöksellä.
Asetelman tai liikeradan tehtäviin säilytä merkintöjä useammasta visuaalisesta kontekstista. Nuorten zebrafishien seurannan resursseihin on kuulunut sekä vapaasti uivien että päässä kiinnitettyjen yksilöiden videokuvaukset, mikä havainnollistaa, miksi valmistelukontekstin tulisi pysyä liitettynä merkintöihin. Esimerkiksi Zebrakalasten käyttäytymisen analyysijärjestelmälle , "liike" voi tarkoittaa eri visuaalista näyttöä kussakin kontekstissa.
Koneoppiminen voi tukea merkintöjen tekemistä ja luokittelua, mutta sen ei pitäisi hiljaisesti uudelleenmääritellä biologista lopputulosta. Säilytä ihmisen antama merkintä, merkintöjä tehneen henkilön identiteetti tai rooli, merkintäversio ja kaikki mallin avulla tehdyn korjauksen historia. Nämä tiedot mahdollistavat myöhempänä tarkkuus tarkastelut.
Jaa data kokeen perusteella, ei lähes identtisten kuvakehysten perusteella
Yleinen virhe on jakaa satunnaisesti kuvakehyksiä samasta kala- tai tallennetusta aineistosta opetus- ja testijoukkoihin. Tämä voi tehdä mallista näennäisesti vahvemman, koska testikehykset muistuttavat paljon sitä, mitä malli on jo nähnyt. Sen sijaan pidä kokonaiset kalat, alustat, tallennusistunnot tai mahdollisimman hyvin riippumattomat kokeelliset toistot yhdessä samassa joukossa.
Varaa lopullinen varausjoukko, joka heijastaa tulevaa käyttöä: eri päivä, ryhmä, käyttäjä tai ohjattu kuvantamisolosuhde. Ilmoita sitten suorituskyky merkityksellisissä alaryhmissä, kuten käyttäytymisluokassa, kamerajärjestelyssä, kehitysvaiheessa ja testierässä. Jos Zebrakalasten käyttäytymisen analyysijärjestelmälle toimii epätasaisesti, tulos on hyödyllinen: se kertoo tiimille, missä tarvitaan lisää kohdennettua opetusdataa.
Käytä toistuvaa optimointisilmukkaa
- Perustesta testi. Kerää edustavia ohjausnauhoituksia ja dokumentoi normaali vaihtelu ennen mallin muuttamista.
- Tarkasta virheet niiden syyn mukaan. Ryhmitä puuttuvat havainnot epäselvän merkintätyypin, kuvalaadun, epätavallisen käyttäytymisen, laitteiston asennuksen tai biologisen kontekstin perusteella.
- Lisää kohdennettuja esimerkkejä. Laajenna heikoimmin suoriutuvaa alaryhmää sen sijaan, että lisättäisiin satunnaisesti lisää dominoivaa luokkaa.
- Uudelleentarkista koskemattomalla datalla. Vertaa uutta versiota lukitun holdout-joukon kanssa ja säilytä edellinen versio, jos vaihtoehto ei ole perusteltu.
- Versioi kaikki. Yhdistä jokainen malliversio tietojoukon manifestiin, annotointiohjeeseen, konfiguraatioon ja arviointihuomautuksiin.
Ensimmäinen instinktimme saattaa olla pyrkiä mahdollisimman suureen läpivuotoon, mutta epätasaiset merkintätiedot tai hallitsematon keruu voivat hiljaa heikentää tulosta, kunnes tiimi hidastaa vauhtiaan ja standardoi tietojen käsittelyputken. Tämä on usein tuottavinta muotoa optimointi .
Käytännöllinen valmiuslista
- Kattavatko tietojoukko kalat, käyttäytymismallit ja kuvantamisolosuhteet, joita tutkimus käyttää?
- Onko metatiedot ja merkintämääritelmät riittävän täydellisiä, jotta toinen arvioija ymmärtäisi jokaisen esimerkin?
- Onko opetus-, validointi- ja holdout-joukot erotettu biologisen tai kokeellisen yksikön perusteella?
- Onko sokeutettu tai riippumaton arvioija tarkistanut merkityksellisen otoksen merkintöjä ja tuloksia?
- Voiko tiimi jäljittää jokaisen tuloksen Zebrakalasten käyttäytymisen analyysijärjestelmälle takaisin malliin ja tietojoukon versioon?
Jos useita vastauksia on ei, kerää tarkemmin kohdattua todistusaineistoa ennen monimutkaisemman mallin käyttöönottoa. Luotettava Zebrakalasten käyttäytymisen analyysijärjestelmälle malli rakennetaan edustavasta datasta, läpinäkyvistä tunnisteista ja validoinnista, joka muistuttaa seuraavaa todellista kokeilua – ei pelkästään tilavuudesta.