WildFin: un set de date video pentru recunoașterea comportamentului peștilor în mediul natural
Un nou set de date, numit WildFin, a fost creat pentru a sprijini dezvoltarea unor modele de viziune computerizată capabile să recunoască comportamentul peștilor în mediul natural. Setul cuprinde nouă ore de filmări subacvatice, adnotate cadru cu cadru cu comportamentele peștilor, și a fost prezentat la Conferința Europeană de Viziune Computerizată, desfășurată pe 8 septembrie, la Malmö, în Suedia. Lucrarea este publicată și pe serverul de preprint arXiv.
În primul an al cercetării sale doctorale, Abigail Grassick, candidată la doctorat în biologie computațională, a colectat ore întregi de filmări subacvatice în timp ce studia comunitățile de pești care trăiesc pe recifele individuale de corali din largul coastei Curaçao. A încercat să folosească modele de viziune computerizată pentru a identifica automat comportamentele anumitor specii de pești, dar modelele existente au eșuat: nu puteau urmări un singur pește, cu atât mai puțin să identifice când se hrăneau sau încercau să evite un prădător.
Potrivit lui Andrew Hein, profesor asociat de biologie computațională la College of Agriculture and Life Sciences și coautor al studiului, modelele actuale au performanțe slabe pentru că sunt antrenate cu foarte puține filmări din fauna sălbatică. „Oamenii antrenează aceste modele de viziune computerizată pe date la scară de internet. Ei bine, ce fracțiune din datele la scară de internet reprezintă imagini științifice? Răspunsul este: o fracțiune minusculă”, a explicat el.
Hein și Grassick au colaborat cu Jennifer Sun, profesoară asistentă de informatică la Cornell Ann S. Bowers College of Computing and Information Science. Sun folosise cu succes modele de viziune computerizată pentru a interpreta comportamentele animalelor în laborator, dar filmările din mediul natural, cu bancuri mobile de pești, iluminare variabilă și unghiuri de filmare schimbătoare, s-au dovedit o provocare mult mai mare.
„Când am vorbit prima dată cu Andrew, nu anticipam cât de greu este de analizat videoclipurile lui. Are sute de pești și este greu să știi dacă este același pește în cadrele următoare”, a spus Sun.
Grassick și o echipă de studenți au adnotat videoclipurile cu recifele de corali, alegând dintr-o listă de comportamente pentru a cataloga ce făceau peștii în fiecare cadru, cum ar fi căutarea hranei, hrănirea sau lupta. Au inclus și filmări în care un scafandru urmărește un singur pește pe fundul mării, similare videoclipurilor realizate de scafandri în vacanță, pentru a vedea cum modelele gestionează diferite tipuri de filmări. Videoclipurile au fost colectate și adnotate de colegi de la University of Colorado Boulder, toate provenind din locuri diferite din largul coastei Curaçao.
Crearea WildFin a fost extrem de consumatoare de timp. Cercetătorii au petrecut aproximativ 1.400 de ore pe teren și 600 de ore adnotând, ceea ce a produs în final doar nouă ore de filmare. Cercetătorii au încercat să folosească aceste filmări pentru a ajusta mai multe modele standard de viziune computerizată pentru clasificarea comportamentului peștilor, dar performanța acestora a rămas slabă.
Acum că cercetătorii au identificat această lacună în tehnologia de viziune computerizată, speră că experții vor folosi acest set de date și analiza ca punct de plecare pentru a crea modele îmbunătățite de studiere a comportamentului peștilor.
„Este o problemă multidisciplinară care trebuie abordată. Ai nevoie de oameni de statistică, de specialiști în învățare automată și de ecologi care lucrează împreună pentru a-și da seama cum să facem acest proces mai puțin costisitor și cum să răspundem în continuare la întrebările noastre”, a spus Grassick.
Ei invită, de asemenea, ecologii de pretutindeni să scoată la lumină videoclipurile din munca lor de teren — multe dintre ele stând pe hard diskuri pe rafturile laboratoarelor — pentru a furniza date de antrenament pentru noile modele. Doar curățarea acestor date este o provocare în sine, astfel că Sun își imaginează că agenți de inteligență artificială le-ar putea converti într-un format util.
„Dacă acele seturi de date ar putea fi ingerate automat odată ce oamenii termină analiza, într-un anumit sens, ele pot prinde din nou viață”, a spus Sun.
Modelele de viziune computerizată mai bune nu le-ar permite doar ecologilor să răspundă mai eficient la întrebările lor, ci ar permite și cercetătorilor să folosească videoclipuri de știință cetățenească și date provenite de la public de pe platforme de naturaliști pentru a monitoriza sănătatea ecosistemelor și a înregistra aparițiile speciilor rare.
„Speranța mea este că putem debloca cu adevărat valoarea filmărilor de știință cetățenească și să le permitem biologilor care merg în toate aceste locuri uimitoare din întreaga lume să crească enorm cantitatea de date pe care le putem obține prin aceste expediții foarte costisitoare și consumatoare de timp”, a spus Hein.
