Analiză amplă a evaluărilor pentru finanțarea cercetării: diferențe de gen și disciplină
O analiză a aproape 40.000 de rapoarte de evaluare pentru finanțarea cercetării a constatat că cercetătoarele au redactat evaluări mai lungi și mai pozitive decât omologii lor bărbați și au abordat mai cuprinzător criteriile formale de evaluare.
Cercetarea, condusă de University College Dublin în colaborare cu Fundația Națională Elvețiană pentru Știință (SNSF) și publicată în PLOS One, a utilizat învățarea automată pentru a analiza peste 1,3 milioane de propoziții din 39.280 de rapoarte de evaluare depuse la SNSF între 2016 și 2023. Studiul a examinat atât conținutul discuțiilor purtate de evaluatori, cât și tonul aprecierilor acestora.
Conform rezultatelor, evaluatoarele au scris recenzii mai lungi în toate ariile de cercetare analizate și, după controlarea altor factori, au formulat mai puține comentarii negative decât evaluatorii bărbați. O diferență similară de gen a apărut și în rândul solicitanților, femeile primind mai puține comentarii negative decât bărbații. De asemenea, recenziile transmise de cercetătoare s-au aliniat mai strâns criteriilor de evaluare.
„Acest studiu realizat împreună cu Fundația Națională Elvețiană pentru Știință a deschis «cutia neagră» a evaluării prin colegi pentru granturi. În ultimii trei ani am dezvoltat și validat clasificatori de învățare automată care protejează confidențialitatea și ne permit să analizăm rapoartele de evaluare la scară largă”, a declarat autorul principal, profesorul asociat Stefan Müller de la Școala de Politică și Relații Internaționale a UCD. „Am putut arăta cum este redactată o evaluare tipică pentru un grant și cum diferă accentul pe criteriile de evaluare și sentimentul în funcție de disciplină și de genul atât al solicitantului, cât și al evaluatorului. Sperăm că tiparele pe care le dezvăluim reprezintă un punct de plecare pentru discuții despre reformarea procedurilor de evaluare prin colegi.”
Cercetarea, realizată de Müller (UCD), Gabriel Okasa, Michaela Strinzel, Anne Jorstad, Katrin Milzow (toți de la SNSF) și Matthias Egger (Universitatea din Zurich, Berna și Bristol), a scos la iveală și diferențe substanțiale între disciplinele academice. Recenziile din științele sociale și umaniste au avut în medie 928 de cuvinte, comparativ cu 748 în științele vieții și 716 în matematică, informatică, științe naturale și tehnologie (MINT).
Conținutul recenziilor a diferit, de asemenea. Evaluările din domeniul MINT au pus un accent mai mare pe parcursul profesional al solicitanților și pe fezabilitatea cercetării. Recenziile din științele sociale și umaniste s-au concentrat mai mult pe relevanța și originalitatea cercetării propuse decât cele din științele vieții. La rândul lor, recenziile din științele vieții au acordat o importanță mai mare adecvării metodelor decât cele din științele sociale și umaniste sau din domeniul MINT.
Tonul recenziilor a variat și el. De exemplu, 52,5% dintre propozițiile din recenziile de matematică au fost pozitive, comparativ cu 37,9% în epidemiologie și medicina preventivă. Între timp, comentariile negative au reprezentat 22,1% dintre propozițiile din științele sociale și politice, comparativ cu 11,1% în matematică.
O comparație cu un studiu publicat anterior de aceiași cercetători privind evaluarea prin colegi la reviste științifice a arătat că recenziile pentru cererile de grant au fost mult mai pozitive decât cele pentru revistele cu evaluare prin colegi.
Studiul nu stabilește dacă aceste diferențe afectează rezultatele finanțării, dar ridică întrebări despre echitate și consecvență în evaluarea cercetării. Autorii au observat că formatele structurate de recenzare și calibrarea evaluatorilor ar putea ajuta la îmbunătățirea consecvenței în evaluarea cercetării. Ei au precizat că învățarea automată ar putea sprijini procesul prin identificarea tiparelor sistematice din recenzii, cum ar fi variațiile de ton sau măsura în care evaluările sunt legate de criterii specifice de evaluare.
