Metodă statistică nouă pentru detectarea anomaliilor ascunse în seturile de date științifice
O echipă de cercetători de la Universitatea din Viena, condusă de Johannes Kirchmair, chimist farmaceutic, a dezvoltat o metodă statistică capabilă să identifice anomalii ascunse în seturile de date științifice. Metoda poate fi aplicată automat pe volume mari de date, facilitând identificarea seturilor care necesită o analiză mai atentă. Abordarea îmbunătățește calitatea cercetării bazate pe date și susține dezvoltarea unor aplicații de inteligență artificială fiabile.
Metodele științifice moderne se bazează tot mai mult pe volume mari de date. În descoperirea de medicamente, de exemplu, milioane de măsurători experimentale sunt colectate din baze de date și introduse în modele de inteligență artificială pentru a sprijini identificarea și dezvoltarea de noi tratamente. Calitatea datelor este esențială: erorile în colectarea, procesarea sau integrarea datelor pot încetini sau chiar compromite analizele ulterioare, concluziile și cercetarea. Verificarea sistematică a seturilor mari de date reprezintă însă o provocare considerabilă pentru cercetători.
Uday Abu-Shehab, Matthias Welsch și Kirchmair, de la Laboratorul Christian Doppler pentru Informatică Moleculară în Biosciences din cadrul Departamentului de Științe Farmaceutice al Universității din Viena, au dezvoltat o metodă de identificare automată a seturilor de date anomale. La baza acesteia se află legea lui Benford, care descrie observația că, în multe seturi de date naturale, anumite cifre apar ca primă cifră mai des decât altele. O abatere substanțială de la acest tipar poate indica nereguli sau potențiale probleme de calitate. Rezultatele sunt publicate în revista Patterns.
Metoda funcționează ca un filtru pentru seturile de date
„Metoda noastră nu oferă dovezi directe că datele sunt eronate sau falsificate”, explică Kirchmair. „Mai degrabă, ajută la filtrarea seturilor de date din colecții mari care ar trebui supuse unei analize mai atente. Astfel, cercetătorii își pot concentra atenția în mod specific asupra seturilor de date potențial problematice.”
Pentru a ajuta cercetătorii să prioritizeze seturile de date, echipa a dezvoltat metoda „Simulation-Based Benfordness Estimation” (SBBE). Aceasta combină simulări computerizate extinse cu statistici bayesiene pentru a oferi atât o evaluare a calității datelor, cât și o estimare a incertitudinii asociate. Astfel, seturile de date pot fi comparate mai eficient decât cu metodele anterioare.
„În cazul multor abordări existente, rezultatele analizelor de calitate depind în mare măsură de numărul de puncte de date disponibile”, explică Abu-Shehab. „Metoda noastră ia în considerare în mod explicit această incertitudine, permițând comparații corecte între seturi de date de dimensiuni diferite. Acest lucru face rezultatele substanțial mai robuste.”
Testare pe baze de date de bioactivitate
Pentru a evalua abordarea, cercetătorii au testat-o folosind date de bioactivitate. Aceste date descriu puterea interacțiunilor dintre compușii bioactivi și proteinele lor țintă și sunt esențiale în descoperirea modernă de medicamente. Analiza a arătat că bazele de date mari de bioactivitate au în general o calitate ridicată a datelor. Metoda a relevat, de asemenea, caracteristici statistice neobișnuite în anumite seturi de date. Cercetătorii au reușit să atribuie aceste caracteristici unor aspecte legate de designul experimental, procesarea datelor sau curatoria datelor.
Metoda asigură calitatea colecțiilor de date științifice
„Instrumentele pentru controlul automatizat al calității devin tot mai importante, în special pentru cercetarea bazată pe date”, afirmă Welsch. „Scopul nostru este să oferim cercetătorilor un instrument ușor de utilizat pentru a identifica anomaliile într-un stadiu incipient și pentru a îmbunătăți în continuare calitatea colecțiilor de date științifice.”
Deoarece SBBE nu este limitată la un domeniu specific de cercetare, autorii văd potențial pentru multe alte aplicații. Oriunde sunt generate volume mari de date numerice, metoda ar putea ajuta la relevarea neregulilor ascunse și la consolidarea bazei pentru decizii științifice și aplicații de inteligență artificială.
