Sondajele sintetice și riscul unor opinii „înghețate”
Un votant chestionat în octombrie poate da un răspuns diferit în ianuarie, pe măsură ce circumstanțele sale se schimbă. Un personaj construit pe un model lingvistic de mari dimensiuni s-ar putea să nu facă același lucru, în funcție de modul în care este construit. Această diferență este unul dintre motivele pentru care Jennifer Stromer-Galley, profesoară la Școala de Studii Informaționale, privește cu prudență sondajele sintetice de opinie publică.
Firmele de sondare apelează tot mai des la astfel de personaje, construite pe baza datelor existente din sondaje și a altor informații demografice, pentru a crea înlocuitori ai votanților reali în focus-grupuri și anchete. „Îngrijorarea mea este cum țin cont roboții de conversație de schimbările opiniei publice”, spune Stromer-Galley, care a studiat metodologia sondajelor de opinie.
Istoric, sondajele de opinie au fost prețuite pentru fiabilitate, predictibilitate și consecvență. Sondajele sintetice complică această imagine. Personajele AI se bazează pe informații demografice relevante pentru sondaj, iar modelele lingvistice pot fi completate cu materiale suplimentare pentru a contura mai detaliat profilul unui votant și pozițiile sale potențiale față de o politică sau un set de politici.
„Suntem la începutul erei personajelor sintetice”, afirmă Stromer-Galley. Firmele de sondare văd aici o oportunitate de a-și extinde oferta la un cost relativ scăzut, fără a se confrunta cu logistica și cheltuielile necesare pentru a determina oamenii să răspundă la anchete.
Opiniile reale se schimbă, cele sintetice rămân stabile
Sondajele tradiționale surprind schimbările de opinie pentru că intervievează oameni reali de fiecare dată. Personajele sintetice sunt construite pe instrucțiuni fixe, astfel încât răspunsurile lor tind să rămână consecvente de la o rundă la alta. Votanții reali, modelați de circumstanțe în schimbare, își pot schimba părerea în privința problemelor.
„Oamenii nu au cadre politice coerente intern; modul în care gândesc despre problemele de politică este mult mai complex”, explică Stromer-Galley. „Aceste personaje vă vor da răspunsuri consecvente în fiecare lună. Ar putea exista o oarecare variație, dar intervalul ar fi mult mai îngust decât în cazul oamenilor.”
Un sondaj național reprezentativ de opinie publică ar trebui să includă aproximativ 1.200 de persoane. Firmele de sondare sintetică pot genera însă câteva mii sau mai multe personaje. Îngrijorarea mai mare nu ține de zgomotul de eșantionare, ci de biasul din modelele AI care stau la baza personajelor. Furnizorii pot ajusta mixul demografic al personajelor, dar asta nu corectează modul în care modelul răspunde pentru fiecare profil.
Stromer-Galley dă exemplul unui sondaj ipotetic privind votanții de culoare din mediul rural dintr-un oraș mic. Pentru un astfel de grup, modelele AI și datele sintetice vor oferi răspunsuri tipice pentru un profil, ceea ce înseamnă că persoanele reale atipice pot dispărea în abordarea sintetică. „Chiar dacă numărul de personaje corespunde demografiei medii a populației, veți avea în continuare de-a face cu valori atipice în răspunsurile la sondaj”, spune ea. „Cum vor integra sondajele sintetice aceste valori atipice și cum ar ști că este vorba despre o valoare atipică?”
Experimentul Pew: diferențe de 12 puncte procentuale
Un experiment publicat în septembrie de Pew Research Center sugerează că îngrijorarea nu este doar teoretică. Pew a pus un model AI să preia personajele unor membri reali ai panelului său American Trends Panel și să răspundă la aceleași sondaje la care au răspuns membrii umani. Pe aproape 300 de întrebări, rezultatele AI au diferit de cele umane cu o medie de 12 puncte procentuale, iar aproape jumătate dintre întrebări au avut cel puțin o variantă de răspuns pe care niciun respondent AI nu a ales-o.
Când sondajele științifice de opinie publică au apărut, în anii 1930 și 1940, o parte din atracția lor consta în faptul că permiteau unei națiuni să își înțeleagă preocupările într-un mod care hrănea un sentiment de apartenență colectivă, notează Stromer-Galley. Datele de opinie publică sunt folosite și astăzi pentru a înțelege preocupările, valorile și pozițiile politice ale țării. Dar, comparativ cu originile sale, sondajul sintetic este „o oglindă distorsionată a noastră care creează potențial neînțelegeri ce se amplifică”.
„Datele AI suntem noi, dar totodată nu suntem noi. Este o reflexie a noastră, dar ne refractă în moduri care nu sunt chiar reprezentative pentru cine suntem”, spune Stromer-Galley. „Odată ce începem să înlocuim votanți reali cu votanți sintetici, cum se schimbă percepția noastră despre realitate? Dacă reducem aceste perspective despre noi la date sintetice, ce pierdem?”
