Inteligența artificială poate reproduce și chiar amplifica formele de discriminare și părtinire existente în societate. Acest lucru se întâmplă deoarece sistemele de inteligență artificială sunt antrenate pe cantități foarte mari de date colectate din lumea reală, iar aceste date pot conține stereotipuri, prejudecăți sau dezechilibre istorice. Chiar dacă algoritmul nu este programat în mod explicit să discrimineze, acesta poate învăța anumite tipare și poate ajunge să ia decizii dezavantajoase pentru anumite categorii de persoane.
Un exemplu este procesul de recrutare. Un sistem AI folosit pentru selectarea candidaților poate analiza CV-urile și istoricul angajărilor unei companii. Dacă datele istorice reflectă o preferință pentru anumite categorii de candidați, algoritmul poate învăța această preferință și poate acorda automat un scor mai mic unor persoane care, în realitate, sunt la fel de calificate. Astfel, o discriminare existentă în date poate fi transformată într-o decizie automată aparent obiectivă.
Un alt domeniu important este recunoașterea facială. Unele sisteme pot avea niveluri diferite de precizie pentru diferite grupuri demografice, în special atunci când datele utilizate pentru antrenare nu reprezintă suficient de bine populația. O eroare într-un astfel de sistem poate avea consecințe serioase atunci când tehnologia este utilizată pentru identificarea unei persoane, controlul accesului sau aplicarea legii.
Părtinirea poate apărea și în sistemele de recomandare și motoarele de căutare. Algoritmii analizează comportamentul utilizatorilor și pot ajunge să le prezinte anumite informații, produse, persoane sau opinii mai frecvent decât altele. În anumite situații, acest lucru poate crea „bule informaționale”, în care utilizatorul vede în principal conținut care îi confirmă propriile opinii, reducând contactul cu perspective diferite.
O problemă suplimentară apare în cazul modelelor generative de AI. Dacă datele de antrenare conțin stereotipuri despre anumite profesii, genuri, grupuri sociale sau culturi, sistemul poate reproduce aceste stereotipuri în textele, imaginile sau răspunsurile pe care le generează.
Prin urmare, problema discriminării în inteligența artificială nu este doar una tehnică, ci și una socială și etică. Este necesară verificarea atentă a datelor de antrenare, testarea sistemelor pe grupuri diferite de utilizatori, monitorizarea rezultatelor și existența unor mecanisme prin care deciziile automate să poată fi contestate sau verificate de oameni. AI nu este automat „obiectiv” doar pentru că utilizează algoritmi și calcule; calitatea datelor și modul în care sistemul este proiectat pot influența direct rezultatele pe care le produce.