Il pregiudizio razziale è un elemento intessuto anche e soprattutto nella tecnologia, un aspetto che è diventato determinante da identificare e affrontare. Un esempio calzante è l’apprendimento da remoto e la didattica a distanza in cui spesso vengono utilizzati software di riconoscimento facciale, come Proctorio, uno strumento basato su intelligenza artificiale che consente di controllare gli studenti durante gli esami per decretare se stanno imbrogliando o copiando. Questo strumento di sorveglianza si basa su un software open source che ha una storia di problemi di pregiudizi razziali, secondo un rapporto di Motherboard. Proctorio, infatti, utilizza un software di rilevamento facciale che non è riuscito a riconoscere i volti delle persone nere per più della metà del tempo.
Sebbene il software sembri utile, è stato riscontrato che contrassegna gli studenti neri come lontani dai loro dispositivi rispetto agli studenti bianchi. Il problema è stato scoperto da uno studente che ha capito come il software ha eseguito il rilevamento facciale e ha scoperto che spesso non riesce a riconoscere i volti delle persone nere. Proctorio, e altri programmi simili, progettati per tenere d’occhio gli studenti durante gli esami, se non rileva i volti degli studenti li segnala.
Proctorio: il software per la DaD non rileva i volti di molti studenti neri
Akash Satheesan ha deciso di esaminare i metodi di rilevamento facciale che il software stava utilizzando. Satheesan ha documentato i suoi metodi di ricerca e le sue scoperte e ha analizzato il codice trovato nell’estensione del browser Chrome di Proctorio, scoprendo che i nomi dei file associati al riconoscimento facciale dello strumento erano identici a quelli pubblicati da OpenCV, un programma di visione artificiale open source che può essere utilizzato per riconoscere i volti e che ha avuto problemi con pregiudizi razziali in precedenza.
“Satheesan ha dimostrato per Motherboard che gli algoritmi di rilevamento facciale incorporati nello strumento di Proctorio si sono comportati in modo identico ai modelli OpenCV quando sono stati testati sullo stesso set di volti”. Il ricercatore ha anche spiegato che il software Proctorio non solo non è riuscito a riconoscere i volti delle persone nere, ma ha anche faticato a riconoscere i volti di qualsiasi etnia, con il più alto tasso di successo inferiore al 75%.
Gli studenti neri hanno descritto quanto sia frustrante il pessimo sistema di rilevamento facciale di Proctorio. Alcuni hanno affermato che il software non li riconosce ogni volta che fanno un test; altri temono che i loro test si chiudano bruscamente e li escludano se escono dall’illuminazione perfetta. Satheesan ha affermato che le sue scoperte aiutano a dimostrare il difetto fondamentale del software di supervisione, e che gli strumenti, apparentemente costruiti per scopi educativi in realtà minano l’istruzione e discriminano gli studenti: ”Usano algoritmi distorti, aggiungono stress a un processo stressante durante un periodo stressante, disumanizzano gli studenti”.
Se usiamo modelli di apprendimento che replicano il mondo di oggi, il razzismo viene automatizzato
Anche la regista Shalini Kantayya ha denunciato ampiamente nel suo documentario Netflix Coded Bias i rischi della discriminazione algoritmica, seguendo l’esempio di Joy Buolamwini, ricercatrice del MIT, che ha sperimentato in prima persona il pregiudizio del riconoscimento facciale; la ricercatrice ha scoperto che il software di face recognition che stava usando al MIT Media Lab non riconosceva il suo viso, dimostrando come anche il mondo apparentemente imparziale della tecnologia sia soggetto al razzismo.
Dati parziali o poco rappresentativi, come i volti di uomini e donne neri meno presenti nei database utilizzati per realizzare i software di riconoscimento facciale, portano a una scarsa e spesso erronea identificazione. Questo accade perché le macchine replicano il mondo così com’è, non prendono decisioni etiche, prendono decisioni matematiche e alla base della struttura degli algoritmi non ci sono razzismo o sessismo ma dati, e i dati incorporano il passato. Se usiamo modelli di apprendimento che replicano il mondo di oggi, il razzismo viene automatizzato e non faremo nessun progresso sociale.
Rimani aggiornato seguendoci su Google News!
Da non perdere questa settimana su Techprincess
🎮 Che impatto avranno le elezioni americane sui videogiochi?
🚘 I gadget più strani delle case automobilistiche
🇨🇳 Un gruppo di ricercatori cinesi ha sviluppato un modello di IA per uso militare basato su Llama di Meta
🔍 ChatGPT si aggiorna e ora naviga sul web
Ma lo sai che abbiamo un sacco di newsletter?
📺 Trovi Fjona anche su RAI Play con Touch - Impronta digitale!
🎧 Ascolta il nostro imperdibile podcast Le vie del Tech
💸E trovi un po' di offerte interessanti su Telegram!
