Coded Bias: il documentario sulle conseguenze dell’intelligenza artificiale

Nel 1983 Stanislav Petrov, tenente colonnello dell’esercito sovietico, che gestiva una fitta rete di radar e satelliti, si trovava nella base militare Serpukhov-15 quando nel centro scattò l’allarme: i computer avevano rilevato missili nucleari statunitensi in volo verso la Russia. Nonostante i satelliti non vedessero i missili, i computer non avevano dubbi: cinque missili intercontinentali Minuteman erano in volo. Per prendere una decisione e rispondere Petrov aveva una minuscola finestra temporale.

Il tenente sovietico però rimase immobile, non informò nessuno, credette che le macchine e gli algoritmi potessero sbagliarsi e che fosse un falso allarme, così decise di aspettare. È stato un gesto umano, un gesto che un sistema di risposta automatico, se si fosse trovato al suo posto, non avrebbe compiuto, perché avrebbe fatto ciò per cui era stato programmato, cioè rispondere. Essere pienamente efficienti, fare quello per cui si è programmati non è sempre un gesto umano e non è spesso la cosa giusta da fare. A volte lo è la disobbedienza. Automatizzare tutto, in modo che tutti seguano gli ordini, può portare a compiere gesti disumani.

L’automatizzazione, le conseguenze dell’AI e i rischi della discriminazione algoritmica, sono argomenti che compongono il documentario Coded Bias, diretto da Shalini Kantayya e presentato durante il Trieste Science+Fiction Festival 2020, prima edizione interamente online della principale manifestazione italiana dedicata alla fantascienza. Quando parliamo di algoritmi e automazione dobbiamo sempre tenere in conto che, essendo prodotti degli esseri umani, possono essere permeati di pregiudizi e portare l’AI a mostrare dei bias.

Coded Bias: le conseguenze dell’intelligenza artificiale

Joy Buolamwini, ricercatrice del MIT, ha sperimentato in prima persona il pregiudizio del riconoscimento facciale quando ha scoperto che il software di face recognition che stava usando al MIT Media Lab non riconosceva il suo viso; solo indossando una maschera bianca il software metteva a fuoco il suo volto. Joy Buolamwini ha fatto notare nel suo studio che esistono enormi pregiudizi nei software di riconoscimento facciale e ha dimostrato come anche il mondo apparentemente imparziale della tecnologia sia soggetto al razzismo. “I soggetti più chiari”, afferma la ricercatrice nel documentario, “sono riconosciuti con più precisione rispetto a quelli più scuri”.

Dati parziali o poco rappresentativi, come i volti di uomini e donne neri meno presenti nei database utilizzati per realizzare i software di riconoscimento facciale, portano a una scarsa e spesso erronea identificazione. Buolamwini e i colleghi del Mit hanno realizzato un’approfondita valutazione dei principali programmi di riconoscimento facciale: Microsoft, Face ++ e IBM. L’importanza di una tecnologia più etica è determinante considerato che ormai l’AI prende decisioni sempre più cruciali soprattutto in settori di alta importanza come la sanità, lavoro, giustizia; avere algoritmi visivi adatti a vari gruppi demografici e fenotipici è fondamentale.

Anche la matematica statunitense Cathy O’Neil, e autrice del saggio Armi di distruzione matematica, Come i big data aumentano la disuguaglianza e minacciano la democrazia, nel documentario parla degli algoritmi come dei modelli matematici lungi dall’essere oggettivi e trasparenti e che ormai dominano la nostra quotidianità iperconnessa. Gli algoritmi, secondo quanto affermato dall’autrice, “sono vere e proprie armi di distruzione matematica poiché non tengono conto di variabili fondamentali, incorporano pregiudizi e se sbagliano non offrono possibilità di appello; inoltre giudicano insegnanti e studenti, vagliano curricula, stabiliscono se concedere o negare prestiti, valutano l’operato dei lavoratori, influenzano gli elettori, monitorano la nostra salute”.

Shalini Kantayya ci mostra i rischi della discriminazione algoritmica

Non si possono separare tecnologia e società. Le macchine replicano il mondo così com’è, non prendono decisioni etiche, prendono decisioni matematiche. Alla base della struttura degli algoritmi non ci sono razzismo o sessismo ma dati, e i dati incorporano il passato, non solo il passato recente ma il passato oscuro; prima degli algoritmi viene l’uomo che può essere molto ingiusto, può discriminare per razza, sesso. Se usiamo modelli di apprendimento che replicano il mondo di oggi, il razzismo viene automatizzato e non faremo nessun progresso sociale.

All’interno di Coded Bias viene anche mostrato un altro sistema di riconoscimento facciale, che viene adoperato a Londra dalla polizia per cercare possibili criminali; il sistema avvisa la polizia di possibili corrispondenze attraverso una scansione del volto. Dopo una campagna per la libertà dell’informazione alcuni attivisti inglesi di Big Brother Watch hanno scoperto che il 98% di quelle corrispondenze hanno associato erroneamente una persona innocente a una ricercata, ribandendo che i software di riconoscimento facciale vìolano i diritti umani senza contare il rischio del potenziale abuso circa l’utilizzo e l’archiviazione dei dati.

Il nostro volto è l’ultima frontiera della privacy e le leggi fanno la differenza. Bisogna osservare su larga scala le implicazioni sociali dell’AI, come i progressi ottenuti nei diritti civili che potrebbero essere annullati con il pretesto del vantaggio dell’automazione. Un algoritmo determina chi ottiene una casa, chi è assunto, esiste un algoritmo che valuta il rischio di recidiva: sono algoritmi forniti ai giudici per condannare al carcere gli imputati. ProPublica ha pubblicato uno studio su questo software di valutazione dimostrando che l’algoritmo aveva dei pregiudizi razziali: “I neri hanno quasi il doppio delle possibilità dei bianchi di essere etichettati come ‘ad alto rischio’ pur non incorrendo poi in recidiva”, ha scritto il gruppo di ricerca.

Coded Bias: quando l’AI governa le nostre libertà

Esistono algoritmi che alcuni ingegneri di Amazon hanno usato per selezionare i curricula per l’assunzione, prima di aver scoperto che quel sistema rifiutava tutti i curricula femminili e che il programma discriminava le donne: ci sono pochissime donne nei reparti tecnici di Amazon e pochissime donne hanno importanti incarichi tecnici, altrove. Ma come vengono effettivamente costituiti questi sistemi a punteggio? Come sono create le valutazioni? Le discriminanti sono la razza e la classe. Ecco perché è sempre più necessaria una giustizia algoritmica, per assicurarsi che l’automazione sia supervisionata.

Shalini Kantayya ci mostra i rischi della discriminazione algoritmica, ci spiega cosa significa quando l’AI governa le nostre libertà, mostrandoci una visione cupa se non distopica della nostra società e dell’intelligenza artificiale e delle più plumbee conseguenze. Coded Bias descrive come questi apparati tecnologici instillano, e spesso amplificano, le stesse ingiustizie che esistono nella società, toccando tematiche sensibili e importanti come il razzismo, il capitalismo, il sessismo, la brutalità della polizia.

Come abbiamo accennato sopra, automatizzare tutto, in modo che tutti seguano gli ordini, non è sempre la cosa giusta da fare soprattutto se poi le macchine perpetuano gli stessi pregiudizi che sottendono la nostra società. I risultati degli studi, come quelli della ricercatrice Buolamwini, hanno sollevato domande fondamentali sul fatto che la face recognition non debba essere utilizzata in determinate situazioni, come i colloqui di lavoro o telecamere del corpo della polizia. È in corso una battaglia per l’equità, l’inclusione e la giustizia nel mondo digitale e la tecnologia dovrebbe essere più in sintonia con le persone che la usano.

Rimani aggiornato seguendoci su Google News!

Seguici!