Etica digitale e discriminazioni di genere, l’intervista a Diletta Huyskes

Il pregiudizio è un elemento ineluttabile della vita, il risultato di una visione parziale del mondo che ogni singola persona custodisce in assenza di dati empirici. Ma se un pregiudizio da preconcetto di forma diventa uno stereotipo sistemico, allora la sostanza cambia e cambia anche il modo in cui la società si interpone con esso. Il pericolo più grande è quando uno stereotipo sociale, omofobo, di genere o razzista, sia così centrato e istituzionalizzato da permeare aspetti della nostra vita quotidiana, e amplificare la propria gittata attraverso l’intelligenza artificiale, ottenendo ricadute considerevoli e dannose.

Le tecnologie raramente sono neutrali e il rischio maggiore è che continuino a interiorizzare i pregiudizi esistenti, quando in verità l’intelligenza artificiale e l’automazione dovrebbero essere progettate per superare le discriminazioni razziali, di genere, di classe, e tutte le norme sociali patriarcali. Esattamente come ci hanno dimostrato Timnit Gebru, ex co-leader del team Ethical AI di Google, licenziata dopo aver criticato l’approccio dell’azienda alle assunzioni di minoranze e i pregiudizi incorporati nei sistemi di intelligenza artificiale odierni, e Joy Buolamwini, ricercatrice del MIT, che ha scoperto un ampio pregiudizio di genere e razziale nei sistemi di intelligenza artificiale venduti da giganti della tecnologia come IBM, Microsoft e Amazon.

I pregiudizi nei dati, i bias, gli algoritmi, una rappresentazione poco equilibrata del mondo: è possibile costruire un sistema di intelligenza artificiale imparziale? Evidentemente la radice di questi problemi non è solo tecnologica, è sociale. Ne parliamo con Diletta Huyskes, che si occupa di etica e politica tecnologica, giustizia algoritmica e discriminazioni – soprattutto di genere – nel mondo digitale. Laureata in Filosofia, è la responsabile Advocacy di Privacy Network, associazione nata per tutelare i diritti digitali.

Cosa si intende per bias e gender bias?

Prima di tutto, utilizziamo il termine inglese “bias” perché la sua traduzione italiana “pregiudizio” esclude una dimensione di significato più ampia e molto importante. Si tratta infatti di un termine tecnico, utilizzato scientificamente in diverse discipline come la psicologia, la statistica, l’informatica per indicare non solo un pregiudizio, ma un errore sistemico. Usiamo questo termine, questa idea per parlare quindi di quei pregiudizi generati soprattutto da errori, e per questo è un concetto molto adatto a descrivere tutti gli stereotipi di genere, di razza, di classe, e in generale umani.

Con gender bias, o bias di genere, si intende nello specifico l’errore sistemico che avviene per ogni discriminazione effettuata in base al genere: classificando una persona come “donna”, o non-binaria, o queer, e trattandola in modo iniquo perché di genere diverso da quello maschile dalla nascita. Uno dei nuovi ambiti in cui emergono più chiaramente i bias di genere è quello algoritmico, ed è interessante far notare come il termine bias venga utilizzato anche nel gergo informatico proprio per descrivere una classificazione o una stima non corretta, portata avanti ad esempio proprio da un algoritmo, il cui lavoro è proprio questo: stimare e classificare. Per questi sistemi, dividere in categorie – molto spesso binarie – è normale e necessario, e per questo motivo è facile perpetrare suddivisioni problematiche. 

Ovviamente le classificazioni, le intuizioni algoritmiche non sempre sono corrette. Per questo motivo è importante chiedersi quanto grave è oggi un errore algoritmico, e che conseguenze ha? In un momento storico in cui affidiamo miliardi di decisioni ad algoritmi (vengono usati dalla polizia, dai governi, dalle aziende per erogare servizi “personalizzati” e concedere o meno dei servizi in base all’affidabilità che secondo l’algoritmo abbiamo come individui), una loro classificazione sbagliata causa danni reali e importanti per le vite delle persone. 

In quali ambiti si generano maggiori discriminazioni tecnologiche in base al genere?

Le discriminazioni tecnologiche sono presenti ovunque esistano già degli stereotipi dannosi. Prendiamo l’esempio dell’ambito tecnologico in sé: se non sei un uomo, probabilmente subirai discriminazioni sia negli spazi digitali online, sia nelle sedi fisiche dei colossi tecnologici. Questo perché si tratta di un settore estremamente sessista e a misura d’uomo: basti pensare che nel 2019 solo il 19% delle persone che lavoravano nell’ICT erano donne, di cui solo il 3% occupava posizioni di leadership. Allo stesso modo, solo il 15% delle persone che si occupano di ricerca sull’AI  in Facebook sono donne, perlopiù bianche. Come ripeto spesso, uno dei punti di non ritorno delle discriminazioni tecnologiche è la mancanza di pluralità negli spazi di decisione e creazione di questi sistemi. 

Al di là del settore tecnologico, tutti i pregiudizi storici che limitano il raggio di azione e pensiero delle donne sono esasperati e amplificati dalle cosiddette intelligenze artificiali. Un esempio è quello dei rivoluzionari sistemi di “word embedding”, che usano algoritmi di deep learning molto complessi per trasformare in testo e codificare il linguaggio umano. Uno di questi sistemi, che trasformano le parole con lo stesso significato in simboli matematici simili, è conosciuto per aver stabilito che “Man is to computer programmer as woman is to homemaker”.

Etica digitale e discriminazioni tecnologiche

Questi modelli vengono utilizzati anche dai traduttori online che utilizziamo quotidianamente, per rendere l’idea dell’estensione del problema. In un periodo storico in cui si insiste sulle declinazioni al femminile nella lingua italiana, basta un modello matematico per fermare il progresso in un determinato ambito. In ciò risiede l’errore sistematico a cui facevo riferimento, che non fa altro che peggiorare perché viene radicato nel codice. 

Gli esempi sono infiniti perché le discriminazioni tecnologiche si estendono ad ogni ambito delle nostre vite che viene più o meno automatizzato: la sanità, il lavoro, la finanza, la scuola, la sicurezza. Oggi accade che un passaporto o un sussidio non vengano concessi, ma anche che ad una donna non venga diagnosticata una malattia cardiovascolare, per colpa di errori di classificazione algoritmici. Questi errori possono essere contestati e richiederne un’analisi (in Europa soprattutto abbiamo dei diritti specifici in questi casi). Se l’errore non viene fatto presente, lo stesso algoritmo continua ad essere utilizzato fino a quando le cause del problema saranno sempre più difficili da identificare.

Quali effetti determinano gli squilibri di genere relativamente all’intelligenza artificiale?

Come dicevo, le macchine non solo riflettono le nostre discriminazioni sociali. Purtroppo hanno il potere di amplificarle. Ogni algoritmo che si avvale di apprendimento automatico (i più “intelligenti”)  prima di essere applicato e indirizzato alla risoluzione di un compito, viene “addestrato” su dei set di dati utili, da cui il sistema apprenderà le informazioni per potersi comportare autonomamente in futuro. Questi algoritmi imparano dall’esperienza, e quindi usano i dati iniziali come trampolino di lancio per poi sintetizzare le informazioni ad ogni operazione.

I dati di training (nel caso di Amazon, ad esempio, erano i dati storici dei CV) sono fondamentali per la decisione finale. Molto spesso il problema è già lì, nei set di dati che vengono scelti e utilizzati, che mancano di dati specifici (di genere, di condizioni socio-economiche, di provenienza differenti…). In poche parole, non rappresentano la pluralità sociale e sono poco rappresentativi. Semplicemente, se i dati iniziali non sono calibrati e l’algoritmo non è addestrato per farlo, il risultato non può essere equo.

Penso servano sicuramente più ricerca e più azione in questo senso. Ricordiamo però che oggi molti algoritmi che conosciamo sono supervisionati da esseri umani, e che quindi esiste anche una forte responsabilità delle persone che lavorano con questi sistemi. Come molte persone, infatti, possono avere pregiudizi, più o meno forti, nei confronti di alcune categorie sociali, e tralasciare aspetti importanti proprio per questo motivo. 

Quali sono le soluzioni per intervenire e controllare gli algoritmi e relativi bias?  

Ne esistono molte e di diverso tipo, ma è importante sottolineare che la soluzione più veloce si trova all’interno della tecnologia stessa. Con i software di bias detection, ad esempio, si possono analizzare gli algoritmi sospetti per analizzare cosa può essere andato storto. Purtroppo – anche se si parla di bias in generale – in realtà ne esistono molti e con caratteristiche diverse, in base allo step di progettazione in cui si “creano”. Per un essere umano è quindi molto difficile fare un’analisi critica e andare alla radice del problema una volta che si è già verificato, mentre per degli altri algoritmi è molto più facile farlo.

Esistono dei software, coordinati da dei gruppi di ricerca interdisciplinari, anche per l’analisi della conformità etica, legale e tecnica dell’algoritmo. Si tratta in ogni caso di soluzioni che rimediano ad un errore solo successivamente. In futuro bisognerebbe puntare ad evitare l’insorgere di bias gravi fin dall’inizio, per quanto possibile. Da un punto di vista formale è impossibile eliminare il rischio: le macchine sbaglieranno sempre in una certa percentuale, esattamente come noi. Però puntare a pretendere una maggiore trasparenza e spiegazione di questi algoritmi per ridurre al minimo il rischio, adottando un approccio più giusto, è fondamentale.   

Cosa significa studiare etica digitale e perché è importante lavorare con i dati attraverso un approccio femminista?

Personalmente ho iniziato ad interessarmi a queste tematiche un po’ per caso, durante il mio terzo anno di studi a Filosofia e appassionandomi del lavoro di filosofe e studiose femministe come Rosi Braidotti e Donna Haraway. Tra le altre cose, analizzavano il pensiero postumano e la figura del cyborg, esplorando le caratteristiche che condivide con la donna e in generale con ogni parte “oppressa” dei nostri rapporti sociali. Nel frattempo, interessata da concetti come il determinismo e il libero arbitrio, ho iniziato a riflettere sulla storia dell’innovazione tecnologica nella nostra società capitalista, molto simile ad un’entità sacra e indiscutibile.

Stimolata da un forte spirito critico nei confronti di quest’aurea di neutralità che accompagna la tecnologia da parecchi anni, ho iniziato a studiare da autodidatta le basi dell’etica tecnologica. Ho scelto poi di specializzarmi in filosofia politica ed economia studiando il digitale e tutte le sfide che pone al futuro come l’automazione del lavoro, la sorveglianza, la governance dei dati, per poi focalizzarmi sulle ingiustizie algoritmiche soprattutto di genere. Purtroppo per il momento non si tratta di un percorso lineare e ben inquadrato.

Diletta Huyskes ci parla di etica digitale e discriminazioni di genere

Studiare filosofia, etica e politica digitale significa pretendere un futuro più giusto e più sostenibile anche attraverso l’impatto delle tecnologie sulle nostre società. È assurdo pensare che i sistemi che vengano creati oggi siano obbligati o giusti di per sé: ogni applicazione tecnologica è una scelta tra più opzioni, che si colloca all’interno di un contesto socio-culturale di riferimento. È questo il paradosso della funzionalità: ogni presa di posizione neutrale è già una scelta politica. 

Dato che si parla di tecnologie che si alimentano sempre di più grazie ai dati che noi stessi forniamo, come cittadini, lavoratori e persone in generale, è necessario stabilire delle linee guida specifiche per il loro utilizzo. Si tratta di informazioni che derivano direttamente dalla nostra esperienza privata e pubblica, e per questo le logiche che stanno dietro al loro utilizzo devono essere materia di discussione.  Un approccio che supporto totalmente è quello della trasparenza dei dati (molto influente durante la pandemia), ma non basta: i dati devono essere pubblici ma anche plurali, attingere da ogni esperienza sociale e non solo da quelle delle categorie dominanti. Queste sono alcune delle richieste di un approccio femminista ai dati.

Cosa ne pensi del lavoro e del licenziamento di Timnit Gebru?

In Google, le donne che lavorano nella ricerca dell’IA rappresentano circa il 10% del totale. Tra queste, fino a pochi giorni fa, c’era anche Timnit Gebru, una delle studiose di IA più influenti al mondo. Parlo della sua influenza perché è anche grazie al suo lavoro se si è iniziato a parlare di bias nei sistemi intelligenti e si è provato a creare una narrazione diversa ed inclusiva all’interno delle Big Tech. Nello specifico, Gebru ha contribuito a dimostrare come i sistemi di riconoscimento facciale falliscano nel riconoscere le persone di colore – peggio ancora se donne – e le problematiche relative ai word embeddings che ho citato.

Per questi motivi, era stata scelta per ricoprire il ruolo di co-leader nel dipartimento di Google dedicato all’etica sistemi di IA, e praticamente per gli stessi motivi è stata licenziata. Gebru aveva co-autorato un paper che sottolineava  i potenziali rischi collegati allo sviluppo di modelli di linguaggio (come GPT-3, di cui si sta parlando in queste settimane) addestrati su quantità infinite di dati. Mettere a disposizione di un’IA così tanti dati, richiede consumi giganteschi di elettricità, CO2 e denaro. Oltre a questo, il paper spiegava che utilizzare così tanti dati implica che questi non vengano controllati e scelti, e ciò aumenta esponenzialmente il rischio di bias. Gebru aveva chiesto a Google di prendere posizione in questo senso e pensare a come gestire i problemi, e per questo è stata allontanata.

“In Google, le donne che lavorano nella ricerca dell’IA rappresentano circa il 10% del totale”

È ridicolo pensare che abbiano creato un dipartimento all’interno dell’azienda che si occupasse di etica, per poi rigettare le proposte che sottolineano aspetti di questo tipo. È palese che l’uscita di questo paper avrebbe messo gli affari in difficoltà, mostrando a molte persone il lato oscuro del loro lavoro. Il punto è che scegliendo di licenziare Gebru per evitare danni d’immagine hanno attirato un’attenzione mondiale al caso, sottolineando ancora una volta il fatto che la giustizia e l’inclusione non siano ancora minimamente percepite come urgenze dal settore.  

Quanto può essere determinante nella nostra società una tecnologia più etica? 

Che lo desideriamo o meno, componenti tecnologiche più o meno intelligenti saranno sempre più incorporate nella nostra quotidianità. Tutti noi siamo liberi di scegliere se comprare o meno un dispositivo come Alexa o se sorvegliare i nostri dipendenti ininterrottamente. Queste scelte sono già disponibili, ma assolutamente non scontate. Non tutti condividiamo l’idea che i nostri strumenti conoscano le nostre emozioni e ci propogano consigli commerciali ad esse collegati. Un’altra cosa sono le tecnologie adottate pubblicamente, dalle città in cui viviamo o imposte nei processi a cui siamo costretti a sottoporci ogni giorno, come i servizi bancari o quelli anagrafici. Sono questi i processi su cui è necessaria più che mai una sensibilizzazione comune. La mia speranza è che presto si possa decidere sull’adozione di queste tecnologie democraticamente, e dove necessario bloccare il loro utilizzo fin da subito.

Non è più possibile considerare la tecnologia come una somma di decisioni e processi razionali e trascendenti. È necessario prendere parte a quei processi e plasmarli, riappropriandosi dei significati che vengono dati alle nostre vite approssimativamente, decidendo autonomamente la parte che vogliamo che prendano nella nostra vita e nel nostro lavoro.

Rimani aggiornato seguendoci su Google News!

Seguici!