Diletta Huyskes: «gli algoritmi non dovrebbero sostituire le nostre decisioni»
«Ogni tecnologia è politica, e in quanto tale va governata». I governi di tutto il mondo si rivolgono sempre più frequentemente agli algoritmi per automatizzare o supportare i processi decisionali. Come riporta l’associazione Privacy Network nel suo Osservatorio Amministrazione Automatizzata, alcuni esempi sono la pianificazione urbana, l’assistenza sociale, il welfare e l’assegnazione di sussidi, il rilevamento di frodi, l’assegnazione di cure sanitarie e la gestione della sicurezza da parte delle forze dell’ordine. Si tratta di una tendenza diffusa che, pur rispondendo a motivazioni ed esigenze diverse, origina dall’idea di semplificare e ridurre i costi delle pratiche pubbliche.
Anche in Italia il coinvolgimento di software e sistemi automatizzati si sta incrementando: i processi di trasformazione digitale sono in aumento, e la digitalizzazione è uno degli assi strategici del Piano Nazionale di Ripresa e Resilienza (Pnrr).
Ho intervistato Diletta Huyskes, responsabile del dipartimento Advocacy & Policy di Privacy Network e dottoranda in Sociologia all’Università degli Studi di Milano. I suoi studi sull’intelligenza artificiale e le nuove tecnologie da una prospettiva etica e politica si concentrano sul potenziale aumento delle disuguaglianze e l’uso di algoritmi e software per automatizzare i processi decisionali nella sfera pubblica.
Cosa rappresenta la decisione del governo di eliminare il Ministero dell’innovazione tecnologica e digitale?
30 miliardi del Pnrr sono destinati alla digitalizzazione della pubblica amministrazione, è la seconda area con più fondi del Piano. Il fatto di aver eliminato il Ministero rappresenta un passo indietro dal punto di vista nazionale. Evidentemente, per la maggioranza non si tratta di temi con una loro importanza verticale di cui occuparsi in questa legislatura, ma programmi trasversali ai singoli ministeri. Ci sarà un’atomizzazione del tema, una frammentazione totale tra Ministeri come quello dell’Interno o della Pubblica Amministrazione, senza un coordinamento generale e delle linee guida: non basta un sottosegretario alla Presidenza del Consiglio. Quello che sento dirmi spesso è che il come garantire i diritti digitali delle persone non sia una priorità per il Paese ed è anche ovvio che con tutte le emergenze in corso non sia in cima alle priorità. Per questo il Ministero serve, perché con una competenza specifica potrebbe pensare solo a quello. E ce ne sono eccome di cose a cui pensare: ero già preoccupata con lo scorso governo, con il pacchetto digitale europeo (norme come il Digital Services Act e il Digital Markets Act) e il regolamento sull’intelligenza artificiale in arrivo, di cui nessuno in Italia si sta occupando.
Perché secondo te questi temi legati al digitale non vengono percepiti come “politici” ma quasi legati a un concetto di progresso inesorabile slegato da processi gestiti dallo Stato?
Ci sono varie motivazioni secondo me, ma la più importante di tutte è che non si percepisce l’impatto che può avere sulle persone, sulle imprese e sulla società in generale. Abbiamo un enorme problema di narrazione intorno a questi problemi: siamo l’unico paese d’Europa tra quelli che studio che trattano temi come l’automazione della pubblica amministrazione dal solo punto di vista del guadagno imprenditoriale e degli investimenti industriali, al limite della ricerca che però difficilmente riusciamo a mettere a terra. Per fortuna in Italia non è ancora successo niente di così grave che abbia avuto un impatto significativo sulla vita delle persone e che ci abbia costretti a parlare di automazione e digitalizzazione, cosa avvenuta a esempio in Olanda. Ma il messaggio è: possiamo prevederlo, abbiamo il dovere di occuparcene prima e prevenire problemi del genere.
Quali sono alcuni esempi di come l’automazione dei processi decisionali nella sfera pubblica possa essere pericolosa?
Come accennato prima, nei Paesi Bassi venne fuori uno scandalo legato a un sussidio dato dal governo alle famiglie per la crescita dei figli. Per oltre sette anni la pratica di assegnazione fu in parte delegata a una procedura informatica che, in base a dei criteri di rischio individuati dal governo e dall’autorità fiscale, doveva individuare dei profili di richiedenti a rischio di “frode”. Nel gennaio 2021 è stato rivelato che ciò portò a accusare ingiustamente di frode più di 35.000 famiglie olandesi e il primo ministro Rutte si dimise per questo, pochi mesi prima delle elezioni. Nel corso di questi anni l’autorità fiscale decise che queste famiglie avevano richiesto il sussidio in modo fraudolento chiedendo il risarcimento dei fondi elargiti e causando a molte famiglie la bancarotta, la perdita del lavoro o della casa, generando una gigantesca crisi sociale. Il punto è che fu il governo a inserire come nei criteri di progettazione di questo software il fatto che avere una doppia nazionalità o avere un basso reddito fossero considerati come fattori di rischio, la procedura automatizzata ha imparato negli anni ad attuare queste direttive. Si è trattato di un caso di inimmaginabile razzismo sistemico codificato in un algoritmo, dove l’autorità fiscale applicava questa procedura senza conoscerla.
Quello che vediamo con Privacy Network è che quando una procedura pubblica viene automatizzata viene data una fiducia enorme a questi processi, portando a una deresponsabilizzazione completa personale. In Spagna un algoritmo per prevedere il rischio di reiterazione della violenza di genere produceva delle raccomandazioni che venivano accettate acriticamente dalla polizia il 95% delle volte, senza controlli ulteriori. Questo mostra una fiducia incondizionata nell’output di sistemi, un fatto problematico e potenzialmente dannoso per questioni di responsabilizzazione e trasparenza. In questo caso, una donna senza figli veniva automaticamente considerata meno a rischio, e quindi le venivano assicurate a prescindere meno protezioni.
Come nasce il progetto di Privacy Network?
Privacy Network è un’associazione no-profit nata nel 2018 per sensibilizzare alla protezione dei dati, facendo divulgazione su quanto sia importante la cultura della privacy e un uso responsabile della tecnologia, successivamente si è ampliata perché si è resa conto delle varie potenziali applicazioni e ricadute, a esempio, nel team di advocacy abbiamo deciso di creare l’Osservatorio Amministrazione Automatizzata, una panoramica degli algoritmi e dei processi automatizzati usati in Italia dalle pubbliche amministrazioni e dal governo. Per assicurarsi che questo processo avvenga con trasparenza e con regole chiare su quali dati vengano utilizzati, noi mandiamo richieste di accesso alle pubbliche amministrazioni, per ottenere informazioni difficili da trovare e consultare. Quando riusciamo a ottenere le informazioni, cosa che avviene di rado, le pubblichiamo sull’Osservatorio per fare una mappatura dei processi automatizzati allo scopo di aumentare la trasparenza e facilitare un dibattito pubblico. L’obiettivo è la creazione di un framework nazionale in cui definire chiaramente i principi etici secondo cui devono essere creati i sistemi algoritmici.
I processi di automazione rischiano di accentuare le disuguaglianze di genere?
Questi processi rischiano di perpetrare disuguaglianze che sono sempre esistite, riproducendo quelle che già presenti nella società, utilizzando dati discriminanti, dati di genere mancanti, riproducono discriminazioni su più livelli che esistono già nella società, non solo quelle di genere. Il problema è che oltre a perpetrarle rischiano di amplificarle, se nella progettazione di un algoritmo venisse inserito un pregiudizio, dando a esempio per scontato che le donne lavorino meno o debbano stare dietro ai figli, non si tratterebbe più di un dipendente amministrativo che prende una decisione sbagliata, ma di un software che in un attimo applica su tutte le persone che vengono fatte rientrare in una certa categoria.
Ci sarebbe anche un problema nello stabilire di chi sarebbe la responsabilità?
Dal punto teorico sarebbe abbastanza lineare, secondo l’articolo 22 del Gdpr (Regolamento generale sulla protezione dei dati): “L’interessato ha il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona”.
Sia in Italia, che si è espressa con delle sentenze, sia in Europa, non si può utilizzare un processo automatizzato senza un controllo umano, ma fino a che le cose non vanno bene questa cosa non si viene a sapere, lo abbiamo visto nel caso olandese, dove le responsabilità dello Stato, arrivato a discriminare delle persone violando i loro diritti fondamentali, sono piuttosto chiare. Spesso ci sono zone grigie in cui non viene fatto sapere a che livello si automatizzano certe pratiche.
Come scritto nel Manifesto dell’Osservatorio: “tali sistemi impattano considerevolmente l’intero impianto sociale sia perché parte del servizio pubblico e quindi sufficientemente meritevole di fiducia, sia perché si tende ad attribuire all’output decisionale algoritmico un carattere di imparzialità e accuratezza tecnica. Al contrario, gli algoritmi dovrebbero essere considerati come strumenti di supporto, ausiliari al funzionamento della cosa pubblica e non dovrebbero mai sostituire le decisioni umane e il giudizio discrezionale”.
