Quando gli algoritmi diventano armi
Gli esempi non mancano. Algoritmi che regolano la gestione di grandi quantità di dati e che vengono usati come strumenti per prevedere. E che possono avere conseguenze buone o nefaste. Esempi, appunto.
“Le persone che hanno acquistato questo oggetto, hanno acquistato anche quest’altro oggetto”.
Una classificazione suggerisce una previsione: se anche tu hai acquistato il primo oggetto potresti essere interessato a comprare anche il secondo. Oppure: “Le persone che sono fatte come te hanno avuto successo.
Le persone che hanno le tue caratteristiche hanno avuto questo problema”.
Le persone che hanno certe caratteristiche secondo i dati registrati da qualche piattaforma vengono classificate come appartenenti a una categoria: questa classificazione può essere spregiudicatamente usata per suggerire che tutte le persone di quella categoria siano destinate agli stessi successi e insuccessi. “Se sei di pelle nera, se hai vissuto in un quartiere povero, se hai frequentato gente che è finita in prigione, sei un soggetto a rischio di andare in prigione più volte nel corso della vita”: il salto logico è evidente.
Non lo è stato alla polizia americana, almeno fino a quando ProPublica non ha fatto notare questa assurdità pubblicando una storia memorabile.
Di tutto questo Cathy O’Neil ha scritto nel suo primo grande libro Armi di distruzione matematica. Come i big data aumentano la disuguaglianza e minacciano la democrazia.
O’Neil, che ha una formazione matematica, ha mostrato come gli algoritmi abbiano di fatto una funzione di classificazione ma vengano usati per fare previsioni.
Il salto logico è chiaro a chi vuole approfondire: se in una certa situazione in passato ci sono stati certi sviluppi, questo non significa che per tutti i singoli casi in cui ci si trova in quella situazione ci siano in futuro gli stessi sviluppi.
Ma la patina di oggettività che la matematica garantisce alle sue analisi, spesso conduce le persone a lasciare da parte il senso critico.
In generale, gli algoritmi usati per prendere decisioni sono spesso usati nelle organizzazioni umane per trovare consenso intorno alle scelte sulla base della presunta oggettività della matematica usata per leggere ed elaborare con il computer grandi moli di dati.
Ma gli algoritmi, nota O’Neil, non sono mai oggettivi: non lo sono perché comunque usano solo una delle logiche possibili per arrivare alle loro conclusioni e perché i dati sui quali si basano sono quelli disponibili, con tutte le distorsioni che contenevano le logiche che hanno condotto a raccoglierli.
Nel suo nuovo libro, The shame machine, O’Neil si occupa del controllo della “vergogna” come meccanismo di potere. E ricorda che la vergogna è anche il motivo per cui chi non conosce molto la matematica non osa mettere in discussione le previsioni prodotte dagli algoritmi realizzati da specialisti di una disciplina tanto seria e difficile da contraddire.
Gli algoritmi sono regole per trattare i dati e diventano regole sociali attraverso un salto logico.
In Cina, le regole sociali sono controllate matematicamente attraverso l’elaborazione di dati raccolti in rete dalle autorità.
La Commissione europea intende esplicitamente vietare l’uso dei dati e dell’intelligenza artificiale in questo senso, nel suo Artificial Intelligence Act. Ma la strada per liberare la società da forme di potere indebito è ancora lunga.
Sui social network, molto spesso, le regole sociali imposte da “tribù” definite intorno a pensieri convenzionali vengono fatte rispettare attraverso l’uso strumentale della vergogna, in contesti nei quali le forme più violente e dure di polemica sembrano essere valorizzate dagli algoritmi che selezionano quello che le persone vedono con maggiore probabilità.
Per la semplice ragione che le polemiche ingaggiano e nell’economia dell’attenzione pagata dalla pubblicità sono preziose.
In effetti, gli algoritmi di raccomandazione funzionano per chi offre “spazi” pubblicitari: secondo GroupM, le cinque principali piattaforme che raccolgono pubblicità (Google, Facebook, Bytedance, Alibaba, Amazon) hanno ormai conquistato il 53% del budget mondiale; erano al 46% nel 2020; ed erano al 39% nel 2019 (quando al posto di Amazon tra le prime cinque piattaforme c’era ancora Comcast).
Gli incentivi a usare algoritmi che classificano i tipi di utenti delle piattaforme e poi suggeriscono le informazioni cui dovrebbero accedere sono enormi. Ma per le persone costituiscono un potenziale pericolo.
Non solo per le distorsioni cognitive introdotte dall’idea secondo la quale se una persona ha un certo comportamento in rete deve necessariamente gradire un certo contenuto. Ma anche perché questi algoritmi funzionano tanto meglio quanto più mostrano e suggeriscono post “ingaggianti”, cioè, spesso, violenti e polemici.
Ma ad approfittare di questi algoritmi non sono soltanto le piattaforme. O’Neil mostra che ne approfittano tutti coloro che vogliono costruirsi un percorso di potere usando la vergogna come arma.
La vergogna è una forma di dolore. Chi prova vergogna si sente orribile. Ma in relazione a che cosa? Si sente orribile in relazione a una regola della quale altri approfittano per coltivare una condizione di privilegio. “Sei nero, io no”. “Sei obeso, io no”.
Tutte le minoranze, le diversità, e in generale tutte le caratteristiche riconoscibili possono essere trasformate in motivi di vergogna da chi approfitti di norme sociali accettate in una certa “tribù” online e usate come armi, appunto.
C’è chi usa questi meccanismi per il suo micropotere sociale. C’è chi usa questi meccanismi per costruire consenso intorno a partiti politici e movimenti di opinione. E c’è chi usa questi meccanismi per dividere gli avversari nella guerra che la geopolitica attuale induce a condurre tanto online quanto sul campo.
O’Neil suggerisce che ci si può liberare dalla vergogna, criticando le norme sociali in relazione alle quali ci si sente orribili. E si può passare al contrattacco. Come è successo nel caso di #metoo e #blacklivesmatter. Sapendo che ogni conquista di una fetta di potere poi va gestita con senso di giustizia. Perché ogni potere può diventare oppressivo.
Insomma. Gli algoritmi possono diventare armi. E nei social network possono unirsi alle regole sociali per produrre divisioni, privilegi, sofferenze. In questo senso, gli algoritmi non sono altro che privilegi cristallizzati in regole matematiche.
È tempo di costruire media sociali basati su nuovi presupposti. Ma anche di discutere tutte le forme di micropotere basate su regole sociali convenzionali.
Il nuovo libro di Cathy O’Neil aiuta a discutere di questi argomenti. Sapendo che il potere, una volta conquistato, può diventare irrinunciabile. La tentazione degli oppressi a diventare oppressori è sempre in agguato. Di solito è controproducente: alla lunga il potere favorisce i più forti, mentre il senso di giustizia favorisce i più deboli.
