Intelligenza artificiale: l’algoritmo anti-frode viola i diritti umani

Quando tra lo stato sociale e i suoi diretti beneficiari ci si mette di mezzo un algoritmo, c’è il rischio che alcuni cittadini diventino dei “sorvegliati speciali”. Questo è quanto successo secondo il tribunale distrettuale dell’Aia, in Olanda, che lo scorso 5 febbraio ha imposto al governo di sospendere l’utilizzo di Syri (System Risk Indicator – Sistema per l’Indicazione del rischio), un programma usato per valutare le richieste di sussidio.

«Si tratta di una chiara vittoria per che vede nella digitalizzazione delle prestazioni sociali una minaccia per i diritti umani», ha commentato il Relatore speciale delle Nazioni Unite sulla povertà estrema e i diritti umani, Philip Alston.

E ancora: «Questa decisione costituisce un importante precedente: è una delle prime volte al mondo che un tribunale inibisce l’utilizzo, da parte di uno Stato, dell’intelligenza artificiale per tutelare i diritti umani dei suoi cittadini».

Leggi anche:
• Gdpr: il nuovo trattamento dei dati personali e la privacy nell’Ue
• Welfare digitale: quando la tecnologia minaccia i diritti

Intelligenza artificiale nella pubblica amministrazione: la denuncia dell’Onu

Lo scorso settembre era stato lo stesso Alston a fornire al tribunale dell’Aia un’analisi dettagliata sulle potenziali violazioni dei diritti umani derivanti dall’utilizzo di Syri. Secondo il Relatore speciale, l’algoritmo che governava il sistema discriminava i membri più poveri della società olandese, oltre a minare il loro diritto alla privacy e alla previdenza sociale.

L’azione è stata portata avanti da una coalizione di ong che si occupano di welfare e diritti digitali, tra cui il Public Litigation Project e Privacy First. A questa hanno poi aderito anche i cittadini interessati e insieme hanno fatto causa allo stato olandese nel 2018, sostenendo che Syri violava le norme regionali e internazionali sui diritti umani.

Applicazioni pratiche: come funziona l’algoritmo di Syri

Syri è un sistema di welfare digitale anti-frode, sviluppato nel 2014 dal ministero degli Affari sociali e dell’occupazione, capace di prevedere la probabilità di un individuo di truffare lo Stato, sulla base di dati precedentemente raccolti e analizzati per creare dei “profili di rischio”.

I calcoli di Syri attingono a vasti gruppi di dati personali e sensibili raccolti da varie agenzie governative: dai registri delle assunzioni, alle informazioni sui sussidi già richiesti, fino ai debiti personali e all’istruzione. Quando il sistema definisce un individuo come “a rischio di frode” avvisa l’agenzia governativa competente, che ha fino a 2 anni per aprire un’indagine.

Diritto alla privacy e interesse pubblico: la decisione dei giudici olandesi

La corte dell’Aia ha riscontrato che il governo olandese non è riuscito a trovare un equilibrio tra il diritto alla privacy e l’interesse pubblico e che l’uso di Siry è stato sproporzionato rispetto all’obiettivo che si cercava di raggiungere. Attraverso l’algoritmo anti-frode, interi quartieri e i loro abitanti sono stati presi di mira e spiati digitalmente, senza alcun sospetto concreto di illeciti individuali.

Iscriviti alla newsletter di Osservatorio Diritti

Profilazione discriminatoria degli utenti: il tema dell’intelligenza artificiale selettiva

Oltre alla raccolta di dati sensibili, senza il consenso dei diretti interessati, l’altro aspetto ritenuto decisivo dai giudici è stata la profilazione degli utenti. Ad essere raccolti, infatti, non erano le informazioni personali di tutti i cittadini olandesi, ma solo di quelli a basso reddito, ritenendoli per questo più propensi a commettere frodi fiscali.

Per questo, quando il tribunale dell’Aia ha ordinato l’immediata sospensione di Syri, lo ha fatto citando non solo la legge europea sulla privacy, ma anche quelle sui diritti umani, poiché si tratta di un sistema che attua la discriminazione in base a criteri come ricchezza ed etnia.

Leggi anche:
• Software spia, le nuove armi africane
• Sicurezza e privacy: il sottile confine dove vengono spiati gli attivisti

I rischi dell’intelligenza artificiale

Syri non è un caso isolato, ma fa parte di una tendenza globale più ampia di integrazione dell’intelligenza artificiale nell’amministrazione delle prestazioni sociali e di altri servizi essenziali.

Il problema, per Alston, è che queste tecnologie basate sui dati sono spesso implementate senza una consultazione significativa con i beneficiari delle prestazioni sociali o i cittadini in generale.

Quando il digitale diventa obbligatorio

A ottobre era stato lo stesso Relatore speciale a denunciare nel suo ultimo rapporto su “Povertà estrema e e diritti umani” i rischi che corrono gli stati in cui le prestazioni sociali si stanno trasformando da digital by choice (digitale per scelta) in digital only (digitale per forza). Un’evoluzione spacciata come progresso, ma che spesso non solo ha come conseguenza la possibile violazione della privacy, ma anche quella di creare delle barriere d’accesso alla previdenza sociale.

«Penso a quelle persone che devono pagare prezzi elevati per ottenere l’accesso a Internet, o che devono percorrere lunghe distanze o assentarsi dal lavoro, o appoggiarsi a strutture pubbliche, o che, per età o competenze, hanno bisogno del supporto di amici, parenti e talvolta anche di estranei», scrive Alston nel rapporto.

Leggi anche:
• Massacro di Srebrenica: Olanda condannata

La distopia del welfare digitale

La conclusione a cui arriva il Relatore speciale è preoccupante:

«L’era della governance digitale è alle porte. L’irresistibile attrazione dei governi di andare in questa direzione è nota, ma voglio mettere in evidenza il grave rischio di inciampare, come zombie, in una distopia del welfare digitale».

Per questo la sentenza Syri è ritenuta dagli esperti una pietra miliare. Poiché segna l’inizio della resistenza basata sui diritti contro l’avanzare di un nuovo Grande Fratello che sta trasformando i cittadini in “sorvegliati speciali”.  Anche se lo Stato olandese può ancora fare appello alla sentenza del tribunale, Alston è fiducioso che la decisione sia già un punto di svolta: «Prevedo che questo giudizio sarà un campanello d’allarme per i politici – e per chi fino ad oggi ha dormito – non solo nei Paesi Bassi, ma in molti altri paesi in cui i governi stanno sperimentando la digitalizzazione del welfare».