Magia e trappole dell'algoritmo predittivo
Salute, soldi, lavoro, sicurezza. Stiamo addestrando le macchine a fare “oroscopi moderni” e personalizzati. La mole di dati che spontaneamente abbiamo donato alla rete sembra liberarci da tanti rischi. Lo sta facendo, ma ne ha creati anche di nuovi, difficili da controllare
Se la tecnologia, ai suoi livelli più sofisticati, è indistinguibile dalla magia, come ci ricorda la terza legge di Clarke, è altrettanto vero che negli anni Ottanta del secolo scorso si è sviluppata la letteratura cyberpunk che della tecnologia ha evidenziato soprattutto gli incubi, gli aspetti deteriori, come l’eccesso di sorveglianza. L’attitudine visionaria degli artisti ci assiste dai tempi di Charlie Chaplin e spesso ha portato rappresentazioni delle realtà future che abbiamo facilmente relegato alla fantascienza. Troppo facilmente, come nel caso di Minority Report, il film che più di tutti ha toccato il tema dell’algoritmo predittivo, infilando sulla scena alcune delle ultime scoperte degli scienziati del MIT di Boston. C’era, nei primi anni del millennio, come c’è oggi, qualcosa di molto difficile da comprendere per il grande pubblico e allora il film rappresentava la predizione come dote sovrannaturale dei precog, che percepivano in anteprima i crimini più cruenti.
Mentre accadeva questo sui set e nelle case editrici, però, il mondo iniziava a riempire il web delle proprie immagini scattate con gli smartphone fino a raggiungere oggi i 40 miliardi di upload. Improvvisamente tutto ha iniziato a diventare smart grazie ai nostri dati rilasciati nella rete senza remora alcuna.
Ventidue anni dopo Minority Report e trenta dopo la fondazione di Amazon, il cui algoritmo predittivo (dei nostri gusti e delle nostre tasche) ha rivoluzionato l’e commerce mondiale, ci ritroviamo oggi con una quantità di dati spropositata e con l’intelligenza artificiale che li sta mettendo in ordine in tanti cassetti infiniti, un grande demiurgo sta producendo realtà alternative, che accanto a enormi vantaggi portano nuovi rischi dai quali è necessario proteggersi.
La polizia predittiva è, come in Minority Report, il sogno di ogni governo "ben ordinato". Ma la violazione dei dati sensibili intacca molti diritti
Se si parla di violazione della privacy per scopi commerciali e pubblicitari, la parte più rischiosa dell’algoritmo predittivo si nasconde in ambiti come quelli della giustizia, della gestione finanziaria e della salute. In primo luogo bisogna quindi conoscere le tipologie di algoritmo e machine learning che si stanno implementando, in ambienti e con riti che talvolta hanno somiglianze inquietanti con l’esoterismo. La ricerca definisce l’ottimizzazione predittiva come un processo decisionale che utilizza l’apprendimento automatico, prevede i risultati futuri e prende decisioni sugli individui in base a tali previsioni. Elementi che nascondono insidie al momento della loro applicazione. Eccone alcune, codificate dall’Agenda Digitale Europea e relative alla sicurezza e al settore amministrativo e giudiziario:
- Predictive policing: consente di identificare le aree geografiche in cui la polizia dovrebbe essere dispiegata a presidio dell’ordine pubblico;
- Welfare allocation: è già in grado di decidere se un richiedente è idoneo per beneficiare dell’erogazione di un servizio pubblico;
- Automated essay grading: utilizza i dati collezionati nel passato per consentire valutazioni nella contemporaneità;
- Traffic prediction: calcola il livello di traffico per stimare l’ora di arrivo;
- Pre-trial risk prediction: raccoglie informazioni pregresse sugli individui per prevedere futuri arresti o contenziosi giudiziari.
Al di là dei tecnicismi, la sintesi è che c’è un grado di pericolosità del processo decisionale automatizzato. Esiste anche nel nostro cervello, intendiamoci, e si chiama bias cognitivo o, in parole realmente più povere, pregiudizio. Prendiamo un caso classico e semplice che spesso è insegnato durante i corsi di giornalismo investigativo:
- Il signor P.M. viene trovato morto nel suo appartamento, al secondo piano di via Taldeitali. Al momento della scoperta non è stato possibile stabilire le cause, se si tratta di omicidio, di morte accidentale o naturale.
- Gli inquirenti non svelano nessuna pista ma i vicini dicono che dalla casa di P.M. si avvertiva spesso un forte odore di marijuana.
- Il giornalista viene poi a sapere che al terzo piano abita A.V., pluricondannato per spaccio di droga ed estorsione.
Dovendo scrivere in fretta l’articolo, il giornalista creerà alcuni collegamenti tra fattori certi per poter scrivere la sua storia così come gli si è creata in testa: il quartiere è malfamato, la vittima era disoccupata e viveva di espedienti, il soggetto residente al piano di sopra non può che essere il primo sospettato e il movente non può che essere legato alla droga.
La definizione esatta del bias è: «Costrutto derivante da percezioni errate, da cui si inferiscono giudizi, pregiudizi e ideologie. I bias sono utilizzati spesso per prendere decisioni veloci e non sono soggetti a critica o giudizio».
Ebbene lo stesso accade, con la capacità di calcolo delle attuali macchine, anche per gli algoritmi.
Ciò che era dunque nato per effettuare indagini di semplice comparazione statistica sulla raccolta di dati rilevati in passato, ha compiuto negli ultimi anni un salto che gli consente di fornire previsioni su ipotetici trend futuri.
Il grado di impatto che questo ha sulla vita delle persone ovviamente cambia a seconda della sensibilità dell’ambito, perché è chiaro che se questa profilazione è prodotta per vendere più pannolini è un conto, se invece deve servire per arrestare qualcuno, tutto cambia.
La polizia predittiva
Alcuni lavori dell’artista Banksy sul tema della sorveglianza.
Negli anni Novanta, il Dipartimento di Polizia di New York diede il via a una politica che ha portato oggi la Grande Mela a essere una delle città più sicure d’America. Nel 2018, gli omicidi erano stati 289 nei cinque distretti cittadini. Il tasso di omicidi, 3,31 ogni 100.000 persone, è il più basso mai rilevato nei 50 anni precedenti.
Andava molto diversamente nel 1990, quando la conta delle persone uccise fu di 2.245, circa 31 ogni 100.000 abitanti (la popolazione tra l’altro è aumentata notevolmente nei 28 anni successivi).
Per rendere questo senso di insicurezza, il New York Times scriveva: «New York sembra già una Nuova Calcutta irta di mendicanti. Criminalità e paura la fanno sembrare una Nuova Beirut. Le strade sicure sono fondamentali, uscire e camminarvi è la più semplice espressione del contratto sociale. Una città che non riesce a tener fede alla sua parte di quel contratto, soffocherà».
Nel 1993, Rudy Giuliani nominò Bill Bratton, un ex poliziotto di Boston, a capo del NYPD. Capì che il suo nuovo dipartimento non si concentrava per niente sulla prevenzione del crimine. Gli agenti pensavano che per fare il loro lavoro i crimini dovevano essere già avvenuti.
La polizia non aveva accesso ai dati, così il dipartimento iniziò a elaborare statistiche. Il consulente Jack Maple inventò l’intelligence tempestiva, ovvero il concetto che per prevenire il crimine erano necessari dati aggiornati in tempo reale. Non era per niente ovvio all’epoca.
Che questo sia stato risolutivo non è dimostrato ma contestualmente all’approccio basato sui dati il crimine è calato. Oggi, se parliamo di sicurezza, gli algoritmi predittivi sono una conseguenza di quell’approccio adottato dal NYPD e da altri enti nel mondo. Si sa però anche che l’assunto per cui un ladro deciderà di non rubare portafogli sulla Trentaquattresima Strada perché sa che la polizia usa l’algoritmo predittivo, non è credibile.
Phillip Atiba Goff del Center for Policing Equity della New York University, alle continue domande di giornali e siti tecnologici sulla reale efficacia di un approccio predittivo per l’azione della polizia, ha risposto in modo lucido: «Gli algoritmi fanno solo quello che diciamo loro di fare». E, dunque, che cosa gli diciamo di fare nell’epoca in cui le forze dell’ordine dispongono di 40 miliardi di foto (ottenute probabilmente in modo spesso dubbio) per costruire identikit e telecamere settate per il più preciso dei riconoscimenti facciali? La tentazione di creare una vera polizia predittiva è stata ed è in parte ancora molto forte. Come testimonia nel libro La tua faccia ci appartiene (in Italia edito da Orville) la giornalista del New York Times Kashmir Hill. Ebbene sì, i troppi pasticci e le troppe cantonate hanno prodotto l’arresto di persone innocenti. La lista degli episodi raccontati da Hill è inquietante e la giornalista ha abbandonato gli smartphone e ora usa un vecchio modello Nokia. Il che la dice lunga sui rischi che dovremo identificare.
L’algoritmo predittivo nell’economia
Laddove è percepito come un aiuto per fare aumentare le vendite di beni e servizi, l’algoritmo predittivo entusiasma gli animi degli imprenditori che non vedono o fingono di non vedere il rischio della manipolazione dei clienti. Perché l’IA predittiva si presenta come una gallina dalle uova d’oro: cosa c’è di meglio che indovinare e prevedere i gusti dei clienti?
La tecnologia c’è, il machine learning è sempre più preciso ma quello che spesso manca alle aziende è la lungimiranza nell’identificare le aree che possono essere migliorate dalla Predictive Analytics.
Questa analisi è senz’altro utile in ambito di CRM (customer relationship management), in attività come campagne di marketing, vendite, customer satisfaction, aftermarket. Lo scopo è analizzare il comportamento dei clienti per determinare come possono reagire a diversi stimoli o per verificare se esistono modelli di comportamento ricorrenti che è possibile sfruttare ai fini di business. È in questo campo che trovano applicazione moltissime tecniche di machine learning come algoritmi di classificazione o di clustering, per segmentare la clientela, effettuare churn-analysis (che misurano il tasso di abbandono di un prodotto o servizio da parte del pubblico), valutare la retention (la variazione percentuale di clienti fidelizzati) o semplicemente di incrementare l’efficacia nelle vendite e nel marketing tramite ottimizzazioni e misure ad hoc. Tutto ciò non preoccupa perché sembra non toccare nel vivo la scelta consapevole del cliente. Eppure possono nascere diverse tematiche etiche, per esempio nella valutazione dell’impatto sulle filiere produttive, sulla loro sostenibilità, sulle scelte di esternalizzare le produzioni in paesi dove i controlli sulla qualità e sullo sfruttamento sono meno stretti.
Un’altra area in cui gli algoritmi predittivi sono efficaci è quella del supporto alle decisioni in contesti di informazione incompleta, nei quali permane un certo grado di incertezza generata dalla scelta umana. Nutriti con dati significativi presi dal passato, gli algoritmi sono infatti in grado di determinare che tipo di azioni hanno avuto successo in passato e di applicare le giuste decisioni ai casi simili che si presentano in futuro. Alcune di queste scelte potrebbero addirittura essere, almeno in parte, automatizzate.
Come nel caso di decidere di scartare o meno un prodotto poiché difettoso. Vi saranno errori, questo è chiaro, nel processo di raffinamento di questa tecnologia verso la perfezione. Saremo in grado di prevedere quali e come trattarli?
Per le aziende che offrono una vasta gamma di prodotti, infine, l’Analisi Predittiva può aiutare a proporre offerte con l’obiettivo di vendere più prodotti allo stesso tempo, azione definita cross-selling, e il miglior esempio è l’offerta di uno smartphone abbinata a un orologio digitale. Con una strategia di up-selling invece si possono portare i consumatori a scegliere i prodotti di maggior valore aggiunto e maggior prezzo.
Il consumatore però dovrà avere la consapevolezza necessaria a valutare davvero il rapporto qualità-prezzo, e questo nel commercio elettronico disintermediato da persone e luoghi di acquisto, non è facile da realizzare.
L’Analisi Predittiva sul comportamento dei consumatori è quindi utile a trovare idee per combinazioni di prodotti, strategie di comunicazione e stagionalità dell’immissione sul mercato. Però c’è un paradosso irrisolto, anche se la potenza crescente di calcolo della macchina potrà risolverlo: le tendenze di consumo sono standardizzabili per popolazione, età, reddito, ma sono anche personalizzabili, acquisendo sempre più dati sensibili, che a loro volta hanno un mercato e i recenti scandali per furto di dati successi in Italia a fine ottobre del 2024, ci devono spingere a rivedere le regole del gioco.
C’è infine l’ambito dei comportamenti fraudolenti da prevenire e quello del risk management: il settore dei servizi finanziari e assicurativi è sicuramente tra i più colpiti e molte società già adottano soluzioni di Analisi Predittiva che identificano le transazioni fraudolente e informazioni fasulle. Quando si parla di gestione dei rischi, l’obiettivo è invece quello di ridurre o eliminare l’esposizione ad eventi che potrebbero danneggiare le imprese. L’Analisi Predittiva in questo caso restituisce le probabilità associate a ciascun fattore di rischio, in modo da permettere l’adozione delle misure più adeguate.
La più sensibile delle previsioni: il rischio salute
Tra le applicazioni degli algoritmi predittivi, quelle studiate per il settore medico puntano decisamente all’obiettivo di migliorare la precisione delle diagnosi e l’efficacia dei trattamenti di particolari patologie. E qui, come del resto in tutte le applicazioni scientifiche che analizzano i dati, il concetto chiave è quello di igiene del dato. Nelle decisioni che riguardano la salute, la giusta selezione e aggregazione dei dati è il primo punto per raggiungere il risultato. Igiene del dato è anche ricerca di oggettività senza esposizione al vizio ideologico di chi può guidarne l’interpretazione. Prendiamo un caso di studio abbastanza frequente ma mai veramente affrontato. Vi sono cliniche private che vantano dati di mortalità dei propri pazienti molto bassi, se messi a confronto con il servizio sanitario pubblico. Quello che non si dice è che queste cliniche non hanno reparti per i malati terminali, come avviene nel pubblico. E così le persone possono essere portate a credere che il privato sia di qualità superiore.
Tuttavia la medicina predittiva ha fatto passi avanti grazie all’ottimizzazione di informazioni genetiche, biomarcatori e dati personali. Oggi prevedere il rischio di sviluppare patologie come malattie cardiache, cancro, diabete e altro è più facile. Si possono così prendere misure preventive o predisporre controlli più frequenti per ridurre il rischio o per diagnosticare la malattia tempestivamente. Dati che vanno nella direzione di fornire ai pazienti consigli e indicazioni specifici al posto di una generica via di prevenzione. Ciò significa che un trattamento può essere considerato appropriato se porta a risultati positivi per quel paziente specifico, anche se potrebbe non essere efficace per una popolazione di pazienti solo apparentemente simile. È chiaro però che questa strada richiede maggiori risorse economiche. Potrà essere per tutti?
L’IA può analizzare grandi quantità di dati clinici e diagnostici per identificare pattern, tendenze e correlazioni. Il modo con cui l’uomo saprà gestire queste potenti innovazioni impatterà quindi sulla possibilità di avere cure efficiaci.
Ecco perché la protezione dai rischi deve al più presto passare da una buona regolamentazione.
Davide Burchiellaro
Deputy Head of Content de Linkiesta, ha lavorato molti anni a Panorama,
ha diretto Marie Claire digital e oggi studia punti di osservazione diversi e filosofici sull’IA.