Si chiama black box, scatola nera: è uno dei concetti chiave per capire i limiti dell’intelligenza artificiale di oggi, e parte da una storia vera.
Nel 2019 un imprenditore americano, David Heinemeier Hansson, scopre che la sua carta di credito Apple gli concede un limite venti volte superiore a quello della moglie, nonostante lei avesse un punteggio di affidabilità creditizia più alto, dichiarassero le tasse insieme e vivessero nello stesso stato con lo stesso patrimonio. Hansson scrive un post pubblico, la storia diventa virale, interviene anche Steve Wozniak raccontando un caso identico con sua moglie. Goldman Sachs, la banca che gestiva la carta per conto di Apple, viene investita da un’inchiesta del regolatore finanziario di New York. La risposta dell’azienda è, in sostanza, che l’algoritmo non guarda al genere e quindi non può discriminare. Ma nessuno, né Goldman Sachs né Apple, è stato in grado di spiegare nel dettaglio perché, in quel caso specifico, il sistema avesse deciso così. Non per reticenza: semplicemente, il modello che assegna i limiti di credito è troppo complesso, troppo stratificato, per essere ricondotto a una spiegazione lineare del tipo “ha deciso X perché Y”.
Casi simili si moltiplicano in ambiti diversi. Negli Stati Uniti, algoritmi usati nei tribunali per valutare il rischio di recidiva di un imputato hanno mostrato pattern che penalizzano in modo sistematico le persone afroamericane, senza che nessuno avesse “programmato” quel pregiudizio: era nei dati storici su cui il sistema aveva imparato. In ambito medico, software che analizzano immagini diagnostiche raggiungono in alcuni casi un’accuratezza superiore a quella dei radiologi umani, ma quando sbagliano – e capita – i medici non sempre riescono a capire su quali elementi dell’immagine il sistema abbia basato il proprio giudizio. E sulle piattaforme social, contenuti vengono rimossi o “shadowban-nati” da sistemi di moderazione automatica, e chi li ha pubblicati riceve spesso solo un codice di errore generico, perché nemmeno chi gestisce la piattaforma può ricostruire con certezza quale combinazione di segnali abbia fatto scattare la decisione.
Cos’è davvero la black box dell’intelligenza artificiale
Questo è il problema della black box dell’intelligenza artificiale, della scatola nera: non è che le aziende nascondano deliberatamente il funzionamento dei loro sistemi – anche se a volte lo fanno, per ragioni commerciali. Il punto più inquietante è un altro: anche quando c’è la massima trasparenza e la massima buona volontà, chi ha progettato il sistema spesso non sa spiegare perché, in un caso specifico, sia uscito un determinato output.
Dentro questa black box non esiste alcuna “regola” scritta da un programmatore che si possa leggere. I modelli di apprendimento automatico più potenti – le reti neurali profonde basate su architetture transformer – funzionano regolando miliardi di parametri numerici durante l’addestramento, fino a trovare una configurazione che produce risultati statisticamente buoni. Ma quella configurazione non corrisponde a nessuna “regola” che un essere umano possa leggere e capire. È un po’ come se qualcuno avesse trovato, per tentativi, la combinazione esatta di migliaia di manopole che fa funzionare una macchina – senza che nessuno sappia cosa faccia ciascuna manopola.
L’oracolo di Delfi: un parallelo antico per un problema nuovo
C’è un parallelo storico che aiuta a inquadrare il problema della black box, e viene dall’antica Grecia. A Delfi, per secoli, persone di ogni rango – re, generali, cittadini comuni – si recavano al tempio di Apollo per consultare l’oracolo prima di decisioni importanti: una guerra, una colonizzazione, una scelta politica. La Pizia, la sacerdotessa, entrava in una sorta di trance – secondo alcuni studi moderni, dovuta a vapori geologici che risalivano da una faglia sotto il tempio – e pronunciava frasi spesso oscure, ambigue, frammentarie. Erano poi i sacerdoti del tempio a “tradurre” quelle parole in risposte comprensibili, in genere formulate in modo abbastanza vago da poter essere interpretate come corrette qualunque fosse l’esito.
La cosa interessante è che né i sacerdoti né i consultanti avevano accesso al “meccanismo” reale dietro la profezia. I sacerdoti non sapevano cosa succedesse esattamente nella mente della Pizia durante la trance; sapevano gestire il rituale, l’ambientazione, la reputazione del santuario, ma il processo generativo della risposta restava, anche per loro, opaco. Eppure l’oracolo di Delfi è stato per secoli una delle istituzioni più autorevoli del mondo greco. La sua autorità non derivava dalla comprensione del meccanismo, ma dalla fiducia accumulata, dal rituale, dalla reputazione, e dal fatto che non esisteva un’alternativa migliore per affrontare l’incertezza.
Oggi le grandi aziende tecnologiche e i loro modelli di intelligenza artificiale occupano, in molti contesti, un ruolo non troppo diverso da quello dei sacerdoti di Delfi. Producono risposte – un punteggio di credito, una diagnosi, una raccomandazione, una decisione di moderazione – che vengono trattate come autorevoli, a volte vincolanti. Le persone che lavorano in quelle aziende sanno gestire l’infrastruttura, sanno “interrogare l’oracolo” e presentarne le risposte in una forma utilizzabile, ma non hanno accesso diretto e completo al perché di ogni singola risposta. La differenza, rispetto a Delfi, è che oggi questi sistemi non vengono consultati solo nei momenti cruciali e rari, ma in modo continuo, su scala industriale, per milioni di decisioni quotidiane che riguardano persone comuni.
Fiducia, responsabilità legale e bias nascosti
Le implicazioni pratiche di questa opacità non sono astratte. La prima riguarda la fiducia: siamo disposti ad accettare il giudizio di una black box che non possiamo verificare, semplicemente perché in media “funziona meglio” di un essere umano? La seconda riguarda la responsabilità legale: se un algoritmo nega un prestito, rifiuta una domanda di lavoro o sbaglia una diagnosi, chi risponde? L’azienda che ha costruito il modello, quella che lo ha addestrato sui propri dati, quella che lo ha implementato, o nessuno, perché “è colpa dell’algoritmo”? I sistemi legali di molti paesi – inclusa l’Unione Europea con il suo regolamento sull’intelligenza artificiale – stanno cercando di rispondere a questa domanda, ma lo stanno facendo rincorrendo una tecnologia che cambia più rapidamente delle norme che dovrebbero regolarla, un tema che abbiamo già incontrato parlando delle leggi della robotica immaginate da Asimov e di quanto la realtà le abbia superate.
La terza implicazione riguarda i bias nascosti. Un sistema addestrato su dati storici – curriculum di assunzioni passate, sentenze giudiziarie precedenti, prestiti concessi negli ultimi decenni – tende a riprodurre, e talvolta ad amplificare, le discriminazioni già presenti in quei dati, anche se nessuno glielo ha “insegnato” esplicitamente. Il bias non è un bug isolato da correggere: è incorporato nella struttura stessa dell’addestramento, ed è per questo che è così difficile da individuare ed eliminare del tutto.
E qui arriviamo al cuore del problema della “explainability”, della spiegabilità: esiste un intero campo di ricerca che cerca di costruire strumenti capaci di spiegare, almeno in parte, perché un modello ha prodotto un certo output. Ma c’è un rischio concettuale: queste spiegazioni sono spesso ricostruzioni a posteriori, narrazioni plausibili costruite per rendere comprensibile (e accettabile) una decisione già presa, non descrizioni fedeli del processo che l’ha generata. Non troppo diversamente da come i sacerdoti di Delfi “interpretavano” le parole della Pizia: l’interpretazione poteva essere ragionevole, persino utile, ma non era una descrizione di cosa fosse realmente accaduto nella mente della sacerdotessa.
Forse la domanda più scomoda non è tecnica ma filosofica, e riguarda il rapporto fra autorità e comprensione. Per buona parte della storia umana, abbiamo accettato risposte da fonti – oracoli, sacri testi, esperti, istituzioni – il cui funzionamento interno non comprendevamo del tutto, fidandoci di chi le interpretava per noi. L’intelligenza artificiale non inventa questa dinamica: la estende, la velocizza, la rende pervasiva. La domanda aperta è se il tipo di fiducia che storicamente riservavamo a poche fonti rare e solenni possa essere trasferito, senza conseguenze, a sistemi che consultiamo decine di volte al giorno, per decisioni che vanno dal banale al determinante – e se sia possibile, o anche solo desiderabile, continuare a fidarci di un’autorità che nessuno, nemmeno chi l’ha creata, comprende fino in fondo.