Il 28 febbraio 2026, primo giorno dell’operazione Epic Fury, un missile ha colpito la scuola elementare Shajareh Tayyebeh di Minab, nell’Hormozgan iraniano. Il tetto è crollato durante l’orario di lezione. I morti accertati sono centocinquantasei: centoventi bambini, ventisei maestre, sette genitori, un autista di scuolabus, una tecnica di farmacia. Le indagini indipendenti indicano un missile statunitense. Il Pentagono non ha chiuso la propria inchiesta; Israele nega di aver operato in quell’area.
Nella lista dei bersagli, quell’edificio risultava una fabbrica o un deposito di armi.
La tentazione, davanti a una cosa del genere, è raccontarla come la storia di una macchina che ha deciso di uccidere: l’intelligenza artificiale militare che sfugge di mano. È una storia che conosciamo, l’abbiamo letta cento volte, e ha il vantaggio di essere spaventosa nel modo giusto: il modo che ci lascia dalla parte degli umani. Ma non è quello che è successo, e la versione vera è peggiore.
Il filtro che nessuno aveva progettato
Il sistema impiegato in quella campagna — Maven Smart System, fornito al Dipartimento della Difesa da un’azienda privata — è capace di produrre circa mille target packages in un’ora. Mille dossier di bersaglio: coordinate, identificazione, valutazione dell’edificio, stima dei danni collaterali. In sessanta minuti.
Non esiste una catena di revisione umana che regga quel ritmo. Non ne esiste una in nessun campo.
Storicamente, l’analisi di intelligence era lenta. Verificare che un capannone fosse un capannone e non una scuola richiedeva giorni: fotografie, incroci, qualcuno che telefonasse a qualcun altro. Quella lentezza era un limite operativo, un fastidio, una cosa di cui i comandanti si lamentavano. Ma faceva anche un secondo lavoro, che nessuno le aveva assegnato: filtrava. Il costo della verifica era così alto che le cose sbagliate, statisticamente, non arrivavano fino in fondo.
Il punto non è il volume. Il punto è il rapporto fra il costo di produrre un’asserzione e il costo di verificarla. Verificare è sempre costato di più — Brandolini lo formulò per le sciocchezze in rete, ma vale per qualunque affermazione: smontarne una richiede un ordine di grandezza in più dell’energia che è servita a metterla insieme. Quello che è cambiato negli ultimi tre anni è che il costo di produzione è crollato a zero mentre quello di verifica è rimasto esattamente dov’era, perché è ancorato alla velocità di lettura di un cervello umano, che non si muove dai tempi di Gutenberg.
Il rapporto è passato da uno a dieci a uno a diecimila. Nessuno ha abrogato una regola, nessun parlamento ha votato niente, e però ogni salvaguardia che poggiava sulla lentezza del produrre è caduta.
Vale per la peer review, che filtra anche perché scrivere un articolo scientifico è lungo. Vale per la discovery nei processi civili, che funzionava perché produrre documenti costava. Vale per il vecchio gatekeeping editoriale, che teneva perché stampare era caro. Nessuno di questi meccanismi era stato progettato come filtro. Erano attriti di produzione che facevano da filtro per effetto collaterale — e siccome nessuno li aveva mai messi per iscritto come filtri, nessuno si accorge di quando smettono di esserlo.
Diluire, oppure saltare
C’è una differenza meccanica che vale la pena tenere ferma, perché spiega la forma dell’errore.
Nei sistemi di attenzione artificiale, quando l’input cresce oltre una certa misura, il peso si diluisce: ogni elemento riceve meno considerazione, la qualità degrada in modo continuo, ma tutto viene comunque attraversato. (Non è del tutto vero — i modelli a contesto lungo mostrano anche loro dei buchi posizionali, tendono a perdere quello che sta in mezzo — ma come approssimazione tiene.)
L’attenzione umana istituzionale non si diluisce. Campiona. Salta. Messo davanti a un carico che non può reggere, un ufficio non guarda tutto un po’ meno bene: guarda alcune cose e non ne guarda altre, e non sa quali. Il salto non lascia traccia dall’interno. La procedura, nel frattempo, continua a produrre il suo verbale, la sua firma, la sua casella spuntata.
Minab non è stato un errore di valutazione. È stato un campionamento con la firma sopra.
Il rumore che non sembra rumore
Qui arriva la parte che mi interessa di più, e che secondo me viene detta male quasi ovunque.
Si dice che l’intelligenza artificiale produca rumore. È una parola rassicurante, perché il rumore in senso tecnico si annuncia: è irregolare, incoerente, riconoscibile, e sappiamo filtrarlo da un secolo. Ma quello che esce da questi sistemi non ha nessuna delle proprietà del rumore. Ha la fluidità, la struttura, la forma della citazione, l’aria di essere stato controllato. Ha tutti i marcatori superficiali della verifica, senza la verifica.
Non è degrado del rapporto segnale/rumore. È lo sganciamento dei segnali di affidabilità dall’affidabilità.
Ogni euristica che usiamo per decidere a cosa dedicare attenzione — è scritto bene? è argomentato? cita fonti? ha il formato giusto? — era una proxy a basso costo per una cosa sola: la fatica che qualcuno ci aveva messo. Funzionava perché la fatica era scarsa e non si poteva simulare. La fatica ha smesso di essere scarsa. Le proxy sono rimaste lì, ancora perfettamente leggibili, e non misurano più niente.
Il che significa che il collasso non avviene allo stadio della verifica. Avviene prima, allo stadio del triage: nel momento in cui decidiamo che cosa merita di essere verificato. Quel filtro lì è già saltato, e non ce ne siamo accorti perché continua a restituire risposte dall’aria sensata.
La soluzione che viene proposta con più naturalezza — far controllare l’AI dall’AI — non chiude il buco. Moltiplica la portata da entrambi i lati, ma il controllore eredita modalità di errore correlate con il produttore: due sistemi addestrati su materiale simile sbagliano sugli stessi casi. Il valore del revisore umano non era la sua intelligenza superiore. Era l’indipendenza statistica, ed è esattamente la cosa che si perde.
Reale prima che leggibile
Si può essere tentati di ridurre tutto a una questione di proprietà: questa roba sta in mano a un’azienda privata che la vende a un governo, mentre le bombe atomiche appartengono agli Stati. È un’obiezione che non regge alla storia. Le bombe atomiche le hanno sempre costruite le aziende private — la DuPont progettò e gestì gli impianti per il plutonio chiedendo un compenso simbolico di un dollaro, per non farsi dare del profittatore di guerra; la Union Carbide mandava avanti K-25 a Oak Ridge; e ancora oggi i laboratori nazionali americani sono strutture pubbliche affidate a consorzi privati.
Quello che gli Stati non avevano mai ceduto sono tre cose: la custodia fisica dell’ordigno, l’autorità di lancio, e — qui sta il punto — l’analisi che produce il bersaglio. Il privato fabbricava l’oggetto; il giudizio su dove puntarlo restava dentro strutture pubbliche, con funzionari che ne rispondevano di persona. Con i sistemi di targeting algoritmico si esternalizza lo strato epistemico, non quello manifatturiero. È un confine diverso, e attraversarlo pesa molto più che appaltare una catena di montaggio.
Ma nazionalizzare il fornitore non avrebbe salvato la scuola di Minab. Non è successo perché il software era privato. È successo perché la velocità aveva superato la verifica, e nessuno degli strumenti con cui misuriamo se un’organizzazione sta funzionando è in grado di registrare quel sorpasso. I verbali erano in ordine. Le approvazioni c’erano tutte. Il sistema, letto dai suoi stessi indicatori, stava funzionando benissimo.
È questa la forma che prendono adesso le cose che ci cadono addosso: diventano reali molto prima di diventare leggibili. Vale per una fragilità finanziaria, vale per un consenso politico che si sta rompendo, vale per una catena di comando militare. Lo scarto fra i due momenti — fra quando una cosa è già vera e quando qualcuno riesce finalmente a vederla — è lo spazio in cui succede tutto il danno.
E dunque la strada, se ce n’è una, non è tecnica. È rimettere un costo sull’asserzione: provenienza tracciabile, identità vincolata, responsabilità legale, reputazione messa in gioco da qualcuno che ha effettivamente qualcosa da perdere. Reintrodurre a mano la scarsità che l’attrito ci regalava gratis. È una soluzione economica a un problema che tutti stanno trattando come informatico, ed è probabilmente il motivo per cui non sta arrivando.
Nel frattempo, sul modulo di Minab, alla voce che chiedeva se qualcuno avesse guardato, la risposta era sì.