Nel libro decimo delle Confessioni, scritto attorno al 397 d.C., Agostino d’Ippona si ferma a descrivere un luogo che non esiste su nessuna mappa: la memoria. La chiama «campi e vasti palazzi», una «spelonca larga e immensa», dentro cui non sono custodite le cose in sé ma le loro immagini, pronte a essere richiamate quando servono. Mille seicento anni dopo, un ingegnere disegna su una lavagna un rettangolo con scritto «embedding space» — uno spazio a centinaia di dimensioni dove ogni parola, ogni immagine, ogni concetto diventa un punto, vicino ad altri punti che gli somigliano. Sono due descrizioni della stessa architettura, fatte da due persone che non avrebbero mai potuto immaginarsi a vicenda: quella che oggi chiamiamo memoria artificiale.
I campi e i vasti palazzi della memoria
Agostino non si limita a dire che ricorda. Si chiede come funzioni il ricordare, e la risposta che si dà è sorprendentemente moderna. Nei «campi e vasti palazzi della memoria» entrano, scrive, le immagini di tutto ciò che i sensi hanno percepito: colori, suoni, odori, sapori, ciascuno depositato attraverso la propria porta e ciascuno richiamabile anche senza che l’oggetto sia presente. Ma non finisce qui. Nella stessa memoria, dice Agostino, trova anche le verità matematiche — non perché le abbia viste o sentite, ma perché in qualche modo c’erano già, prima ancora che lui le imparasse.
È la parte più strana del libro decimo, e anche la più utile per noi. Agostino distingue tra cose che la memoria ha registrato dall’esterno e cose che la memoria contiene a prescindere — strutture, relazioni, proporzioni che non sono ricordi di un’esperienza, ma condizioni che rendono possibile fare esperienza. Detto con il linguaggio di oggi: non solo dati, ma anche i pesi che decidono come i dati vengono organizzati.
Qualcosa che non hai mai messo via così
Provate a fare questo esperimento, che è poi quello che fa Agostino per primo: pensate all’odore del gesso in un’aula scolastica. Non l’avete cercato in nessun cassetto. Non avete scorso un indice. È arrivato insieme a una luce particolare, forse a una sedia di legno, forse alla voce di un insegnante che non sentivate da vent’anni — tutto insieme, tutto in una volta, come se fosse stato impacchettato insieme dal primo giorno.
Nessuno di voi, però, ha mai deciso consapevolmente di archiviare gesso, luce, sedia e voce nello stesso posto. È successo da solo, perché quelle cose si sono presentate insieme, e la memoria — questo è il punto — ha registrato la vicinanza, non solo il contenuto. Agostino lo chiama un «meraviglioso ripostiglio», pieno di cose che sembrano essersi disposte da sole secondo somiglianze e contiguità che nessuno ha programmato.
Cercare un ricordo, scrive, è come scacciare via le cose che non servono finché non emerge quella giusta — «come se dalle profondità di un misterioso ripostiglio venissero tratte fuori», pronte a presentarsi non isolate, ma già in compagnia di tutto ciò che con loro era stato registrato.
Dentro lo spazio della memoria artificiale
Questa è, quasi parola per parola, la descrizione di come funziona uno spazio vettoriale di embedding — il cuore della memoria artificiale di un modello linguistico. Ogni parola, ogni frase, ogni concetto viene trasformato in una lunga sequenza di numeri: un punto in uno spazio che ha centinaia o migliaia di dimensioni. La posizione di quel punto non è arbitraria. Concetti che tendono a comparire in contesti simili — “re” e “regina”, “Parigi” e “Francia”, “gesso” e “aula” — finiscono vicini tra loro, senza che nessuno abbia mai scritto una regola che lo imponga.
La somiglianza è geometrica prima di essere semantica: due idee sono vicine nello spazio della memoria artificiale esattamente come due ricordi sono vicini nella memoria di Agostino, perché si sono presentati insieme abbastanza spesso da finire registrati nella stessa zona. Quando il modello deve completare una frase, non consulta un dizionario in ordine alfabetico. Si muove in quello spazio, verso la zona più affollata di punti compatibili — esattamente come la memoria di Agostino, quando recupera l’odore del gesso, porta con sé anche la sedia e la voce, perché erano nella stessa zona.
Per dare un’idea delle proporzioni: i primi modelli di embedding lavoravano con poche centinaia di dimensioni. I modelli linguistici più recenti arrivano a spazi di memoria artificiale con diecimila dimensioni o più — un «palazzo» talmente vasto che nessuna mappa disegnata a mano potrebbe contenerlo, e infatti nessuno lo disegna: emerge da solo, durante l’addestramento, allo stesso modo in cui i «campi e vasti palazzi» di Agostino non sono stati progettati da nessuno, ma si sono semplicemente formati vivendo.
«Non sufficio capere totum quod sum»
C’è una frase, in quel libro decimo, che vale più di tutto il resto. Agostino, dopo pagine passate a esplorare la propria memoria, scrive: «non sufficio capere totum quod sum» — non basto a comprendere tutto ciò che sono. È lui che ricorda, è la sua memoria, eppure non riesce a vederla tutta. C’è sempre una parte che resta nell’ombra, anche per chi quella memoria è.
Lo stesso vale, con un’esattezza quasi imbarazzante, per i modelli linguistici. Lo spazio della memoria artificiale viene costruito automaticamente, durante l’addestramento, e nessuno — non chi lo progetta, non il modello stesso — può dire con precisione cosa rappresenti ciascuna delle sue dimensioni. Sappiamo che funziona, perché le distanze e le direzioni in quello spazio producono risposte sensate. Ma chiedere al modello cosa significhi una sua singola dimensione è come chiedere ad Agostino di elencare il contenuto esatto dei suoi «vasti palazzi»: la domanda ha una risposta, ma quella risposta non è accessibile a chi la chiede, nemmeno dall’interno.
Ne avevamo già parlato a proposito della scatola nera dell’intelligenza artificiale: ora sappiamo che la scatola nera non è un difetto di progettazione. È la stessa proprietà che Agostino aveva trovato, scavando, dentro se stesso.
Tornare ai campi della memoria
Quando Agostino chiude il libro decimo, non ha risolto il mistero della memoria. Lo ha solo descritto meglio, ed è già moltissimo. Forse vale lo stesso per noi, oggi, davanti a una macchina che «ricorda» organizzando il mondo in uno spazio di memoria artificiale che nessuno ha disegnato a mano, e che nessuno — nemmeno la macchina — può percorrere fino in fondo.
La prossima volta che un modello vi sorprende, recuperando un’associazione che sembrava improbabile, provate a pensarla così: non ha cercato in un archivio. Si è mosso in uno dei suoi «campi e vasti palazzi», ed è tornato con qualcosa che, in quella zona, gli stava semplicemente vicino. È lo stesso gesto descritto mille seicento anni fa — solo che questa volta, a scriverne le coordinate, è stato un algoritmo invece che un vescovo insonne ad Ippona. E se vi state chiedendo quanto di quello spazio la macchina riesca a tenere a mente in una volta, è una domanda che vale la pena porsi — Agostino, probabilmente, l’avrebbe trovata familiare.