L’entropia della conoscenza: perché l’IA non dimentica e perché dovrebbe

Solomon Shereshevsky aveva un dono straordinario: non dimenticava mai nulla. Poteva ricordare lunghissime sequenze di numeri anche dopo anni, rivivere ogni istante della sua vita con precisione fotografica, richiamare alla mente ogni volto, ogni suono, ogni sensazione. Eppure, questo dono si rivelò essere una maledizione. Sommerso da un oceano infinito di dettagli, Shereshevsky faticava a formare concetti astratti, a generalizzare, a vedere il quadro d’insieme. La sua mente, intrappolata in un archivio infinito di memorie precise, perdeva la capacità di creare connessioni significative.

Questa storia reale ci offre uno spunto di riflessione cruciale nell’era dell’Intelligenza Artificiale. I nostri sistemi IA, progettati per accumulare e preservare ogni dato, ogni interazione, ogni frammento di informazione, non rischiano forse di cadere nella stessa trappola di Shereshevsky?
La dimenticanza, lungi dall’essere un difetto dell’evoluzione, è un processo attivo e sofisticato del nostro cervello. Quando dimentichiamo, non stiamo semplicemente perdendo informazioni: stiamo distillando l’essenza delle nostre esperienze. È come uno chef che riduce un brodo per concentrarne il sapore, eliminando l’eccesso di acqua per ottenere un’essenza più intensa e significativa. Il nostro cervello “riduce” costantemente le informazioni, dimenticando i dettagli superflui per preservare i pattern significativi.

Immaginiamo di dover ricordare ogni singolo caffè che avete bevuto nella vostra vita: il peso preciso della tazzina, la temperatura precisa, la posizione esatta delle vostre dita sul manico. Un tale accumulo di dettagli renderebbe impossibile formare il concetto generale di “bere un caffè”. L’astrazione richiede dimenticanza.
Jorge Luis Borges, nel suo racconto Funes el memorioso, descrive un personaggio dotato di memoria perfetta che “non era molto capace di pensare. Pensare significa dimenticare differenze, generalizzare, astrarre. Nel mondo sovraccarico di Funes non c’erano che dettagli, quasi immediati.” Proprio perché non può dimenticare, Funes non riesce a generalizzare, a creare categorie, a trarre concetti universali; egli è prigioniero della mole infinita di dettagli specifici. Non può pensare un “cane” in generale, perché ricorda ogni singolo cane visto in vita sua in tutte le sue caratteristiche particolari, senza poterli riassumere in un concetto unico. Questa intuizione letteraria trova oggi conferma nelle neuroscienze: la dimenticanza selettiva è fondamentale per la formazione di modelli mentali efficaci del mondo.

L’entropia, in termodinamica, misura il grado di disordine di un sistema. Nell’informazione, potremmo dire che l’entropia misura il grado di “rumore” nei nostri dati (ne abbiamo parlato qui: Come si misura l’informazione e perché è Dio la fonte di ogni dubbio). Paradossalmente, ridurre l’informazione – attraverso una dimenticanza intelligente – può aumentare la comprensione. È il principio del “less is more” applicato alla cognizione.

Per evolvere verso sistemi IA veramente intelligenti, dobbiamo quindi ripensare il nostro approccio all’informazione. Abbiamo bisogno di IA che non si limitino ad accumulare dati, ma che sappiano “digerirli”, distillarli, dimenticare selettivamente. Sistemi che, come il nostro cervello, sappiano distinguere l’essenziale dal superfluo, il pattern dal rumore.
È una sfida che va oltre la tecnica: tocca la stessa definizione di ciò che consideriamo “intelligenza”. La saggezza non sta nell’accumulo di informazioni, ma nella capacità di vedere connessioni significative, di cogliere l’essenziale, di dimenticare ciò che non serve. Come diceva William James (1842-1910), “L’arte di essere saggi è l’arte di sapere cosa trascurare.”

Potremmo dire che in un’epoca in cui la tecnologia ci promette memoria infinita e accesso illimitato all’informazione, forse è il momento di riscoprire il valore dell’oblio. Non come un difetto da correggere, ma come una caratteristica essenziale dell’intelligenza. Perché, paradossalmente, è proprio dimenticando che impariamo davvero a ricordare ciò che conta. Sì, ma lo potremmo dire, ma non lo diciamo. Perché non lo diciamo? Semplice, perché se ne sta parlando e perché i progettisti lo sanno. Per ora le IA, diciamocelo, sono ancora piuttosto grottesche, dimenticano contenuti essenziali e ricordano informazioni inutili. Sono soggetti al fenomeno del “catastrophic forgetting“, dove le reti neurali perdono drasticamente le capacità precedentemente acquisite quando vengono addestrate su nuovi compiti, nel frattempo, se agganciate ai Big Data, possono effettuare connessioni impossibili per noi uomini.

Machine Unlearning

I sistemi di IA devono imparare a “dimenticare” le informazioni obsolete. Proprio come gli esseri umani hanno bisogno di lasciar andare vecchie idee per abbracciare nuove conoscenze, l’IA ha bisogno di meccanismi per aggiornare la propria comprensione sulla base di nuovi dati. Senza questa capacità, l’IA rischia di diventare rigida, bloccata in schemi obsoleti e incapace di tenere il passo con un mondo in continuo cambiamento. Immaginiamo un sistema di IA addestrato con dati finanziari risalenti a dieci anni fa. Se non può “dimenticare” le tendenze di mercato ormai superate, potrebbe fornire raccomandazioni di investimento non più pertinenti.

Il “machine unlearning” è un insieme di tecniche e metodologie studiate per consentire ad un modello di intelligenza artificiale (ad esempio, una rete neurale) di “dimenticare” in modo selettivo i dati con cui è stato precedentemente addestrato. In altri termini, non si tratta solo di cancellare i dati originali dal set di training, ma di intervenire sui parametri interni del modello per far sì che l’informazione incorporata, derivante da quei dati, venga effettivamente rimossa.
Alcune applicazioni sono:

1. Privacy e diritto all’oblio: Se un utente richiede la cancellazione dei propri dati, il machine unlearning potrebbe garantire che il modello non utilizzi più quel contributo informativo.
2. Aggiornamento continuo del modello: Con meccanismi di “disimparare” è possibile mantenere il modello aggiornato al cambiamento dei dati (ad esempio, rimuovendo conoscenze superate o non pertinenti).
3. Riduzione di bias: Se ci si accorge che alcuni dati hanno introdotto un pregiudizio indesiderato, il machine unlearning può aiutare a eliminare l’influenza di quei dati sul modello.

Testi citati nel corpo del testo:

• Borges, J. L. (1942). Funes el memorioso. In Ficciones. Emecé Editores.
• James, W. (1890). The Principles of Psychology. Henry Holt and Company.
• [Artuu.it]. Come si misura l’informazione e perché è dio la fonte di ogni dubbio.
  Libri fondamentali:
• Mayer-Schönberger, V. (2011). Delete: The Virtue of Forgetting in the Digital Age. Princeton University Press.
• Siegel, D. J. (2016). Mind: A Journey to the Heart of Being Human. W.W. Norton & Company.
• Levitin, D. (2014). The Organized Mind: Thinking Straight in the Age of Information Overload. Dutton.
  Articoli scientifici chiave sulle neuroscienze e la psicologia della dimenticanza:
• Richards, B. A., & Frankland, P. W. (2017). The role of forgetting in the evolution and learning of cognitive agents. Nature, 547(7662), 345–347.
• Murayama, K., Miyatsu, T., Buchli, D. R., & Storm, B. C. (2014). Forgetting as a consequence of retrieval: A meta-analytic review of retrieval-induced forgetting. Psychological Bulletin, 140(5), 1383–1409.
• Hardt, O., Nader, K., & Wang, Y.-T. (2013). Why forgetting is just as important as remembering. Neuron, 80(4), 727–739.
  Per l’aspetto IA (apprendimento continuo e catastrophic forgetting):
• French, R. M. (1999). Catastrophic forgetting in connectionist networks. Trends in Cognitive Sciences, 3(4), 128–135.
• Parisi, G. I., Kemker, R., Part, J. L., Kanan, C., & Wermter, S. (2019). Continual lifelong learning with neural networks: A review. Neural Networks, 113, 54–71.
  Fonti accademiche su IA e machine unlearning:
• Ginart, A., Guan, M. Y., Valaint, G., & Zou, J. (2019). Making AI Forget You: Data Deletion in Machine Learning. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019).
• Bourtoule, L., Chandrasekaran, V., Fezza, E., Frederickson, K., Lonjarret, F., Nemitz, M., … & Vasishta, S. (2021). Machine Unlearning. In 2021 IEEE Symposium on Security and Privacy, 463–480.
  Prospettive interdisciplinari (diritto all’oblio e IA):
• Powles, J., & Chaparro, E. (n.d.). How we forgot to forget: The right to be forgotten in the age of AI. [Saggio o articolo non specificato]
• Documenti e atti di convegni da ACM FAT (Fairness, Accountability, and Transparency) e ICAIL (International Conference on Artificial Intelligence and Law) per discussioni su diritto all’oblio e IA.
• Lavori di studiosi del diritto digitale come Sandra Wachter, Brent Mittelstadt e Luciano Floridi sull’applicazione del GDPR all’IA e le implicazioni del diritto all’oblio.
  Riferimenti più ampi sulla gestione dell’oblio digitale e l’IA:
• Mayer-Schönberger, V. (2011). Delete: The Virtue of Forgetting in the Digital Age. Princeton University Press. (Già citato sopra)
• Documentazione di policy di organizzazioni come il World Economic Forum o l’OECD sull’IA, con riferimenti all’allineamento dei sistemi IA con i diritti garantiti dal GDPR, inclusa la cancellazione dei dati.