DMF per agenti AI: memoria deterministica per LLM conversazionali

Gli agenti conversazionali basati su intelligenza artificiale hanno un problema fondamentale: la memoria finita. I modelli linguistici di grandi dimensioni (LLM) operano su finestre di contesto limitate, il che significa che, nelle conversazioni lunghe, le informazioni più vecchie vengono inevitabilmente perse o compresse. Esistono diversi approcci per gestire questo limite, ma la maggior parte di essi si affida agli stessi LLM per riassumere e filtrare i ricordi, introducendo costi elevati, non determinismo e scarsa trasparenza.

Il lavoro di Matteo Stabile ed Enrico Zimuel proposto in questa pubblicazione propone un Deterministic Memory Framework (DMF) come strada alternativa: sostituire completamente la compressione generativa con una pipeline deterministica, basata su NLP classico, geometria vettoriale e funzioni di scoring matematiche.

Il problema con i riassunti generativi

La tecnica più comune per gestire la memoria negli agenti è quella dei riassunti generati da LLM: quando la conversazione supera una certa lunghezza, il modello viene invocato per sintetizzare i turni più vecchi in un riassunto compatto. Questo approccio presenta però quattro criticità significative:

1. Non determinismo: lo stesso input può produrre riassunti diversi in esecuzioni diverse.
2. Costo in token: ogni operazione di compressione consuma token aggiuntivi, aumentando i costi.
3. Deriva semantica: il riassunto può introdurre interpretazioni o distorsioni rispetto all’originale.
4. Mancanza di trasparenza: è difficile capire perché una certa informazione è stata conservata o eliminata.

Per come nasce questo framework, DMF risolve tutti e quattro questi problemi eliminando del tutto l’LLM dal ciclo di gestione della memoria.

L’architettura di DMF

Il sistema è composto da otto livelli ben definiti:

1. Pipeline di analisi NLP – elabora ogni interazione con strumenti classici (tokenizzazione, POS tagging, NER).
2. Estrazione di segnali conversazionali – identifica preferenze, vincoli, correzioni, stato corrente e sostituzioni.
3. Motore di scoring – calcola il Survival Score per ogni interazione.
4. Memoria temporale – conserva le interazioni recenti in attesa di consolidamento.
5. Backend per la memoria a lungo termine (LTM) – archivia le memorie che superano una soglia di rilevanza.
6. Livello di proiezione tramite card – genera viste derivate e deterministiche delle memorie, con le quali l’agente interagisce durante la conversazione.
7. Stack di recupero strutturato – gestisce il recupero semantico al momento della query.
8. API pubblica – interfaccia verso l’agente conversazionale.

Un principio fondamentale: la memoria canonica è sempre il testo originale. Le card sono viste derivate, mai sostituzioni. Questo garantisce che nulla venga perso o distorto durante la fase di archiviazione.

Il Survival Score

Ogni interazione riceve un punteggio di sopravvivenza che determina per quanto tempo quella memoria verrà conservata. Il punteggio combina tre componenti:

• Contenuto: calcolato su densità informativa, intensità del sentiment, numero di entità nominate e divergenza semantica rispetto alle interazioni vicine.
• Segnali operativi: presenza di preferenze, vincoli, correzioni o aggiornamenti di stato.
• Provenienza: origine e contesto dell’interazione.

Il risultato viene normalizzato tramite una funzione logistica, restituendo un valore compreso tra 0 e 1. Tutto questo avviene senza alcuna chiamata a un LLM.

Decadimento temporale deterministico

A differenza di altri sistemi, DMF non usa il tempo reale come asse per il decadimento della memoria, ma il numero di interazioni successive. Questo rende il comportamento del sistema indipendente dalla frequenza delle conversazioni.

Il decadimento è esponenziale, ma modulato dalla qualità iniziale della memoria: le interazioni con un Survival Score alto persistono più a lungo, mentre quelle con punteggio basso vengono eliminate più rapidamente. Nessuna memoria diventa però permanente: anche quelle più rilevanti decadono nel tempo, seppur lentamente.

Questo principio - chiamato inerzia dipendente dal punteggio - è uno dei contributi più originali di DMF: il sistema non premia le memorie con immortalità, ma con longevità proporzionale alla loro rilevanza.

Meccanismi di pruning

DMF implementa due strategie di eliminazione:

• Hard-kill periodico: elimina elementi con punteggi scesi sotto una soglia minima, indipendentemente dal budget disponibile.
• Pruning sotto pressione di budget: quando il numero totale di token supera una soglia configurata, le memorie meno rilevanti vengono rimosse per fare spazio.

Alcune categorie di informazioni - come vincoli, preferenze esplicite e correzioni - ricevono un bonus di conservazione, rendendo più difficile la loro eliminazione anche in condizioni di pressione.

Il Social Floor

Un dettaglio interessante è il concetto di Social Floor: i messaggi sociali brevi - saluti, ringraziamenti, conferme - ricevono un punteggio minimo garantito. Senza questo meccanismo, verrebbero eliminati quasi subito (hanno bassa densità informativa e nessun segnale operativo), causando incoerenze nel contesto conversazionale. Il Social Floor li rende sufficientemente “sopravviventi” da mantenere la coerenza del dialogo.

Confronto con gli approcci esistenti

DMF è stato confrontato con sistemi come MemGPT, Mem0, A-MEM, ReadAgent, MemoryBank e approcci RAG. Il punto di differenziazione principale è la completa eliminazione degli LLM dal ciclo di memoria: dove gli altri sistemi usano il modello sia per scrivere che per leggere la memoria, DMF delega queste operazioni a componenti deterministici e ripetibili.

I risultati mostrano un’accuratezza comparabile a Mem0 con un consumo di token drasticamente inferiore, e - soprattutto - con un comportamento completamente prevedibile e auditabile.

Conclusioni

DMF rappresenta un cambio di paradigma nella gestione della memoria per agenti conversazionali. L’idea di fondo è semplice ma potente: non tutti i problemi legati agli LLM devono essere risolti con altri LLM. NLP classico, geometria vettoriale e funzioni matematiche possono fare un lavoro eccellente - a costi molto più bassi e con una trasparenza molto più alta.

Per chi progetta sistemi agentici a lunga durata, DMF offre una base solida per costruire memorie scalabili, riproducibili e comprensibili: esattamente ciò di cui gli agenti conversazionali hanno bisogno per operare in produzione.

Per approfondire, il paper completo è disponibile su arXiv.