Flussi di lavoro deterministici e tooling per l'IA

Progettiamo pipeline di IA in cui l'orchestrazione è deterministica e la chiamata al modello è l'unica componente probabilistica. Ogni decisione di routing, controllo di validazione, criterio di retry e transizione di stato viene eseguita come codice esplicito e verificabile. L'LLM opera all'interno di nodi vincolati con input e output controllati tramite schema, e in caso di errore si esegue il replay dall'ultimo checkpoint, non da zero. Questa è l'architettura che rende verificabile il caos degli agenti nella sorveglianza delle transazioni finanziarie, nell'estrazione di dati clinici e nella generazione di report normativi.

La matematica che spezza le pipeline di agenti

Una catena di agenti di IA a 10 passaggi in cui ciascun passaggio opera con un'accuratezza del 95% produce un risultato finale corretto solo nel 59,9% dei casi. Ciò significa che quattro esecuzioni su dieci falliscono. Nella demo di un chatbot, si ritenta e si passa oltre. Nella sorveglianza delle transazioni, nell'estrazione di dati clinici o nella generazione di documentazione normativa, un tasso di fallimento del 40% comporta il blocco operativo dell'intero sistema. Gartner prevede che oltre il 40% dei progetti di IA agentica sarà cancellato entro la fine del 2027, e il calcolo degli errori composti ne è una delle ragioni primarie.

La nostra risposta confina la chiamata al modello probabilistico all'interno di nodi delimitati con input e output verificati tramite schema. Ogni decisione di routing, controllo di validazione, criterio di retry e transizione di stato viene eseguita come codice esplicito e verificabile — in modo che un errore consenta il replay dall'ultimo checkpoint, non dall'inizio (si veda la nostra ricerca su architettura, affidabilità e divergenza strategica nell'IA avanzata).

Perché la maggior parte dei framework per agenti fallisce in produzione

Il segnale proveniente dalla community è chiaro e i punti di fallimento sono precisi:

• LangChain : gli agenti restano bloccati in loop di ragionamento, richiamano ripetutamente strumenti errati e si degradano senza sollevare eccezioni.
• Modelli antepongono testo esplicativo al JSON; i parser restituiscono dati formalmente strutturati con sicurezza ma errati.
• CrewAI : i loop di delega divergono in presenza di grafi di task concorrenti.
• AutoGen esegue più di 20 chiamate LLM per task a 0,45 $ ciascuna, mentre una pipeline deterministica ottiene il medesimo risultato con meno chiamate a 0,08 $.

Questi fallimenti derivano da una scelta progettuale comune: lasciare il controllo del flusso di esecuzione al modello. Quando è l'LLM a decidere quale strumento chiamare, quale ramo intraprendere e quando fermarsi, si ottiene un'autonomia adatta a una demo e un caos inaccettabile in produzione. La soluzione è architetturale: spostare il controllo dell'esecuzione all'interno di un motore deterministico, l'approccio dettagliato nel nostro whitepaper sulla progettazione di IA aziendale resiliente oltre i wrapper di LLM, consentendo al modello di occuparsi esclusivamente di ciò per cui eccelle, ovvero il ragionamento sui contenuti all'interno di confini ben definiti.

Come progettiamo pipeline di IA deterministiche

Il nostro approccio impiega motori di esecuzione durevole — Temporal, Prefect o Inngest, selezionati in base all'infrastruttura esistente — come dorsale di orchestrazione. Ogni passaggio è un'attività o un task dotato di input espliciti, output, criteri di retry e budget di timeout. Il motore gestisce lo stato, governa i fallimenti e offre la funzionalità di checkpoint/replay che rende finalmente possibile il debugging.

In corrispondenza di ciascun nodo in cui un LLM genera un output, racchiudiamo la chiamata in un harness di validazione che impone schemi di output impiegando lo strumento ottimale per lo scopo. Ogni approccio presenta modalità di errore distinte; per questo allineiamo la strategia di validazione alla tolleranza agli errori e al budget di latenza di ciascun nodo:

La chiamata agli strumenti avviene attraverso un pianificatore vincolato e non tramite generazione non vincolata dell'LLM. Invece di proporre 50 strumenti auspicando che il modello selezioni quello corretto, filtriamo il catalogo degli strumenti in base allo stato corrente del flusso di lavoro, cosicché il modello visualizzi solo gli strumenti validi per questo specifico passaggio. Ciò elimina i nomi di strumenti allucinati e i pattern di argomenti non validi — le due modalità di errore più diffuse nella chiamata di strumenti in produzione.

Checkpoint, replay e l'argomentazione economica

Un flusso di lavoro a tre agenti dal costo di 5–50 $ nelle demo genera fatture di produzione mensili comprese tra 18.000 e 90.000 $. Il 96% delle imprese segnala che i costi della GenAI hanno superato le aspettative. La quota maggiore di questo spreco deriva dalla riesecuzione di passaggi già completati con successo a seguito di un errore a valle.

Il checkpointing trasforma radicalmente l'aspetto economico. Al termine di ogni nodo, il motore crea uno snapshot dell'intero stato — input, output, metadati, attività in sospeso. Quando si verifica un errore al passaggio 7 su 10, si corregge il problema e si esegue il replay a partire dal passaggio 7, non dal passaggio 1. LangGraph raggiunge tassi di recupero dagli errori del 96% con questo approccio. Il modello di esecuzione durevole di Temporal si spinge oltre, resistendo ai crash di processo e riprendendo esattamente dal punto in cui il flusso di lavoro si era interrotto, incluse le chiamate LLM in corso.

Progettiamo strategie di checkpoint con:

• ID di thread deterministici collegati a entità di business — una richiesta di prestito, una cartella clinica, una conferma di transazione.
• Chiamate esterne idempotenti associate all'identità combinata di flusso di lavoro e passaggio.
• Test deliberati tramite fault injection.

Il solo checkpointing abbatte le elaborazioni sprecate di oltre il 60% sui flussi di lavoro a più passaggi.

Governance degli strumenti in produzione

L'adozione di MCP sta procedendo più rapidamente della sicurezza. Una scansione di circa 2.000 server MCP esposti su Internet ha riscontrato zero autenticazione su tutti i nodi, mettendo a rischio una stima di 200.000 server. Esiste inoltre una criticità legata ai costi: un singolo server MCP GitHub consuma circa 50.000 token solo per l'inizializzazione, e un server di database con 106 strumenti consuma 54.600 token prima ancora di eseguire una singola query.

Progettiamo interfacce governate per gli strumenti, a prescindere dal protocollo utilizzato. Ogni invocazione di uno strumento transita attraverso un livello di validazione che verifica tipi e intervalli di input, applica rate limit e quote di risorse, controlla il formato di output e registra il contesto completo di invocazione. La selezione degli strumenti è guidata dallo stato: il motore del flusso di lavoro stabilisce quali strumenti siano disponibili a ogni passaggio in base allo stato corrente e alle funzionalità dichiarate per il passaggio. Non si tratta di una raccomandazione rivolta al modello — è un vincolo rigido applicato a livello di infrastruttura.

Architettura audit-first per settori regolamentati

I controlli SOX, la gestione del rischio di modello SR 11-7, l'HIPAA, l'EU AI Act e le linee guida FDA sul Clinical Decision Support richiedono una combinazione di riproducibilità, tracciabilità e spiegabilità. Aggiungere l'osservabilità a posteriori su un framework per agenti dopo il rilascio non soddisfa questi requisiti. È l'architettura stessa che deve generare l'audit trail.

Le pipeline che realizziamo sono progettate per registrare ogni chiamata LLM con il prompt completo, la risposta, l'esito della validazione, il conteggio dei retry e l'ID del checkpoint. Ogni transizione di stato è immutabile. Le definizioni dei flussi di lavoro sono sottoposte a controllo di versione e vincolate a versioni specifiche dei modelli, consentendo ai revisori di ricostruire l'esatta pipeline che ha generato qualsiasi output storico. Per gli ambienti GxP, progettiamo versioni di workflow bloccate su checkpoint di modelli convalidati mediante processi formali di change control — il tipo di pipeline clinica deterministica che mostriamo in una demo funzionante di sicurezza dell'IA clinica.