Servizi / Agenti AI

Agentic AI & LLM Ops

Agenti AI in produzione, non demo

Progettiamo agenti LLM con tool calling, orchestrazione multi-step e guardrail, integrati con CRM, ERP e sistemi interni. Eval, tracing e cost monitoring dal primo rilascio, non dopo il primo incidente.

  • tool-calling
  • human-in-the-loop
  • eval
  • observability
Aria, Orchestrator Agent di 2111, orchestra un workflow di agenti AI

Fit assessment

Quando serve un agente (e quando no)

Un agente LLM è la scelta giusta solo per una parte dei processi. Il resto si risolve meglio con integrazioni deterministiche: lo diciamo in discovery, prima di scrivere codice.

Ha senso se

  • L’input non è strutturato (email, PDF, ticket, chat) e oggi qualcuno lo legge e lo smista a mano.
  • Il task richiede decisioni su più step e chiamate a più sistemi, non una singola trasformazione.
  • Le regole cambiano spesso e un workflow deterministico è diventato un albero di if ingestibile.
  • Esiste una PoC su LLM che funziona in demo ma non è mai arrivata in produzione.

Non ha senso se

  • Il flusso è interamente deterministico: basta un’integrazione via API o iPaaS, più economica e prevedibile.
  • Non c’è una fonte dati affidabile su cui fare grounding: prima si sistema il dato.
  • L’errore non è tollerabile e non si vuole prevedere un approval gate umano.
  • Il volume è troppo basso per ripagare sviluppo, inferenza e manutenzione.

Reference architecture

Architettura di riferimento

Sei layer che separano orchestrazione, accesso ai sistemi e controllo. Ogni progetto ne usa un sottoinsieme, ma nessuno va in produzione senza guardrail e observability.

01

Ingress & trigger

Webhook, parsing di email e documenti, code di eventi e scheduler: l’agente parte da un evento, non da un prompt manuale.

02

Orchestrator

State machine o grafo (LangGraph o equivalente) con planning, retry, timeout e stato persistente tra gli step.

03

Tool layer

Function calling sulle API di CRM, ERP ed e-commerce, con schema JSON validati e permessi least-privilege per ogni tool.

04

Knowledge & memory

RAG sulla knowledge base aziendale, memory di sessione e di lungo periodo, ACL per utente e per ruolo.

05

Guardrail & HITL

Validazione degli output, policy, soglie di confidenza e approval gate umano sulle azioni con impatto.

06

Observability & eval

Tracing per step, costo per run, eval set di regressione e alerting: ogni esecuzione è ispezionabile.

agent-run · order-intake● demo trace

Use case

Dove un agente rende di più

Scenari tipici su cui progettiamo agenti per PMI e mid-market. Sono pattern, non case study: ogni progetto parte da un assessment sui tuoi flussi reali.

uc_01

Triage di email e ticket

Classificazione dell’intent, estrazione delle entità, routing alla coda giusta e bozza di risposta su helpdesk o CRM.

uc_02

Order intake B2B

Da ordine via email o PDF a ordine in bozza sull’ERP, con check di listino, disponibilità e condizioni cliente.

uc_03

Document processing

Estrazione strutturata da fatture, DDT e contratti, con validazione di schema e confidence per campo.

uc_04

Copilot interno

Assistente sulla knowledge base aziendale con citazione delle fonti e ACL, integrato nei tool che il team usa già.

uc_05

Sales agent su CRM

Arricchimento e qualificazione dei lead, aggiornamento degli stage e follow-up in bozza da approvare.

uc_06

Reporting agentico

Domande in linguaggio naturale sul data warehouse, con SQL generato, validato e vincolato a un semantic layer.

Observability & eval

Se non lo misuri, non è in produzione

Ogni agente nasce con tracing, metriche ed eval di regressione, su Langfuse, LangSmith o OpenTelemetry. Le stesse metriche diventano i KPI del canone Run.

latency

Latenza per step

p50 e p95 per tool e per modello, per capire dove si perde tempo nel run.

cost

Costo per run

Token, chiamate e costo per esecuzione, per tenant e per processo, con budget e alert.

quality

Accuracy su eval set

Casi reali annotati, rieseguiti a ogni cambio di prompt, modello o tool.

hitl

Tasso di escalation

Quante esecuzioni finiscono in approvazione umana e perché, per tarare le soglie.

errors

Tool error rate

Errori di schema, timeout e risposte anomale delle API, con retry e dead letter.

drift

Drift e regressioni

Confronto tra versioni di prompt e modelli prima di ogni rilascio.

Engagement model

Come lavoriamo sugli agenti

Lo stesso modello Discovery, Build e Run di tutti i nostri servizi, declinato sui rischi specifici dei sistemi agentici.

01

Discovery

A progetto

  • Mappatura del processo e dei sistemi coinvolti
  • Definizione dei task agentici e dei confini
  • Eval set iniziale da casi reali
  • Stima dei costi di inferenza
  • Architettura target e roadmap

02

Build

Su milestone

  • Prototipo validato sull’eval set
  • Tool layer e integrazioni
  • Guardrail e approval gate
  • Shadow mode e rilascio dietro feature flag
  • Documentazione e handover

03

Run

Canone mensile

  • Monitoring, tracing e alerting
  • Eval continue di regressione
  • Tuning dei prompt e model routing
  • Aggiornamento di modelli e connettori
  • Report mensile su KPI e costi

Stack

Model-agnostic, vendor-agnostic

Scegliamo modello e framework per caso d’uso, in base a qualità, latenza, costo per token e data residency. Il model routing permette di cambiare provider senza riscrivere l’agente.

  • OpenAI
  • Anthropic
  • Gemini
  • Mistral
  • Llama
  • LangGraph
  • n8n
  • Langfuse
  • LangSmith
  • OpenTelemetry
  • pgvector
  • Qdrant
  • PostgreSQL
  • Supabase
  • Docker

FAQ

Domande frequenti sugli agenti AI

Che differenza c’è tra un agente e un workflow su n8n o Make?

Un workflow esegue una sequenza di step definita a priori. Un agente decide quali tool chiamare e in che ordine, in base all’input. Spesso la soluzione migliore è ibrida: workflow deterministico come spina dorsale, agente solo negli step che richiedono interpretazione.

Come evitate che l’agente esegua azioni sbagliate sui sistemi?

Permessi least-privilege per ogni tool, output strutturati con validazione di schema, soglie di confidenza e approval gate umano sulle azioni con impatto (scritture su ERP, invii al cliente, pagamenti). In più, shadow mode prima del go-live.

Quale modello LLM usate?

Dipende dal task. Modelli frontier via API dove serve capacità di ragionamento, modelli più piccoli o open-weight self-hosted per task ripetitivi o vincoli di data residency. Il model routing permette di combinarli.

Quanto costa un agente in inferenza?

Dipende da volumi, lunghezza del contesto e modello. In discovery stimiamo il costo per run sull’eval set; in produzione lo teniamo sotto controllo con caching, routing su modelli più economici e budget per processo.

I dati aziendali escono dall’azienda?

Data flow, retention e sub-processor si definiscono in fase di design. Si può lavorare su cloud EU, sulla tua infrastruttura o con modelli self-hosted, in linea con GDPR e policy interne.

Hai un processo candidato per un agente?

Mandaci stack, volumi e un esempio di input reale. Rispondiamo con una prima valutazione di fattibilità.

Integrazione ferma in backlog?
Webhook che falliscono, CRM disallineato, workflow manuali da agentizzare: apriamo il ticket insieme.