Servizi / Data Pipeline & BI

Data Pipeline & BI

KPI calcolati alla fonte, non in Excel

Pipeline ETL/ELT da gestionale, CRM, e-commerce e advertising verso un data warehouse, con semantic layer e dashboard su Metabase, Looker Studio o Power BI. Un’unica definizione per ogni KPI, aggiornata in automatico.

  • elt
  • data-warehouse
  • semantic-layer
  • dashboard
Iris, agente AI di 2111, analizza i dati di un data warehouse in una dashboard

Fit assessment

Quando serve un data warehouse (e quando no)

A volte basta una dashboard collegata direttamente al gestionale. Quando sistemi e domande si moltiplicano, serve un layer dati dedicato.

Ha senso se

  • I report si costruiscono a mano incrociando export da sistemi diversi.
  • Lo stesso KPI ha valori diversi a seconda di chi lo calcola.
  • Le query di reporting rallentano il gestionale in produzione.
  • Servono dati puliti e storicizzati per analisi, forecast o agenti AI.

Non ha senso se

  • C’è un solo sistema sorgente con una reportistica nativa adeguata.
  • Le domande di business non sono definite: prima si scelgono i KPI, poi la pipeline.
  • I dati sorgente sono inaffidabili e senza owner: prima serve data governance.
  • Serve un singolo report una tantum: un’analisi ad hoc costa meno.

Reference architecture

Architettura di riferimento

Sei layer, dall’estrazione alla dashboard. Ogni trasformazione è codice versionato e testato, non una formula nascosta in un foglio.

01

Extract & load

Connettori verso ERP, CRM, e-commerce, advertising e file, con caricamenti incrementali e schedulati.

02

Storage

Data warehouse su BigQuery, PostgreSQL o Snowflake, con zone raw, staging e mart separate.

03

Transform

Modelli SQL in dbt con test, documentazione e lineage, dal dato grezzo alle tabelle di business.

04

Semantic layer

Definizione unica di metriche e dimensioni: fatturato, margine, CAC e churn si calcolano in un solo punto.

05

BI & delivery

Dashboard su Metabase, Looker Studio o Power BI, alert e report schedulati per ruolo.

06

Governance & quality

Test sui dati, freshness monitoring, ownership dei dataset e accessi per ruolo.

pipeline · daily-sales● demo trace

Use case

Progetti dati tipici

Pattern ricorrenti per PMI e mid-market. Non case study: ogni progetto parte da un assessment su sistemi e domande di business.

uc_01

Sales & margin analytics

Fatturato, margine e mix prodotto per cliente, canale e agente, da ERP ed e-commerce.

uc_02

Marketing performance

Spesa, lead e ricavi riconciliati per campagna, con ROAS e CAC calcolati su dati reali.

uc_03

Supply chain

Giacenze, rotazione, rotture di stock e lead time fornitori in un’unica vista.

uc_04

Customer analytics

Coorti, retention, LTV e segmentazione RFM per e-commerce e B2B.

uc_05

Financial reporting

Conto economico gestionale e cash flow aggiornati dal gestionale, senza chiusure manuali in Excel.

uc_06

Dati per l’AI

Dataset puliti e documentati come base per agenti, RAG su dati strutturati e modelli predittivi.

Data observability

Una dashboard sbagliata è peggio di nessuna dashboard

Ogni pipeline nasce con test, freshness e lineage. Le stesse metriche diventano i KPI del canone Run.

freshness

Freshness

Ritardo tra il dato sorgente e la sua disponibilità in dashboard, per dataset.

tests

Test pass rate

Test su unicità, nulli, range e relazioni, a ogni esecuzione.

anomalies

Volume anomalies

Alert quando righe o importi si discostano dal trend atteso.

lineage

Lineage

Da ogni KPI alle tabelle e ai sistemi sorgente che lo alimentano.

cost

Query cost

Costo di storage e query del warehouse, per dataset e per dashboard.

usage

Adozione

Chi usa quali dashboard e quanto spesso, per tenere solo ciò che serve.

Engagement model

Come lavoriamo sui dati

Lo stesso modello Discovery, Build e Run di tutti i nostri servizi, declinato su qualità del dato, definizione dei KPI e costi del warehouse.

01

Discovery

A progetto

  • Inventario di sistemi e dati
  • Definizione di KPI e domande di business
  • Analisi della qualità dei dati sorgente
  • Scelta di warehouse e strumenti BI
  • Architettura target e stima dei costi

02

Build

Su milestone

  • Connettori ed estrazioni incrementali
  • Modelli dbt con test e documentazione
  • Semantic layer e metriche
  • Dashboard per ruolo
  • Handover e training

03

Run

Canone mensile

  • Monitoring di pipeline e freshness
  • Gestione di anomalie e test falliti
  • Nuove fonti, metriche e dashboard
  • Ottimizzazione dei costi del warehouse
  • Report mensile su qualità e utilizzo

Stack

Modern data stack, senza overkill

Strumenti scelti per volumi e budget di una PMI: niente piattaforme enterprise dove basta PostgreSQL. Codice versionato e portabile.

  • BigQuery
  • PostgreSQL
  • Snowflake
  • DuckDB
  • dbt
  • Airbyte
  • Fivetran
  • n8n
  • Python
  • Metabase
  • Looker Studio
  • Power BI
  • Superset
  • GA4
  • Docker

FAQ

Domande frequenti su dati e BI

Serve davvero un data warehouse?

Se i dati arrivano da un solo sistema e le domande sono semplici, spesso no. Quando le fonti sono più di due o il gestionale soffre le query di reporting, il warehouse costa meno di quanto fa risparmiare.

Quanto costa mantenere l’infrastruttura?

Sui volumi tipici di una PMI, warehouse e strumenti open source o a consumo hanno costi contenuti. In discovery stimiamo storage, query e licenze sul tuo volume reale.

Possiamo continuare a usare Excel?

Sì: Excel e Google Sheets possono leggere i mart del warehouse. La differenza è che il dato arriva già pulito e con definizioni condivise, invece di essere ricostruito a mano.

Come gestite la qualità dei dati sorgente?

Test automatici a ogni caricamento, quarantena dei record anomali e report agli owner del sistema sorgente, così i problemi si correggono alla fonte.

I dati restano in Europa?

Sì: si scelgono region EU per warehouse e strumenti, oppure un deployment sulla tua infrastruttura.

Hai KPI che nessuno calcola allo stesso modo?

Mandaci i sistemi sorgente e le domande a cui vuoi rispondere. Rispondiamo con una prima valutazione.

Integrazione ferma in backlog?
Webhook che falliscono, CRM disallineato, workflow manuali da agentizzare: apriamo il ticket insieme.