Batch Energy Analytics Pipeline (AWS)
CompletatoPipeline batch serverless che ingesta dati mensili di produzione elettrica dall'API Ember per 8 paesi europei, trasforma JSON nidificato in formato Parquet tramite AWS Glue e visualizza le tendenze di produzione energetica in un dashboard Amazon QuickSight.
Tecnologie
Problema
I dati grezzi dell'API Ember arrivano come JSON nidificato non direttamente interrogabile. Non esisteva una visione unificata delle tendenze di produzione elettrica europea per paese e fonte energetica.
Approccio
Script di ingestione Python → layer S3 grezzo (partizionamento Hive per data) → ETL AWS Glue (trasformazioni Explode + Flatten) → layer S3 elaborato (Parquet/Snappy) → Glue Crawler → validazione Athena → dashboard QuickSight.
Risultato
Dashboard interattivo che mostra le tendenze di produzione elettrica in 8 paesi europei dal 2020 al 2026, con un tetto di budget mensile di 50 USD.
Apprendimenti
AWS Glue richiede trasformazioni Explode + Flatten esplicite per API JSON nidificate; le colonne data di QuickSight devono essere tipizzate come Date (non stringa) per i grafici con asse temporale; i permessi di QuickSight sono configurati separatamente da AWS IAM.
Rilevanza
Pipeline AWS end-to-end cloud-native dall'ingestione API alla visualizzazione aziendale; dimostra architettura ETL serverless e integrazione dei servizi analytics AWS.