Airbnb Listings Pipeline
CompletatoPipeline di dati batch che automatizza la raccolta di snapshot di annunci Airbnb dal dataset Inside Airbnb, li archivia in MinIO e li carica in PostgreSQL per l'analisi storica delle tendenze del mercato degli affitti brevi londinese.
Tecnologie
Problema
La raccolta e il caricamento manuale dei dati degli annunci Airbnb per l'analisi delle tendenze è soggetta a errori e non riproducibile su scala.
Approccio
Polling basato su sensore HTTP con mode="reschedule" per liberare gli slot dei worker, caricatore PostgreSQL nativo dell'Astro SDK per l'ingestione in massa, MinIO come store di oggetti compatibile S3 in locale.
Risultato
Pipeline automatizzata e riproducibile per l'analisi storica delle tendenze Airbnb a Londra con un stack di sviluppo Docker completamente locale.
Apprendimenti
Gli header User-Agent del browser sono necessari per evitare i blocchi HTTP 403; XCom deve trasportare chiavi, non byte grezzi; la modalità reschedule libera gli slot dei worker tra gli intervalli di polling; il COPY nativo del DB è ordini di grandezza più veloce degli inserimenti riga per riga.
Rilevanza
Dimostra una progettazione ETL pulita, architettura a sensori, pattern di caricamento in data warehouse e infrastruttura di sviluppo locale riproducibile.