Airbnb Listings Pipeline
TerminéPipeline de données batch qui automatise la collecte de snapshots d'annonces Airbnb depuis le dataset Inside Airbnb, les stocke dans MinIO et les charge dans PostgreSQL pour l'analyse historique des tendances du marché locatif londonien.
Technologies
Problème
La collecte et le chargement manuels des données d'annonces Airbnb pour l'analyse des tendances sont sujets aux erreurs et non reproductibles à grande échelle.
Approche
Polling basé sur un senseur HTTP avec mode="reschedule" pour libérer les slots de workers, chargeur PostgreSQL natif Astro SDK pour l'ingestion en masse, MinIO comme store d'objets compatible S3 en local.
Résultat
Pipeline automatisée et reproductible pour l'analyse historique des tendances Airbnb à Londres avec un stack de développement Docker entièrement local.
Apprentissages
Les headers User-Agent navigateur sont nécessaires pour éviter les blocages HTTP 403 ; XCom doit transporter des clés, pas des bytes bruts ; le mode reschedule libère les slots de workers entre les intervalles de polling ; le COPY natif de la DB est des ordres de grandeur plus rapide que les insertions ligne par ligne.
Pertinence
Démontre une conception ETL propre, une architecture de senseurs, des patterns de chargement en data warehouse et une infrastructure de développement local reproductible.