Real-Time Maritime Analytics Pipeline (AWS)
AbgeschlossenVollständig serverlose Echtzeit-Pipeline, die live AIS-Schiffspositionsdaten via WebSocket ingested, durch eine event-getriebene Lambda-Architektur verarbeitet, Rohdaten in S3 archiviert und Schiffsaktivitäten in Echtzeit über OpenSearch Dashboards visualisiert.
Technologien
Problem
Maritime Schiffspositionen müssen in Echtzeit überwacht werden, mit Anomalie-Erkennung und einem dauerhaften Audit-Trail für historische Analysen — bei minimalem Betriebsaufwand.
Ansatz
AIS WebSocket → Kinesis Data Streams → Lambda 1 (S3-Archiv + SQS) → Lambda 2 (Geo-Anreicherung) → Kinesis Firehose → OpenSearch → Dashboards. Ursprünglicher Apache-Flink-Ansatz wurde aufgegeben wegen JAR-Inkompatibilität mit AWS OpenSearch Service.
Ergebnis
Echtzeit-Schiffsverfolgungsdashboard mit geografischer Visualisierung und einem abfragbaren historischen S3-Archiv. Unterstützt mehrere geografische Begrenzungsrahmen (Persischer Golf, Ostsee, Mittelmeer).
Learnings
Apache Flinks OpenSearch-Sink ist inkompatibel mit AWS OpenSearch Service (Elasticsearch-7-JAR-Konflikte) — der serverlose Lambda-Ansatz ist einfacher und wartbarer; OpenSearch geo_point erfordert {"lat": x, "lon": y}; SQS kann nicht direkt mit Firehose verbunden werden.
Relevanz
Zeigt Echtzeit-Streaming-Architektur, event-getriebene AWS-Muster, architektonische Entscheidungsfindung unter Constraints (Flink-Pivot) und produktionsreifes serverlose Design.