Cloud-basierte Datenverarbeitung mit AWS: Skalierbare ETL-Lösung für die Automotive-Industrie

Der Kunde.

dx.one ist ein Unternehmen, das eine umfassende Palette an digitalen Dienstleistungen und Lösungen für den Automobilhandel des Volkswagen Konzerns anbietet.

dx.one fokussiert sich auf verschiedene Aspekte der digitalen Transformation, darunter Cloud-Computing, Datenanalytik, künstliche Intelligenz, Cybersicherheit und die Entwicklung von Unternehmenssoftware.

Die Herausforderung.

Die Herausforderung bestand darin, diverse CSV-Datendateien aus verschiedenen Quellen effizient zu verwalten und zu verarbeiten. Diese Dateien wiesen unterschiedliche Formate und Inhalte auf, was die Sicherstellung einer konsistenten Datenqualität, den Schutz sensibler Informationen und die zuverlässige Integration der Daten in eine Datenbank erschwerte. Zusätzlich musste dieser Prozess innerhalb einer skalierbaren Infrastruktur automatisiert werden, die in mehreren Umgebungen konsistent einsetzbar ist.

Unser Lösungsansatz.

  • Anforderungsanalyse: Zusammenarbeit mit Stakeholdern, um Projektanforderungen zu verstehen und diese in klare Spezifikationen für das Entwicklungsteam zu übersetzen.
  • Lösungsdesign: Enger Austausch mit technischen Leitern, um eine robuste und skalierbare Lösung zu entwickeln, die mit den Projektzielen und Kundenanforderungen übereinstimmt.
  • Technologie-Evaluierung: Auswahl geeigneter Tools und Frameworks, um die Projektarchitektur zu optimieren.
  • Problemidentifikation: Proaktive Identifizierung potenzieller Engpässe oder Konflikte im Entwicklungsprozess und zeitnahes Risikomanagement.
  • Qualitätssicherung: Einführung und Überwachung effektiver Qualitätssicherungsprozesse, um sicherzustellen, dass die Software den festgelegten Standards entspricht.
  • Leistungsüberwachung: Festlegung von KPIs zur Überwachung des Projektfortschritts und der Qualitätskennzahlen.
  • Kontinuierliche Verbesserung: Förderung einer Lernkultur, Durchführung von Retrospektiven und Implementierung von Best Practices zur Effizienzsteigerung.

Konkret wurde eine robuste ETL-Architektur (Extract, Transform, Load) mit AWS-Diensten entworfen und implementiert:

  • Aufbau einer SFTP-Verbindung für den initialen Datenempfang.
  • Automatisierung der Datenvalidierung und -vorbereitung mittels Lambda-Funktionen.
  • Einsatz von Step Functions zur Orchestrierung des gesamten Workflows.
  • Speicherung der Daten in S3-Buckets und Verarbeitung mit Glue-Jobs.
  • Überführung der verarbeiteten Daten in eine RDS PostgreSQL-Datenbank.
  • Nutzung von Terraform zur Definition der Infrastruktur und Bereitstellung über GitHub Actions, um konsistente und reproduzierbare Konfigurationen sicherzustellen.

Unser Beitrag.

Wir haben die gesamte ETL-Architektur entworfen, einschließlich der Automatisierung von Datenvalidierung und -aufnahme mit Lambda-Funktionen sowie der Workflow-Orchestrierung mit Step Functions.

  • Implementierung der Datenverarbeitung in Glue-Jobs.
  • Schutz sensibler Daten.
  • Infrastruktur-Setup mit Terraform.
  • Optimierung des Bereitstellungsprozesses mit GitHub Actions für konsistentes Infrastrukturmanagement.
Referenz Architektur unserer ETL Infrastruktur

Die Ergebnisse.

Das Ergebnis war eine hochautomatisierte, skalierbare und zuverlässige Plattform, die Kundendaten effizient aufnimmt, verarbeitet und speichert.

  • Datenintegrität wird durch umfassende Validierungsprozesse gewährleistet.
  • Sicherheit sensibler Informationen wird garantiert.
  • Bereitstellung der verarbeiteten Daten in einer strukturierten Form innerhalb einer RDS PostgreSQL-Datenbank.
  • Konsistente und reproduzierbare Infrastrukturbereitstellung durch Terraform und GitHub Actions.

Die Lösung ermöglicht Stabilität und Skalierbarkeit, um mit dem Wachstum der Plattform Schritt zu halten.

Ihre projekte stehen auf erfolg

Treten sie mit uns in Kontakt

+49 531 25734082
[email protected]

Diese Seite teilen:

Facebook
Email
LinkedIn
XING
Twitter

Weitere beiträge und whitepaper

Ihre digitale Transformation beginnt hier!

Sie haben konkrete Fragen oder wollen unser Portfolio kennenlernen? Geben Sie uns Bescheid und wir rufen Sie zu Ihrem Wunschtermin zurück!

Sie können uns auch gerne direkt anrufen.