Etablierung »Product Lake«

Gesamtprojektleitung, Architektur und Entwicklung »Product Lake« –
Produktdatenmanagement-System für den Onlineshop/E-Commerce-Bereich eines Warenhauses

Besetzte Rollen

Architekt, Gesamtprojektleitung, Developer (BE), Developer (FE), Cloud Engineer / DevOps

Methodik

Scrum, DevOps

Technologien

Python, AWS, Terraform, DynamoDB, Lambda , Cloudwatch, EC2, S3, RDS, OpenAPI, Swagger, Splunk, Git

Beschreibung der Leistung

Entwurf eines modernen PIM-Systems mit Fokus auf API-getriebener Infrastruktur, RESTful-Methoden und KI-gestützter Content-Optimierung.

Highlights/Erfolge

Gemeinsam mit dem Auftraggeber / Kunden haben wir ein hoch-modernes PIM-System konzipiert, das auf einer API-gesteuerten Infrastruktur mit RESTful-Methoden und KI-gestützter Inhaltsoptimierung basiert. Dabei haben wir die Leistungsfähigkeit von AWS-Diensten genutzt, darunter

  • DynamoDB für die schnelle Live-Datenmigration
  • Lambda für die effiziente Verarbeitung mit Millionen gleichzeitiger Ausführungen und
  • API Gateway für sichere und skalierbare Interaktionen

Das System verwaltet problemlos über 10 Millionen Artikelaktualisierungen innerhalb kurzer Zeiträume und gewährleistet die zeitnahe Verteilung an verbundene Systeme über eine Pub/Sub-Methode.

Während des gesamten Projekts spielte Terragrunt eine entscheidende Rolle bei der Sicherstellung eines optimierten Infrastructure-as-Code-Ansatzes, der Rationalisierung der Versionskontrolle und der Verbesserung der Automatisierungs-Pipelines.

Das Projekt diente aufgrund seiner Komplexität und der Fortschritte bei der Nutzung serverloser Technologien wie DynamoDB und Lambda als Leuchtturm-Projekt für AWS in Europa.

Die Entwicklung einer serverlosen, API-gesteuerten Product-Lake-Plattform umfasste des weiteren:

  • Datenmanagement und Lebenszyklus von Artikeln und Produkten
  • API-gesteuerte Architektur für ein robustes und sicheres Backend
  • Open-API-Spezifikation, die für Clients freigegeben und intern als Bereitstellungstreiber verwendet wird
  • Leistungsorientierte Implementierung auf einer NoSQL-Datenbank mit über 20 Millionen Elementen in der Produktivumgebung
  • Serverloser, horizontal skalierbarer Ansatz

Herausforderung

Migration, Partner-Onboarding und Koordination von Nearshore- und Offshore-Teams

Überblick: