Etablierung »Product Lake«
Gesamtprojektleitung, Architektur und Entwicklung »Product Lake« –
Produktdatenmanagement-System für den Onlineshop/E-Commerce-Bereich eines Warenhauses
Besetzte Rollen
Architekt, Gesamtprojektleitung, Developer (BE), Developer (FE), Cloud Engineer / DevOps
Methodik
Scrum, DevOps
Technologien
Python, AWS, Terraform, DynamoDB, Lambda , Cloudwatch, EC2, S3, RDS, OpenAPI, Swagger, Splunk, Git
Beschreibung der Leistung
Entwurf eines modernen PIM-Systems mit Fokus auf API-getriebener Infrastruktur, RESTful-Methoden und KI-gestützter Content-Optimierung.
Highlights/Erfolge
Gemeinsam mit dem Auftraggeber / Kunden haben wir ein hoch-modernes PIM-System konzipiert, das auf einer API-gesteuerten Infrastruktur mit RESTful-Methoden und KI-gestützter Inhaltsoptimierung basiert. Dabei haben wir die Leistungsfähigkeit von AWS-Diensten genutzt, darunter
- DynamoDB für die schnelle Live-Datenmigration
- Lambda für die effiziente Verarbeitung mit Millionen gleichzeitiger Ausführungen und
- API Gateway für sichere und skalierbare Interaktionen
Das System verwaltet problemlos über 10 Millionen Artikelaktualisierungen innerhalb kurzer Zeiträume und gewährleistet die zeitnahe Verteilung an verbundene Systeme über eine Pub/Sub-Methode.
Während des gesamten Projekts spielte Terragrunt eine entscheidende Rolle bei der Sicherstellung eines optimierten Infrastructure-as-Code-Ansatzes, der Rationalisierung der Versionskontrolle und der Verbesserung der Automatisierungs-Pipelines.
Das Projekt diente aufgrund seiner Komplexität und der Fortschritte bei der Nutzung serverloser Technologien wie DynamoDB und Lambda als Leuchtturm-Projekt für AWS in Europa.
Die Entwicklung einer serverlosen, API-gesteuerten Product-Lake-Plattform umfasste des weiteren:
- Datenmanagement und Lebenszyklus von Artikeln und Produkten
- API-gesteuerte Architektur für ein robustes und sicheres Backend
- Open-API-Spezifikation, die für Clients freigegeben und intern als Bereitstellungstreiber verwendet wird
- Leistungsorientierte Implementierung auf einer NoSQL-Datenbank mit über 20 Millionen Elementen in der Produktivumgebung
- Serverloser, horizontal skalierbarer Ansatz
Herausforderung
Migration, Partner-Onboarding und Koordination von Nearshore- und Offshore-Teams
Überblick: