CASE STUDY: Migracja danych do nowego środowiska Data Lake
CASE STUDY | AUTOMOTIVE
O kliencie
Volkswagen Group Polska od początku istnienia jest liderem rynku nowych samochodów w Polsce. Będąc importerem siedmiu marek: Volkswagen, Volkswagen Samochody Dostawcze, SKODA, SEAT, CUPRA, Audi oraz Porsche firma w 2021 roku odnotowała udział w wysokości 25% w polskim rynku samochodów osobowych. Grupa mocno angażuje się w rozwój elektrycznej mobilności: oferuje samochody elektryczne najnowszej generacji, kształtuje świadomość społeczną w tym zakresie i wspiera rozwój infrastruktury ładowania w Polsce. Jednocześnie spółka działa w obszarze dystrybucji części zamiennych i akcesoriów.
O projekcie
Celem projektu była budowa środowiska Data Lake w oparciu o stos technologiczny Cloudera 6 wraz z późniejszym utrzymaniem oraz wdrażaniem zmian.
Tomasz Mirowski
Współpracę z Volkswagen Group Polska rozpoczęliśmy od wspólnej rozmowy na temat potrzeb Klienta. Wsłuchaliśmy się w jego wymagania i przedstawiliśmy możliwe opcje migracji danych do nowego środowiska Data Lake. Naszym priorytetem było jak najbardziej elastyczne podejście zarówno do potrzeb Klienta, jak i do jego procesów.
Rozwiązanie
Projekt podzielony był na etapy.
Pierwszym była migracja dotychczasowego środowiska do nowej, zaprojektowanej w tym celu architektury zbudowanej w oparciu o stos technologiczny Cloudera 6. Kolejnym zadaniem była budowa i utrzymanie przepływów danych do docelowej, istniejącej już Platformy Danych.
Wdrożenie i rozwój
Współpracę z Volkswagen Group Polska rozpoczęliśmy od analizy danych źródłowych oraz formatów plików w celu stworzenia optymalnych procesów transformacji danych. Nasi eksperci działali w pełni elastycznie i zgodnie z wewnętrznymi procesami Klienta.
Następnie w oparciu o komponenty Apache NiFi oraz Spark przygotowaliśmy przepływy danych z różnych źródeł, np.: plików płaskich csv, xml, json, formatów excel oraz baz danych Orcale i MSSQL, do istniejącej Platformy Danych.
Pełne wdrożenie projektu u Klienta – uruchomienie Platformy w oparciu o nowy stos technologiczny i przygotowanie inicjalnych procesów ładowania danych trwało 6 miesięcy.
Na obecnym etapie zapewniamy wsparcie architektury zbudowanej w oparciu o stos technologiczny Cloudera 6 zgodnie z przyjętym SLA oraz wdrażamy niezbędne zmiany zgłaszane przez Klienta.
Michał Lazarowicz, P.O. Kierownika ds. Systemów Raportowych i BI, VGP:
Szukaliśmy firmy, która posiada doświadczenie w budowaniu środowisk Data Lake. Już podczas pierwszych rozmów przedstawiciele firmy 3Soft zaproponowali nam możliwe rozwiązania i swoje rekomendacje w zakresie migracji, a następnie zrealizowali projekt zgodnie ze wcześniejszymi ustaleniami. Bardzo ważne było dla nas to, że eksperci z 3Soft podeszli w pełni elastycznie do naszych procesów, a zaangażowanie osób po naszej stronie w proces migracji było minimalne – głównie sprowadzało się do podejmowania kluczowych decyzji oraz wyjaśniania ewentualnych wątpliwości.
Migracja danych w Volkswagen Group Polska:
Budowa i utrzymanie przepływów danych