Case study

Migracja danych do nowego środowiska Data Lake

Branża
Przemysł
Okres współpracy
2018 – nadal
Czarno-białe zbliżenie rzędu zaparkowanych samochodów, skupienie na przedniej części eleganckiego auta z wyraźnie widocznym reflektorem i felgą, rozmyte tło kolejnych pojazdów.

O kliencie

Volkswagen Group Polska od początku istnienia jest liderem rynku nowych samochodów w Polsce. Będąc importerem siedmiu marek: Volkswagen, Volkswagen Samochody Dostawcze, SKODA, SEAT, CUPRA, Audi oraz Porsche firma w 2021 roku odnotowała udział w wysokości 25% w polskim rynku samochodów osobowych.

Grupa mocno angażuje się w rozwój elektrycznej mobilności: oferuje samochody elektryczne najnowszej generacji, kształtuje świadomość społeczną w tym zakresie i wspiera rozwój infrastruktury ładowania w Polsce. Jednocześnie spółka działa w obszarze dystrybucji części zamiennych i akcesoriów.

Globalny lider w branży motoryzacyjnej, łączący innowacje, niezawodność i ponadczasowy design.

O projekcie

Celem projektu była budowa środowiska Data Lake w oparciu o stos technologiczny Cloudera 6 wraz z późniejszym utrzymaniem oraz wdrażaniem zmian.

„Współpracę z Volkswagen Group Polska rozpoczęliśmy od wspólnej rozmowy na temat potrzeb Klienta. Wsłuchaliśmy się w jego wymagania i przedstawiliśmy możliwe opcje migracji danych do nowego środowiska Data Lake. Naszym priorytetem było jak najbardziej elastyczne podejście zarówno do potrzeb Klienta, jak i do jego procesów.”

Tomasz Mirowski

Chief Technology Officer w 3Soft

Rozwiązanie problemu

Prace projektowe podzielone zostały na kolejne etapy, co umożliwiło uporządkowane i efektywne wdrożenie zmian.

Pierwszym etapem realizacji projektu była migracja dotychczasowego środowiska do nowej, zaprojektowanej w tym celu architektury zbudowanej w oparciu o stos technologiczny Cloudera 6. Kolejnym zadaniem była budowa i utrzymanie przepływów danych do docelowej, istniejącej już Platformy Danych.

Wdrożenie i rozwój

Pełne wdrożenie projektu u Klienta – uruchomienie Platformy w oparciu o nowy stos technologiczny i przygotowanie inicjalnych procesów ładowania danych trwało 6 miesięcy.

Współpracę z Volkswagen Group Polska rozpoczęliśmy od analizy danych źródłowych oraz formatów plików w celu stworzenia optymalnych procesów transformacji danych. Nasi eksperci działali w pełni elastycznie i zgodnie z wewnętrznymi procesami Klienta.

Następnie w oparciu o komponenty Apache NiFi oraz Spark przygotowaliśmy przepływy danych z różnych źródeł, np.: plików płaskich CSV, XML, JSON, formatów Excel oraz baz danych Orcale i MSSQL, do istniejącej Platformy Danych.

Na obecnym etapie zapewniamy wsparcie architektury zbudowanej w oparciu o stos technologiczny Cloudera 6 zgodnie z przyjętym SLA oraz wdrażamy niezbędne zmiany zgłaszane przez Klienta.

„Szukaliśmy firmy, która posiada doświadczenie w budowaniu środowisk Data Lake. Już podczas pierwszych rozmów przedstawiciele firmy 3Soft zaproponowali nam możliwe rozwiązania i swoje rekomendacje w zakresie migracji, a następnie zrealizowali projekt zgodnie ze wcześniejszymi ustaleniami.

Bardzo ważne było dla nas to, że eksperci z 3Soft podeszli w pełni elastycznie do naszych procesów, a zaangażowanie osób po naszej stronie w proces migracji było minimalne – głównie sprowadzało się do podejmowania kluczowych decyzji oraz wyjaśniania ewentualnych wątpliwości.”

Michał Lazarowicz,

P.O. Kierownika ds. Systemów Raportowych i BI w Volkswagen Group Polska

Migracja danych w Volkswagen Group Polska

Ikonka przepływu

Budowa i utrzymanie
przepływów danych

Ikonka środowisko

Budowa środowiska Data Lake w oparciu o stos technologiczny Cloudera 6

Ikonka zegar

Pełne wdrożenie projektu
trwało 6 miesięcy

Kontakt

Skontaktuj się z nami

Z niecierpliwością czekamy
na wiadomość od Ciebie!

Formularz kontaktowy

Formularz kontaktowy

Szczegółowe informacje dotyczące przetwarzania danych osobowych dostępne są w Polityce prywatności.