Data Engineer with Microsoft Fabric

Dla naszego klienta poszukujemy osoby na stanowisko 🔹Data Engineer with Microsoft Fabric🔹

Lokalizacja: świadczenie usług w modelu hybrydowym (1 dzień w tygodniu w biurze w Warszawie, 4 dni zdalnie)

Branża: ubezpieczenia

Zakres obowiązków:

• Projektowanie i implementacja pipeline'ów w Data Factory oraz notebooków PySpark w Fabric.

• Onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną i standaryzacją formatu.

• Transformacje, przygotowanie danych wsadowych.

• Implementacja reguł walidacji jakości danych i mechanizmów raportowania błędów.

• Wersjonowanie zestawów danych i zapis metadanych przebiegu (parametry, źródła, wersje).

• Realizacja obowiązków w oparciu o zasady GIT - kod pipeline'ów w repozytorium, wdrożenia przez CI/CD, code review.

• Współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń.

• Zapewnienie zgodności z regulacjami prywatności i bezpieczeństwa danych i integracja standardów bezpieczeństwa firmy ze środowiskiem Azure.

• Optymalizacja procesów pod względem wydajnościowym oraz kosztowym.

Wymagania:

• Min. 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych,

• Python (PySpark) i SQL na poziomie sprawnej pracy z dużymi zbiorami,

• Praktyczne doświadczenie z platformą chmurową do przetwarzania danych — Microsoft Fabric, Azure Synapse lub Databricks,

• Znajomość architektury warstwowej danych (medalionowa lub podobna) i formatu Delta/Parquet,

• Praca z Git w zespole,

• Doświadczenie w integracji różnorodnych źródeł, w tym plików Excel od użytkowników biznesowych,

• Gotowość do podpisania NDA i przejścia weryfikacji bezpieczeństwa.

Atutem będzie:

• Certyfikat DP-600 lub DP-700,

• Doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych,

• Znajomość R (model wykorzystuje Python i R),

• Praktyka z CI/CD dla platform danowych,

• Doświadczenie z frameworkami data quality,

• Doświadczenie w metodykach Agile i Scrum.

💻 Ework Group – założona w 2000 roku, notowana na Nasdaq Stockholm, z około 13 000 niezależnych specjalistów realizujących projekty – jesteśmy kompleksowym dostawcą rozwiązań w zakresie zarządzania talentami, współpracującym zarówno z klientami z sektora prywatnego i publicznego, jak i z profesjonalistami, aby tworzyć zrównoważone łańcuchy dostaw talentów.

Koncentrując się na obszarach IT/OT, B+R, inżynierii oraz rozwoju biznesu, dostarczamy trwałą wartość poprzez holistyczne i niezależne podejście do całościowego zarządzania talentami.

Dzięki kompleksowym rozwiązaniom w zakresie talentów, połączonym z bogatym doświadczeniem branżowym i doskonałością w realizacji projektów, budujemy udane współprace. Łączymy klientów, partnerów i profesjonalistów w całym łańcuchu dostaw talentów, z korzyścią dla jednostek, organizacji i społeczeństwa.

Osoba kontaktowa: dominika.kisiel@eworkgroup.com

Client code: MM03

Znasz kogoś, kto pasowałby na to stanowisko? Poleć kandydata, przesyłając jego/jej CV na adres: polecenia@eworkgroup.com

Whistleblowing Policy, which provides guidelines for reporting misconduct can be found on Ework website: https://www.eworkgroup.com/about-us/our-responsibility

  • Locations: Remote
  • Technologies: Azure, Git, SQL
  • Language: Polish