Data engineer

Na co dzień w naszym zespole:

• budujemy procesy zasilania operacyjnej składnicy danych,
• projektujemy i realizujemy rozwiązania informatyczne w obszarze zasilania danych,
• analizujemy dane oraz przygotowujemy dla nich modele logiczne i fizyczne,
• stroimy zapytania SQL na bazie relacyjnych i hurtowianych w on-prem i na Chmurze GCP,
• tworzymy przepływy off-linowe oraz strumieniowe danych,
• przygotowujemy datamarty tematyczne na bazach relacyjnych i kolumnowych,
• tworzymy koncepcje rozwiązań i implementacje rozwiązań w oparciu o wymagania i potrzeby biznesu,
• usuwamy incydenty i bierzemy udział w rozwiązywaniu problemów,
• wspieramy testy i wdrażania zmian w zakresie procesów zasilania danych,
• pomagamy przy serwisowaniu wdrożonego oprogramowania,
• tworzymy rozwiązania ładowania danych w Python,
• pracujemy zgodnie z modelem DevOps.

To stanowisko może być Twoje, jeśli:

• posiadasz doświadczenia jako Data Engineer:
  • w obszarze procesów integracji danych za pomocą narzędzi ETLowych (Informaitica Power Center),
  • w obszarze technologii GCP (Big Query, Pub-Sub, Google Cloud Anthos, Cloud Storage Buckets),
  • w programowaniu w języku Phyton (znajomość jednego z framework Phyton: Flask, Django),
  • w projektowaniu i tworzeniu relacyjnych baz danych (PostgresSQL, Oracle),
• pracujesz w środowisku chmurowym na Google Cloud Platform (Big Query, Cloud SQL, Kubernetes),
• znasz środowisko Linux (doświadczenie w pracy z terminalem, podstawowa znajomość skryptów powłoki bash),
• znasz narzędzie harmonogramujące: Apache Airflow, AutomateNow,
• masz doświadczenie w pracy z dużymi wolumenami danych ~100TB.