Retour

Data Engineer Spark / Databricks / AWS (IT) / Freelance

VISIAN

Freelance

16-07-2024

Description

Travailler sur la plateforme data permettant à tous les domaines producteurs de données de mettre à disposition dans un datalake de la donnée brute ou retravaillée. Cette plateforme data permet notamment de gérer les fonctions et données du périmètre métier.

A ce titre elle permet de :

- Intégrer et mettre en qualité des données brutes reçues des distributeurs

- Mettre à disposition les données GRD exploitables pour toute utilisation par l'entité du client: besoins portés par tous les domaines métiers de nature opérationnelle ou analytique



Profil candidat:
- Maîtrise des outils Databricks (création de jobs, cluster, notebook) et pouvoir requêter efficacement avec SQL

- Maintien en condition opérationnelle de la plateforme en production (analyse et correction d'incidents, de defects)

- Développement des jobs d'ingestion et transformation data Python avec Spark sur de gros volumes de données

- Fournir une vision long terme, tant opérationnelle qu'en terme de stratégie de plateforme data

- Accompagner et promouvoir les bonnes pratiques

- Participer aux ateliers de conception techniques et fonctionnels

- Rédaction et actualisation de la documentation technique

Une excellente maîtrise de Spark est recherchée