Senior Data Engineer (H/F)

Dans le cadre du renforcement des équipes Data, nous recherchons des profils capables de concevoir, industrialiser et optimiser des plateformes de données (batch & temps réel) au sein d’environnements distribués basés sur Cloudera.

Vos missions :

Développement & Industrialisation

• Développer des pipelines de traitement en PySpark.

• Mettre en place des flux temps réel via Kafka (topics, partitions, schémas, offsets).

• Modéliser et optimiser les schémas Cassandra (tables, clés, clustering, réplication).

• Intégrer et transformer des données provenant de multiples sources (APIs, BDD, streams, fichiers).

Qualité, Performance & Fiabilité

• Déployer des mécanismes de Data Quality (contrôles, monitoring, alerting).

• Optimiser les traitements Spark (partitioning, tuning, formats de données).

• Assurer la supervision et la résolution des incidents en production.

CI/CD & Gouvernance

• Industrialiser les développements via des chaînes CI/CD (tests automatisés, déploiements).

• Documenter les flux, modèles et bonnes pratiques.

• Contribuer à la gouvernance des données : catalogue, traçabilité, sécurité.

 

• 4 ans d’expérience dans des environnements distribués et des architectures Big Data

• Spark / PySpark : batch & streaming.

• Python : scripts, librairies data, tests automatisés.

• Kafka : conception de flux, producers/consumers, partitions.

• Cassandra : modélisation orientée requêtes, optimisation, administration.

• Solide maîtrise de SQL + connaissances NoSQL.

• Connaissance d’un outil d’orchestration : Airflow, Luigi, Prefect…

• Bonne compréhension des environnements distribués (Cloudera, Hadoop).

• Compétences en Git, CI/CD (GitLab CI…).

• Pratiques DevOps / MLOps appréciées.

Pourquoi nous rejoindre ?

Rejoindre Devoteam, c’est :

• Évoluer sur des projets stratégiques autour de la donnée

• Bénéficier d’un accompagnement personnalisé pour le développement de vos compétences et certifications

• Travailler dans un environnement stimulant, collaboratif et bienveillant