Data Engineer Senior – Ivory Coast

Missions du poste:

Au sein d’une équipe Data expérimentée, vous participerez à la conception, au développement et à l’industrialisation des pipelines de données dans une architecture Data Mesh, répondant à des exigences élevées de performance, de qualité et de gouvernance.

Vous contribuerez activement à la mise en place de solutions innovantes permettant de valoriser les données tout en garantissant leur fiabilité et leur disponibilité.

Vos principales responsabilités

Data Engineering:

• Concevoir, développer et industrialiser des pipelines de traitement de données.
• Développer des traitements performants avec Python, Scala et Apache Spark.
• Participer à l’évolution de l’architecture Data Mesh (Bronze, Silver, Gold).
• Structurer les données au format Parquet.

Architecture & Performance:

• Optimiser le stockage objet des données sous MinIO.
• Concevoir et optimiser les modèles de données sous PostgreSQL, notamment le partitionnement des tables.
• Exposer les données via Trino pour le requêtage SQL fédéré.

Streaming & Orchestration:

• Développer des flux temps réel avec Kafka.
• Mettre en œuvre des solutions de Change Data Capture (CDC) avec Debezium.
• Orchestrer les traitements via Apache Airflow.

Cloud & DevOps:

• Déployer les services sur une infrastructure Kubernetes administrée avec Rancher (SUSE).
• Participer aux processus CI/CD avec GitLab CI et Terraform.
• Contribuer à l’observabilité de la plateforme grâce à Prometheus, Grafana et aux solutions de centralisation des logs.

Qualité & Documentation:

• Produire une documentation technique claire et complète.
• Documenter les différents domaines fonctionnels de la plateforme Data.
• Participer aux revues de code.
• Mettre en œuvre les bonnes pratiques d’ingénierie logicielle et de qualité des données.

Environnement technique:

Langages:

• Python
• Scala

Data Engineering:

• Apache Spark
• Apache Airflow
• Kafka
• Debezium

Architecture Data:

• Data Mesh
• Bronze / Silver / Gold
• Parquet
• Trino

Bases de données:

• PostgreSQL

Cloud & Infrastructure:

• Kubernetes
• Rancher (SUSE)
• Cloud Public
• Stockage compatible S3
• IAM

DevOps:

• Git
• GitLab CI
• Terraform

Monitoring:

• Prometheus
• Grafana
• Centralisation des logs

Gouvernance:

• Data Catalog
• Documentation technique

Profil recherché:

Vous êtes diplômé(e) d’une école d’ingénieur ou d’un Master (Bac+5) en informatique, Data ou équivalent.

Vous justifiez d’au moins 5 années d’expérience en tant que Data Engineer sur des environnements de production complexes.

Vous maîtrisez :

• Python
• Scala
• Apache Spark
• PostgreSQL
• Trino
• Data Mesh
• Kubernetes
• Rancher
• Airflow
• Kafka
• Debezium
• Git

Vous possédez une excellente compréhension des architectures Data modernes ainsi qu’une forte sensibilité aux problématiques de performance, de scalabilité et de qualité des données.

Les qualités que nous recherchons

Nous apprécierons particulièrement chez vous :

• Esprit analytique
• Rigueur
• Autonomie
• Sens de l’organisation
• Esprit d’équipe
• Excellentes qualités rédactionnelles
• Capacité à évoluer dans des environnements techniques exigeants
• Curiosité pour les nouvelles technologies Data

Les compétences appréciées

✔ Expérience DevOps et CI/CD

✔ Infrastructure as Code (Terraform)

✔ Méthodologies Agile (Scrum, Kanban)

✔ Bon niveau de communication

✔ Français et anglais professionnels (écrit et oral)

Pourquoi rejoindre ce projet ?

Vous intégrerez une équipe d’experts intervenant sur des projets stratégiques autour des technologies Data les plus récentes.

Vous aurez l’opportunité de travailler sur :

• des architectures Data Mesh de nouvelle génération ;
• des plateformes Cloud à haute disponibilité ;
• des pipelines Big Data industrialisés ;
• des projets mêlant Data Engineering, DevOps et Cloud ;
• un environnement favorisant l’innovation, la qualité et les bonnes pratiques d’ingénierie.