Contexte
Nous recherchons un Data Engineer pour renforcer une équipe dédiée à l’exploitation et à la valorisation de données environnementales.
L’objectif de la mission est de contribuer à l’industrialisation et à l’optimisation des processus d’ingestion, de traitement et de publication d’indicateurs liés aux données scientifiques.
Missions principales
Conception & développement de pipelines
- Développer des scripts et workflows en Python pour récupérer, transformer et stocker des données volumineuses.
- Orchestrer les tâches avec Argo, Prefect ou un outil équivalent.
Industrialisation & automatisation
- Packager les applications dans des conteneurs Docker.
- Déployer et faire évoluer les environnements sur Kubernetes (hébergés dans un cloud public).
- Mettre en place et maintenir la CI/CD (GitLab CI, Jenkins ou similaire).
Maintenance & support
- Superviser les pipelines et les services en production.
- Gérer les incidents et mettre en œuvre les correctifs nécessaires.
Optimisation & montée en charge
- Adapter les architectures pour garantir la scalabilité, la performance et la maîtrise des coûts.
- Proposer et mettre en œuvre des améliorations continues (refactoring, modularisation, tests unitaires et d’intégration).
Documentation & transfert de compétences
- Rédiger et maintenir la documentation technique (README, runbooks).
- Former et accompagner les équipes internes sur les bonnes pratiques Data Engineering et DevOps.
Profil recherché
Compétences techniques essentielles
- Langages : Python expert (polars, xarray, pandas, netCDF4…), Dask.
- Cloud & infrastructures : expérience sur un cloud public (GCP, AWS ou Azure).
- Conteneurisation & orchestration : Docker, Kubernetes.
- Orchestration de workflows : Argo, Prefect, ou équivalent.
- CI/CD & DevOps : Git, GitLab CI/CD ou Jenkins, gestion des secrets, déploiements automatisés.
- Méthodologies : OOP, tests unitaires, GitOps, Infrastructure as Code (Terraform, Helm, etc.).
Expérience et formation
- Bac+5 en Informatique, Data Science ou Ingénierie.
- 2 à 5 ans d’expérience en Data Engineering, idéalement dans un contexte Big Data ou scientifique.
- Expérience en gestion de projets en autonomie, du recueil des besoins jusqu’à la mise en production.
- Une connaissance du domaine environnemental, scientifique ou climatique est un plus.
Qualités personnelles
- Rigueur et sens de l’organisation.
- Esprit d’équipe et bonnes capacités de communication.
- Curiosité et proactivité dans l’adoption de nouvelles technologies.
Conditions
- Type de contrat : CDI, temps plein.
- Localisation : Près de Marseille (télétravail partiel possible).
