Missions principales
1. Conception et développement de pipelines
- Développer des scripts et workflows en Python afin de récupérer, transformer et stocker des données issues de modèles climatiques.
- Orchestrer les tâches avec des outils tels que Argo, Prefect ou équivalent.
2. Industrialisation et automatisation
- Packager les applications dans des conteneurs Docker.
- Déployer et faire évoluer les environnements sur Kubernetes (GKE).
- Mettre en place et maintenir des pipelines CI/CD (GitLab CI, Jenkins ou équivalent).
3. Maintenance et support
- Assurer la supervision des pipelines et des services en production.
- Gérer les incidents, réaliser les diagnostics et mettre en œuvre les actions correctives.
4. Optimisation et montée en charge
- Adapter les architectures afin de garantir la scalabilité, la performance et l’optimisation des coûts sur Google Cloud Platform (Compute Engine, Cloud Storage, etc.).
- Proposer et implémenter des améliorations continues : refactoring, modularisation, tests unitaires et tests d’intégration.
5. Documentation et transfert de compétences
- Rédiger et maintenir la documentation technique (README, runbooks, etc.).
- Former et accompagner les équipes internes aux bonnes pratiques Data Engineering et DevOps.
