Pour faire partie de l’aventure, ta mission sera la suivante :
** De la collecte des données à la mise en production, en passant par leur contrôle, stockage, traitement et modélisation **
- Concevoir, implémenter et optimiser les modèles visant à stocker et traiter les données
- Contrôler et évaluer la qualité des modèles
· Implémenter, optimiser et maintenir des algorithmes de traitement de données distribués (Scala, Spark, Java)
- Déployer et industrialiser les pipelines de collecte, d'ingestion et de stockage de données
- Surveiller et assurer le bon fonctionnement des pipelines en production
- Définir les bonnes pratiques de développement en implémentant des outils de CI/CD
· Assurer une veille technologique sur les technologies Big Data et Cloud Data Platform
· Participer à la définition, conception et/ou évolution de l’architecture, en intégrant de nouveaux composants (frameworks, bibliothèques, …) permettant de mieux répondre aux besoins
Et il sera également nécessaire de t’équiper de :
- Une bonne connaissance de l’écosystème hadoop et technologies Big Data (Hadoop/Cloudera, Spark, Kafka, ELK, NoSQL)
- Une première expérience sur l’un des cloud provider (AWS, Azure, GCP)
- Une bonne maitrise de langages de programmation tels que SQL, Python, Java, Scala
- Une appétence sur les pratiques Devops (Git, Jenkins, Ansible, Docker, Terraform, Kubernetes)
Business & Decision
Profil
Nice to Have : ne pas avoir peur de s’exprimer dans la langue de Shakespeare 😊
Tu rejoindras ainsi notre équipe de talentueux data engineer qui implémente des cas d’usages sur leur datalake Cloudera dans le cadre de projets d’envergure pour nos clients grands comptes.
