Description du poste : Data Engineer (H/F)
Au sein de notre agence Nord Est, basée à Lille, vous intervenez pour nos comptes clients de la Région dans différents secteurs d'activité en mettant en œuvre l'infrastructure pour le traitement des données, l'analyse, la surveillance des modèles appliqués et la mise au point des calculs d'algorithmes tout en développant votre expertise.
Un poste de Data Engineer confirmé chez Business & Decision c’est :
- Concevoir, implémenter et optimiser les modèles visant à stocker et traiter les données
- Contrôler et évaluer la qualité des modèles
- Implémenter, optimiser et maintenir des algorithmes de traitement de données distribués (Scala, Spark, Java)
- Déployer et industrialiser les pipelines de collecte, d'ingestion et de stockage de données
- Surveiller et assurer le bon fonctionnement des pipelines en production
- Définir les bonnes pratiques de développement en implémentant des outils de CI/CD
- Assurer une veille technologique sur les technologies Big Data
- Participer à la définition, conception et/ou évolution de l’architecture, en intégrant de nouveaux composants (frameworks, bibliothèques, …) permettant de mieux répondre aux besoins
Des missions riches et variées qui vous permettront d’évoluer sur tous les enjeux d’un projet.
Cette polyvalence vous permettra de monter en compétences rapidement et d’identifier les sujets pour lesquels vous avez une appétence particulière.
Avantages
Business & Decision
Profil
Qualification:
Une expérience significative de plus de 3 ans en tant que Data engineer
• Une bonne connaissance de l’écosystème hadoop et technologies Big Data (Hadoop/Cloudera, Spark, Kafka, ELK, NoSQL)
• Une première expérience sur l’un des cloud provider (AWS, Azure, GCP)
• Une bonne maitrise de langages de programmation tels que SQL, Python, Java, Scala
• Une appétence sur les pratiques Devops (Git, Jenkins, Ansible, Docker, Terraform, Kubernetes)
