DATA ENGINEER (H/F)

Le métier de Data Engineer (H/F)

Le Data Engineer définit, développe, met en place et maintient les outils et infrastructures adéquats à l’analyse de la donnée par les équipes de Data Science. Il veille à créer une solution permettant le traitement de volumes importants de données tout en garantissant la sécurité de celles-ci. Il représente le premier maillon de la chaîne de traitement de données.

Missions :

Le Data Engineer met en place et rend opérationnel l'architecture et les infrastructures Big Data d'un client.

Il conçoit donc des solutions qui permettent le traitement d'un volume très important de données.

Le Data Engineer développe le flux de données et les prépare pour leur analyse. Il travaille en amont des Data Scientist.

Son travail consiste à programmer, automatiser et optimiser les algorithmes de l'infrastructure ce qui permet ensuite aux équipes de Data Analyst et Data Scientist d'analyser les données collectées. Il intervient aussi auprès d'une équipe de Data tout au long des étapes de traitement des données.

Tout au long de l'avancement du projet, il veille de manière permanente au maintien des technologies, langages et du bon fonctionnement des infrastructures. Il doit avoir une connaissance pointue des langages comme Javascript, Python, Scala

Les compétences techniques

• Maîtrise des langages de programmation : Scala,  Java, Python, Shell, VBA
• Connaissance du fonctionnement des systèmes d’exploitation : UNIX, Linux, Solaris, Windows
• Connaissances des solutions de bases de données SQL : Teradata, Microsoft SQL Server, SAS Base, SAP Hana
• Connaissance des systèmes NoSQL : Elasticsearch, HBase, Cassandra, Redshift
• Connaissance des processus et des outils ETL : Talent open studio, Pig Latin, Sqoop.
• Forte expertise sur le SQL et dérivés : SQL, HiveQL
• Maîtrise des framework de calcul massivement parallèle de données : Hadoop, Spark, Kafka
• Connaissance des techniques d’amélioration de la performance des requêtes et des systèmes de Business Intelligence (OLAP)  
• Savoir consolider les données, produire des KPI et construire des tableaux de bord à l’aide d’outils tels que Excel Power BI, Tableau Software, ou encore QlikView.
• Être à l’aise dans des environnements cloud : GCP, Azure HDInsight,‍
• Être à l’aise avec les outils d’intégration et de déploiement continue : Jenkins, git, GitHub, gitlab, création de CI/CD, docker, Ansible, kubernetes, etc…
• Avoir un niveau de connaissance basique sur le Machine Learning, Data science, et l’Intelligence Artificielle  afin de pouvoir travailler en collaboration avec les Data Scientists.
  

Les Soft skills

• Force de proposition,
• Anglais
• Rigueur,
• Réactivité,
• Esprit analytique et de synthèse,
• Aisance rédactionnelle,
• Excellent relationnel,
• Sens de l’organisation.

Évolutions

Le Data Engineer peut évoluer en tant que Lead Data Engineer, Senior Data Scientist, Machine Learning Engineer.
Ses nombreuses compétences techniques et son ouverture sur la partie Big Data lui permettent d’exercer des postes variés.

‍

‍