Certification professionnelle

Objectifs et contexte de la certification :

La certification Expert Big Data Engineer (MS) a non seulement pour objectif de fournir une vue d’ensemble sur le sujet du Big Data, mais aussi de transmettre les techniques clés pour la mise en œuvre des analyses décisionnelles sur ces données. Cette certification permet d’acquérir des compétences qui relèvent de quatre piliers du monde de la data :

• Le premier traite de l’analyse de besoins et de la création de projet dans le contexte de la data et de sa réglementation.
• Le deuxième est dédié à mise en œuvre d’infrastructures de stockage et d’analyse de la data.
• Le troisième s’intéresse plus spécifiquement à un premier traitement de la data et à sa visualisation.
• Le quatrième se concentre sur l’analyse et la modélisation des données.   

La certification Expert Big Data Engineer (MS) répond à une demande des entreprises en forte croissance dans le domaine du Big Data en proposant une formation au plus près des besoins de ces entreprises pour accompagner et/ou consolider leur mutation et positionnement stratégique dans ce domaine. Ces entreprises recherchent des experts du data-driven analytics capables de concevoir des solutions innovantes aux problématiques de gestion et d’analyse des grandes quantités de données générées par l’activité humaine et des systèmes sociotechniques. Les compétences des certifiés permettront aux entreprises faisant appel à leurs services de mettre en place des projets data dans le respect de la réglementation, d’améliorer l'architecture des projets data existants à l’aide des outils les plus récents, d’aboutir à la création d’indicateurs métiers ou de représentations graphiques des data, utilisables comme outils descriptifs d’aide à la décision. Les certifiés seront aussi capables de mettre en œuvre des techniques d’analyses encore plus poussés sur la Data de l’entreprises liés à la fouille de données, le Machine Learning (ML), la modélisation statistique, le Deep Learning (DL) ou l’intelligence artificielle. 

Activités visées :

Les missions de l'expert Big Data Engineer recouvrent les domaines suivants : 

ANALYSER L’EXISTANT ET PROPOSER DES SOLUTIONS LIÉES A LA DATA

Analyse des besoins et des problématiques : 

• Référencement et regroupement de l'ensemble des sources de données structurées ou non structurées nécessaires et pertinentes à l'analyse ; 
• Analyse de la problématique liée aux données (data) ; 
• Conception d’un projet data avec les parties prenantes ; 
• Prise en compte de l’outil informatique existant (serveurs de stockage).  

Identification des données de l’organisation 

• Supervision d’une réunion d’équipe ; 
• Management de projet de la team data ; 
• Collecte des données auprès des différents services/responsables métiers ; 
• Cartographie des données.  

 Formalisation du besoin et des solutions techniques : 

• Formalisation du besoin et des enjeux ; 
• Analyse de manière qualitative et quantitative du projet dans son ensemble ; 
• Analyse des données (data) et des données non-structurées ; 
• Réalisation d’un cahier des charges.  

Préconisations de stratégies en matière de possession, gestion et transformation des données : 

• Proposition d’une stratégie data ;
• Prise en compte du droit des données ; 
• Prise en compte du cloud computing (serveurs, stockage, mise en réseau, logiciels) de l’entreprise/collectivité dans sa stratégie ; 
• Prise en compte des risques liés à la donnée ;
• Proposition de serveurs auprès des utilisateurs de l’organisation privée/public 

DÉPLOYER DES INFRASTRUCTURES INFORMATIQUES POUR ANALYSER LA DATA 

Définition de l’architecture de stockage  

•  Identification des solutions de stockage possibles des données ; 
• Utilisation d’un logiciel de stockage des données (Hadoop) ; 
• Proposition de solutions d’entrepôts de données (stockage interne, stockage en ligne) en fonction de l’organisation ; 
• Explication et documentation du choix de la solution proposée ; 
• Prise en compte de la législation des données selon la situation des serveurs (UE/hors UE).  

Tests et mise en place de protocoles  

• Réalisation de tests sur lesweb services ; 
• Rédaction des protocoles à destination des utilisateurs de ces outils ; 
• Communication auprès des équipes sur les protocoles existants et sur leur utilisation.  

Extraction d’information (Information Retrieval)   

• Utilisation d’outils de visualisation de tendances en grandes dimensions ; 
• Mise en place d’enrichissement des données ; 
• Calcul d’indicateurs ; 
• Mise en œuvre d’interconnexion et visualisation de graphes sociaux distribués.  

TRAITER ET VISUALISER DE LA DATA 

Mise en œuvre de langages et outils de programmation  

• Utilisation d’une programmation pour l’analyse décisionnelle ; 
• Utilisation de langages et outils de programmation (ElasticSearch Java mapReduce, Python, R, SCALA) ; 
• Mise en œuvre des algorithmes de traitement de grosses volumétries de données.   

Réalisation d’une visualisation dynamique 

•  Choix d’une solution de visualisation adaptée (Chart.js DataHero, Dygraphs, Instant Atlas Plotly, Kibana , Raw, …) ; 
•  Utilisation d’outils de visualisation des données.   

Analyse des données et conseil auprès du commanditaire : 

• analyse et visualisation spatio-temporelles ; 
• utilisation de Scalable MultiMedia Analytics ; 
• visualisation des données permettant de découvrir un phénomène non connu / de confirmer ou d’affirmer une information ou une hypothèse de travail ; 
• interprétation des graphiques obtenues ; 
• formalisation de rapports et de conseils (stratégiques, économique, organisationnelle …) auprès des utilisateurs dédiés.

ANALYSER ET MODÉLISER LA DATA 

Utilisation de données en grande dimension 

• Utilisation d’un système de gestion de bases de données (Bigtable, HyperTable NoSQL, SQL …) ;
• Transformation de la donnée ; 
• Recherche de cibles (targets) ou de motifs (patterns) enfouis dans les données ; 
• Segmentation des données afin d’évaluer des probabilités ; 
• Mise en place d’un algorithme issu du Machine Learning pour prédire ou comprendre et expliquer.  

Déploiement d’un modèle d’apprentissage en profondeur (Deep learning) 

• Mise en place d’applications de Deep Learning ; 
• Déploiement d’un modèle via une interface de programmation (API) dans le web ; 
• Réalisation d’un tableau de bord (Dashboard) pour présenter le travail de modélisation ; 
• Communication sur le modèle d’apprentissage auprès des utilisateurs ;  
• Prise en compte de la consommation d’énergie dans le choix des outils ou prestataires.  . 

Traitements de volumes de données 

• Mise en œuvre avec le logiciel des applications sur des machines standards ; 
• Traitement de grandes quantités de données ; 
• Prise en compte de la consommation d’énergie dans le choix des outils ou prestataires 

Compétences attestées :

 La certification Expert Big Data Engineer (MS) permet de valider les compétences suivantes :  

1. ANALYSER L’EXISTANT ET PROPOSER DES SOLUTIONS LIÉES A LA DATA 

Analyser  les problématiques au sein d’une organisation privée/publique en  mettant en place un déploiement d’une architecture ou d’une structure,  en interagissant avec des interlocuteurs différents et concernés par la  problématique.   

Animer  et mener une réunion avec tous les acteurs principaux et secondaires  concernés par une problématique existante ou nouvelle afin de trouver  les éventuelles solutions pour la résoudre en tenant compte de l’avis  des différents acteurs afin de s’imprégner de l’écosystème de la  structure dans lequel on intervient.     

Formaliser  le besoin émanant de la problématique au sein d’un cahier des charges dans le respect du budget alloué afin de proposer des solutions  réalisables et réalistes avec les données et ressources propres  possédées.   

Présenter  un rapport détaillé de faisabilité en tenant compte des paramètres  extérieurs tels que le développement durable, la réglementation en  vigueur liée à la confidentialité des données, l’éthique afin de les  rendre compatible avec les contraintes inhérentes à l’organisation.       

DÉPLOYER DES INFRASTRUCTURES INFORMATIQUES POUR ANALYSER LA DATA  

Identifier la façon dont l’organisation assure le stockage et le format des  données internes, structurées ou non structurées, en tenant compte des  données manquantes, erronées ou perdues, des différents processus en  fonction des pays, des entités qui vont produire les flux de données et de la réglementation en vigueur sur la confidentialité des données  (RGPD) afin d’avoir un jeu de données adaptée (exemples : Data Frame Python, R/Tibble).    

Mettre  en place les protocoles nécessaires à l’utilisation des web services au  sein de la structure en réalisant des tests sur les services et rédigeant une documentation et en communiquant auprès des équipes pour leur permettre de les utiliser de façon optimale.     

Mettre  en œuvre des techniques d’extraction d’information intrinsèque ou par  recoupement d’interconnexion en utilisant des outils permettant la visualisation de tendances en grandes dimensions afin d’extraire des  Data pertinentes dans les flux de données.    

TRAITER ET VISUALISER DE LA DATA  

Programmer  en utilisant des langages de programmation adaptés à la donnée récoltée  au sein de l’organisation et de la donnée provenant de sources  extérieures afin de mettre en place des algorithmes gérant le volume important des données.   

Utiliser des outils avancés pour la visualisation des données en choisissant les outils adaptés, en respectant les méthodes de représentation graphique afin d’obtenir une visualisation dynamique des données.  

Analyser  les données représentées graphiquement en identifiant les tendances et  les valeurs inhabituelles dans ces données afin de prendre des décisions en s’appuyant sur ces données et d’apporter ainsi une solution aux utilisateurs.    

ANALYSER ET MODÉLISER LA DATA  

Utiliser  des outils permettant l’analyse et la classification de données sous différents angles afin d’identifier les liaisons ou les patterns (motifs) entre les nombreuses bases de données relationnelles.   

Déployer un modèle d’apprentissage profond (Deep Learning) en développant des modèles, des algorithmes via une interface de programmation/graphique, en réalisant un document  méthodologique/technique et en communiquant oralement sur ce modèle afin de favoriser l’intégration et une démarche de modélisation auprès de ses utilisateurs.       

Assurer  le traitement de volumes (gros ou non) de données avec un langage de  programmation/logiciel dédié gérant des algorithmes et permettant à la structure d’opérer plus vite.  

Modalités d'évaluation :

L’évaluation est réalisée sous la forme de mises en situation professionnelle simulée, d’études de cas, ainsi que la remise des rapports et la soutenance des projets. Les candidats font également l'objet de deux autres évaluations transversales : l'une relative à la rédaction et à la soutenance de la thèse professionnelle, et l'autre à l'évaluation réalisée en entreprise par le tuteur ou le responsable de stage.