Certification professionnelle

Objectifs et contexte de la certification :

Tout type d'entreprise ou association ayant plusieurs postes informatisés, et entreprises du secteur informatique à partir d'une personne

Nous évoluons actuellement dans un monde connaissant une croissance exponentielle des données et, parallèlement, des flux de données. 

Ces données proviennent de partout : de messages sur les sites de médias sociaux, d'images numériques et de vidéos publiées en ligne, d'enregistrements transactionnels d'achats en ligne, de signaux GPS de téléphones mobiles, de capteurs utilisés pour collecter les informations climatiques, pour ne citer que quelques sources.

Le concept de Big Data représente un ensemble de techniques concernant des données qui correspondent à plusieurs des caractéristiques suivantes : volume massif, grande variété ainsi que grande vélocité.

Les données, structurées (ex. : fichiers d’un progiciel), ou non structurées (ex. : galeries de photos), jouent un rôle prédominant auprès des entreprises qui les capturent, les gèrent et les analysent. Ces connaissances leur permettent de prendre rapidement des décisions métier bien informées.

La certification IBM Certified Data Engineer - Big Data s’adresse aux ingénieurs Big Data. L’Ingénieur Big Data travaille en étroite collaboration avec l’Architecte Data et les développeurs qui ont une expérience pratique. Grâce à lui, les données définies pour le système-cible et modélisées par l’Architecte Big Data se concrétisent. L’Ingénieur Data maîtrise parfaitement au niveau technique, sur le plan théorique et pratique, une large gamme de produits et de technologies.

Il résout, en outre, les problèmes Big Data en appliquant les technologies adéquates et détient l’aptitude requise pour construire des systèmes de traitement des données à grande échelle pour les entreprises.

Les ingénieurs Data développent, testent et qualifient des solutions Big Data au sein des organisations, tout en s’assurant que l’infrastructure reste fluide et opérationnelle.

Ils fournissent des indications aux architectes sur les besoins en matériels et logiciels.

Compétences attestées :

A l’issue de sa certification IBM Certified Data Engineer - Big Data, le spécialiste sera en mesure de démontrer les compétences suivantes :

• Réunir, analyser, administrer de vastes ensembles de données, afin de fournir aux Data Scientists les données adéquates et les outils visuels qui leur serviront pour les analyses.  
• Saisir la complexité des données et être en mesure de traiter différentes sortes de données (structurées, semi-structurées, non structurées), ainsi que différents volumes, vélocités (y compris traitement des flux) et véracités de données.
• Répondre aux problèmes posés par la gouvernance de l’information et aux défis associés aux données dans le domaine de la sécurité.
• Posséder de solides connaissances en génie logiciel et une grande expérience de la programmation et du cryptage des données.

La journée type de l’Ingénieur Big Data est constituée de 50% de développement, 20% d’étude et spécification, 20% d’accompagnement et résolution de bugs et 10% de veille.

Les compétences particulières suivantes, spécifiques au développement (50% de son activité), seront évaluées :

Architecture et Intégration

• Implémenter MapReduce
• Opter pour Hive, Big SQL ou HBase en fonction des scénarii
• Créer un index Solr ou en faire la requête
• Sélectionner les formats de fichiers appropriés (JSON, CSV, Parquet, Sequence)
• Visualiser les recherches au travers d’Apache View

Chargement des données

• Charger des données non structurées dans InfoSphere BigInsights, importer des données de streaming dans Hadoop avec InfoSphere Streams
• Créer un classeur BigSheets
• Importer des données dans Hadoop et créer des définitions de tableaux Big SQL
• Importer des données dans Hbase et dans Hive
• Charger des données depuis des sources relationnelles dans InfoSphere BigInsights avec Data Click et en mode libre-service
• Extraire des données d’une source relationnelle en utilisant Sqoop
• Charger des données de fichiers log dans Hadoop avec Flume
• Insérer des données via l’API du système de fichiers Posix IBM General Parallel File System (GPFS)
• Charger des données avec l’utilitaire de ligne de commande de Hadoop

Préparation, Transformation et Exportation des données

• Transformer les données dans InfoSphere BigInsights en utilisant les techniques de requêtes Jaql
• Capturer et préparer les données issues des médias sociaux en vue de leur analyse
• Intégrer le scoring de modèle d’IBM SPSS dans InfoSphere Streams
• Mettre en oeuvre une résolution d’entité dans une plate-forme Big Data, par ex. Big Match
• Transformer et manipuler des données à partir de PIG
• Transformer des données dans InfoSphere BigInsights à partir de Big SQL
• Exporter de Hadoop les résultats du traitement des données (DataClick, DataStage)
• Utiliser des zones homogènes dans InfoSphere Streams afin de permettre au moins un traitement

Sécurité des données

• Sécuriser les données dans les standards PCI
• Protéger les données sensibles avec des masquages (Optim, Big SQL)

Performance et Evolutivité

• Améliorer les performances de MapReduce à l’aide de RDD (Resilient Distributed DataSet)
• Sélectionner les formats de fichiers les plus adaptés pour optimiser les performances de Big SQL et de JAQL
• Prendre des décisions spécifiques visant à optimiser les performances de Hive et de HBase
• Analyser les facteurs de performance lors de l’utilisation d’Apache Spark

Modalités d'évaluation :

Le candidat peut préparer cette certification grâce à des lectures web gratuites disponibles sur internet, ainsi qu’à des ressources en ligne.

Une formation sur-mesure assurée par un formateur pourra également être proposée.