Kafka

- Comprendre l'architecture de Kafka et son mode de fonctionnement dans un contexte multi-clients - Comprendre les principes de communications inter applications - Connaître les bonnes pratiques de distribution de messages - Configurer Kafka pour l'intégration de données de sources et de formats différents - Utiliser KSQL - Travailler en sécurité - Publier et récupérer des données vers un cluster Kafka - Utiliser les outils et les API permettant l'interaction avec un cluster Kafka - Sécuriser les données à destination et en provenance d'un cluster Kafka - Créer vos propres Consumers et Producers - Implémenter un consumer mutli-thread - Utiliser un proxy REST - Stocker des données Avro dans Kafka avec le Schema Registry - Ingestion de données avec Kafka Connect

INTRODUCTION - Historique et complexité des systèmes - Le traitement en temps réel : une importance business - Kafka : Une plateforme de données de flux LES FONDAMENTAUX - Un aperçu de Kafka et efficacité - Producers - Brokers - Consumers - Utilisation de ZooKeeper INSTALLATION & ADMINISTRATION - Installation et options avancés - Considération matérielle (Hardware) - Administrer Kafka ARCHITECTURE - Fichiers journaux de Kafka - Réplication et fiabilité - Chemins d'écriture et de lecture de Kafka - Partitions, Consumer Groups et Scalability DÉVELOPPER AVEC KAFKA - Utiliser Maven pour la gestion de projet - Accéder par programmation à Kafka - Écrire un Producer in Java - Utiliser REST API pour écrire un Producer - Écrire un Consumer en Java - Utiliser REST API pour écrire un Consumer DÉVELOPPEMENT AVANCÉ AVEC KAFKA - Créer un Consumer Multi-Thread - Gestion des Offsets Consumer - Rebalancing (rééquilibrage) - Gestion manuelle des Offsets (Commits) - Partitionnement des données - Message Durability : gestion de la durée des messages NOUVEAUTÉS DE LA VERSION KAFKA 3.0 - Nouvelles fonctionnalités de Kafka - Changement d'API - Amélioration de KRaft - Amélioration de métadonnées Kafka Connect - Option de configuration MirrorMaker 2 - Dépréciation de Java 8 et Scala 2.12 en Kafka SCHEMA MANAGEMENT - Introduction à Avro - Avro Schemas - Utilisation du Schema Registry KAFKA CONNECT : DATA MOVEMENT - Cas d'utilisation de Kafka Connect - Les bases de Kafka Connect - Modes : Standalone and Distributed - Configuration du mode distribué - Tracking Offsets - Connector Configuration - Comparaison d'utilisation avec des options avancées KAFKA STREAMS - Cas d'utilisation de Kafka Streams - Kafka Streams : les fondamentaux - Fundamentals Étude d'une application et usage de Kafka Streams TUNING & SUPERVISION AVANCÉ (MODULE OPTIONNEL) - 2 JOURS - Log Compaction Configuration Settings - Hardware and Capacity Planning - Traitement des Oversized Messages - Monitoring & Alerte - ZooKeeper and OS-Level Monitoring - Key Kafka Metrics - Cluster Administration - Key Cluster Administration Tasks - Replicating Clusters avec MirrorMaker - Kafka Security - SSL for Encryption and Authentication - SASL for Authentication Authorization

RNCP37873BC02 - Concevoir et développer une application sécurisée organisée en couches - Présentation d'un projet réalisé en amont de la session : 00 h 30 min En amont de la session d'examen, le candidat réalise un ou plusieurs projets. Il prépare un dossier de projet et un support de présentation de type diaporama. Le dossier de projet rend compte de l'ensemble des projets. Lors de l'examen, le jury prend connaissance du dossier de projet imprimé avant la présentation du candidat. Le candidat présente ensuite son ou ses projets au jury. - Entretien technique : 00 h 30 min Le jury questionne le candidat sur la base de son dossier de projet et de sa présentation, afin de s'assurer de la maîtrise des compétences couvertes par le projet ou les projets. Un questionnement complémentaire lui permet d'évaluer les compétences qui ne sont pas couvertes par le projet ou les projets. - Questionnaire professionnel : 00 h 30 min L'ensemble des candidats répondent en même temps au questionnaire professionnel en présence d'un surveillant. Le candidat étudie une documentation technique rédigée en anglais. Il répond à - deux questions fermées à choix unique posées en français ; - deux questions ouvertes posées en anglais et amenant des réponses courtes, en rédigeant la réponse en anglais. Durée totale de l'épreuve pour le candidat : 01 h 30 min

- Connaissances de base d'un système Unix - Connaissance dans un langage de développement moderne (Java, Python, Scala) - Les dernières mises à jour de l'OS - La dernière version de JDK - ZooKeeper Framework à jour