KAFKA FOAD

• Composée à 70% de pratique, cette formation à distance utilise des exercices illustrés, présentés et accomplis avec le formateur, et des exercices à réaliser en autonomie.
• Une journée se décompose de la façon suivante :
• Matin : 2h de théorie en visioconférence, 10 à 15 minutes de présentation d'exercices en visio, 1h de TP en autonomie avec possibilité de solliciter le formateur (partage d'écran à distance pour une assistance efficace).
• Après-midi : 2h de théorie en visioconférence, 10 à 15 minutes de présentation d'exercices en visio, 1h de TP en autonomie avec possibilité de solliciter le formateur (partage d'écran à distance pour une assistance efficace).
• Une évaluation quotidienne de l'acquisition des connaissances de la veille est effectuée.
• Une synthèse est proposée en fin de formation.
• Une évaluation à chaud sera proposée au stagiaire à la fin du cours.
• Un support de cours (version électronique) sera remis à chaque participant comprenant les slides sur la théorie, les exercices. L'émargement par demi-journée de présence se fera de façon numérique.
• Enfin, une attestation de formation sera envoyée si le stagiaire a bien assisté à la totalité de la session.
• En ce qui concerne le matériel informatique du stagiaire, il est seulement préconisé un ordinateur et une connexion internet. Nous nous chargeons du reste.
• Chaque participant se verra attribuer une Machine Virtuelle qui sera exécutée dans le Cloud d'Amazon. Il disposera alors de la puissance et des outils nécessaires pour le bon déroulement de la formation. Aucune installation de la part du participant n'est requise avant la formation.

Le Big Data rentre dans une nouvelle ère : longtemps cantonné à une gestion batch des gros volumes de données, les besoins actuels se trouvent à l’étroit dans l’utilisation des outils disponibles. Collecte des données en masse, tolérance de panne, gestion de la montée en charge, fiabilité, traitement des données à la volée (streaming), mise en œuvre de pipelines de traitements complexes, Kafka se positionne comme un élément incontournable des architectures Big Data.

Les différents types de connecteurs

Les modes standalone et distribués

Les alternatives : NIFI, ETL, Flume, …

Les bases de l’administration

Prérequis et installation

Les versions de Kafka, compatibilité

Configuration des topics

Politique de log retention

Compactage

Configuration des partitions

La sécurité

Kafka Streaming

Création d’une application

Un exemple Kafka Streaming

Gestion des streams

KSQL

• A quoi sert Kafka ?
• Comprendre ce qu’est un cluster Kafka : Brokers, Topics, Partitions, Consumer Groups
• Ecrire un programme pour envoyer des données dans Kafka
• Ecrire un programme pour consommer les données de Kafka
• S’intégrer à l’existant grâce à Kafka Connect et Kafka REST Proxy
• Apprendre les bases de l’administration de Kafka
• Utiliser Kafka Stream pour traiter les données en continue

• Architectes
• Chefs de projet
• Développeurs

Le formateur est un expert du domaine qui intervient sur le sujet depuis plusieurs années en formation mais aussi en conseil.

Doté d’une grande qualité d’écoute, sa pédagogie et sa compétence technique vous permettront d’acquérir les compétences sur Kafka.

Il saura alterner entre théorie, pratique, et retours d’expérience.

• Une connaissance des technologies Web. La connaissance d'un langage de programmation structuré est souhaitable. Aucune connaissance spécifique au BigData n'est nécessaire.

A quoi sert Kafka ?

• La collecte des données
• Un outil compatible avec le BigData
• Pensé pour un traitement des données en streaming

Les principes de bases

• Les piliers : Producers, Consumers, Brokers et Zookeeper
• Comparaison avec les Message Oriented Middleware

Architecture Kafka

• Les logs files
• Les replicas
• Partitions
• Consumers Groups

Développer avec Kafka

• Écrire un producer
• Écrire son propre Partitioner
• Écrire un consumer
• Gestion d’offset
• Valider les lectures

La gestion de schémas

• AVRO : un système de sérialization
• Présentation de schema registry
• Versionnez vos schémas

Kafka connect

Nous consulter