Training: Processing Data met Apache Kafka
Python
11 uur
Engels (US)

Training: Processing Data met Apache Kafka

Snel navigeren naar:

  • Informatie
  • Inhoud
  • Kenmerken
  • Meer informatie
  • Reviews
  • FAQ

Productinformatie

In deze training maak je kennis met Apache Kafka. Apache Kafka is een event streaming platform dat gebruikt wordt door Fortune 100 bedrijven. Je verkent de kenmerken van event streaming en hoe de KAFKA-architectuur schaalbare streaming van data mogelijk maakt. Ook richt deze training zich op het integreren van Python-applicaties met een Kafka-omgeving, het implementeren van consumentengroepen en het aanpassen van Kafka-configuraties.

Apache Spark is een gedistribueerde dataverwerkingsengine die petabytes aan data kan verwerken door die data te bundelen en te verdelen over een cluster van bronnen. Deze training behandelt de gestructureerde streaming engine van Spark.

Verder komt ook het volgende aan bod:

  • Het installeren van Kafka en het aanmaken van topics.
  • Het maken van brokers en een cluster van nodes om berichten mee af te handelen en hun replica's op te slaan.
  • Verbinding maken met Kafka vanuit Python.
  • Verschillende manieren om de prestaties van Kafka te optimaliseren, met behulp van configuraties voor brokers en topics, en voor producenten- en consumentenapps.
  • De gestructureerde streaming engine van Spark, inclusief componenten zoals PySpark shell.
  • Het bouwen van Spark-applicaties die gegevens verwerken die naar Kafka-onderwerpen worden gestreamd met behulp van DataFrames.
  • Je ontdekt Apache Cassandra en leert de stappen die nodig zijn om Spark te koppelen met deze database met brede kolommen.

Inhoud van de training

Processing Data met Apache Kafka

11 uur

Processing Data: Getting Started with Apache Kafka

  • Apache Kafka is a popular event streaming platform used by

  • Fortune 100 companies for both real-time and batch data processing.
  • In this course, you will explore the characteristics of event
  • streaming and how Kafka architecture allows for scalable streaming
  • data. Install Kafka and create some topics, which are essentially
  • channels of communication between apps and data. Set up and work
  • with multiple topics for durable storage. Create multiple brokers
  • and cluster of nodes to handle messages and store their replicas.
  • Then, monitor the settings and logs for those brokers. Finally, see
  • how topic partitions and replicas provide redundancy and maintain
  • high availability.

Processing Data: Integrating Kafka with Python & Using Consumer Groups

  • Producers and consumers are applications that write events to

  • and read events from Kafka. In this course, you will focus on
  • integrating Python applications with a Kafka environment,
  • implementing consumer groups, and tweaking Kafka configurations.
  • Begin by connecting to Kafka from Python. You will produce to and
  • consume messages from a Kafka topic using Python. Next, discover
  • how to tweak Kafka broker configurations. You will place limits on
  • the size of messages and disable deletion of topics. Then, publish
  • messages to partitioned topics and explore the use of partitioning
  • algorithms to determine the placement of messages on partitions.
  • Explore consumer groups, which allow a set of consumers to process
  • messages published to partitioned Kafka topics in parallel -
  • without any duplication of effort. Finally, learn different ways to
  • optimize Kafka's performance, using configurations for brokers and
  • topics, as well as producer and consumer apps.

Processing Data: Introducing Apache Spark

  • Apache Spark is a powerful distributed data processing engine

  • that can handle petabytes of data by chunking that data and
  • dividing across a cluster of resources. In this course, explore
  • Spark’s structured streaming engine, including components like
  • PySpark shell. Begin by downloading and installing Apache Spark.
  • Then create a Spark cluster and run a job from the PySpark shell.
  • Monitor an application and job runs from the Spark web user
  • interface. Then, set up a streaming environment, reading and
  • manipulating the contents of files that are added to a folder in
  • real-time. Finally, run apps on both Spark standalone and local
  • modes.

Processing Data: Integrating Kafka with Apache Spark

  • Flexible and Intuitive, DataFrames are a popular data structure

  • in data analytics. In this course, build Spark applications that
  • process data streamed to Kafka topics using DataFrames. Begin by
  • setting up a simple Spark app that streams in messages from a Kafka
  • topic, processes and transforms them, and publishes them to an
  • output sink. Next, leverage the Spark DataFrame application
  • programming interface by performing selections, projections, and
  • aggregations on data streamed in from Kafka, while also exploring
  • the use of SQL queries for those transformations. Finally, you will
  • perform windowing operations - both tumbling windows, where the
  • windows do not overlap, and sliding windows, where there is some
  • overlapping of data.

Processing Data: Using Kafka with Cassandra & Confluent

  • Apache Cassandra is a trusted open-source NoSQL distributed

  • database that easily integrates with Apache Kafka as part of an ETL
  • pipeline. This course focuses on that integration of Kafka, Spark
  • and Cassandra and explores a managed version of Kafka with the
  • Confluent data streaming platform. Begin by integrating Kafka with
  • Apache Cassandra as part of an ETL pipeline involving a Spark
  • application. Discover Apache Cassandra and learn the steps involved
  • in linking Spark with this wide-column database. Next, examine the
  • various features of the Confluent platform and find out how easy it
  • is to set up and work with a Kafka environment. After completing
  • this course, you will be prepared to implement and manage steam
  • processing systems in your organization.

Kenmerken

Docent inbegrepen
Bereidt voor op officieel examen
Engels (US)
11 uur
Python
180 dagen online toegang
HBO

Meer informatie

Doelgroep Softwareontwikkelaar, Data-analist
Voorkennis

Je beschikt ten minste over basiskennis van dataverwerking.
Resultaat

Na afloop van deze training ben je bekend met Apache Kafka, Apache Spark en Apache Cassandra. Je herkent de kenmerken van event streaming en weet hoe je Python-applicaties kunt integreren met een Kafka-omgeving.

Positieve reacties van cursisten

Training: Leidinggeven aan de AI transformatie

Nuttige training. Het bestelproces verliep vlot, ik kon direct beginnen.

- Mike van Manen

Onbeperkt Leren Abonnement

Onbeperkt Leren aangeschaft omdat je veel waar voor je geld krijgt. Ik gebruik het nog maar kort, maar eerste indruk is goed.

- Floor van Dijk

Training: Leidinggeven aan de AI transformatie

Al jaren is icttrainingen.nl onze trouwe partner op het gebied van kennisontwikkeling voor onze IT-ers. Wij zijn blij dat wij door het platform van icttrainingen.nl maatwerk en een groot aanbod aan opleidingen kunnen bieden aan ons personeel.

- Loranne, Teamlead bij Inwork

Hoe gaat het te werk?

1

Training bestellen

Nadat je de training hebt besteld krijg je bevestiging per e-mail.

2

Toegang leerplatform

In de e-mail staat een link waarmee je toegang krijgt tot ons leerplatform.

3

Direct beginnen

Je kunt direct van start. Studeer vanaf nu waar en wanneer jij wilt.

4

Training afronden

Rond de training succesvol af en ontvang van ons een certificaat!

Veelgestelde vragen

Veelgestelde vragen

Op welke manieren kan ik betalen?

Je kunt bij ons betalen met iDEAL, PayPal, Creditcard, Bancontact en op factuur. Betaal je op factuur, dan kun je met de training starten zodra de betaling binnen is.

Hoe lang heb ik toegang tot de training?

Dit verschilt per training, maar meestal 180 dagen. Je kunt dit vinden onder het kopje ‘Kenmerken’.

Waar kan ik terecht als ik vragen heb?

Je kunt onze Learning & Development collega’s tijdens kantoortijden altijd bereiken via support@icttrainingen.nl of telefonisch via 026-8402941.

Background Frame
Background Frame

Onbeperkt leren

Met ons Unlimited concept kun je onbeperkt gebruikmaken van de trainingen op de website voor een vast bedrag per maand.

Bekijk de voordelen

Heb je nog twijfels?

Of gewoon een vraag over de training? Blijf er vooral niet mee zitten. We helpen je graag verder. Daar zijn we voor!

Contactopties