Training: Processing Data met Apache Kafka
Gegevens
In deze training maak je kennis met Apache Kafka. Apache Kafka is een event streaming platform dat gebruikt wordt door Fortune 100 bedrijven. Je verkent de kenmerken van event streaming en hoe de KAFKA-architectuur schaalbare streaming van data mogelijk maakt. Ook richt deze training zich op het integreren van Python-applicaties met een Kafka-omgeving, het implementeren van consumentengroepen en het aanpassen van Kafka-configuraties.
Apache Spark is een gedistribueerde dataverwerkingsengine die petabytes aan data kan verwerken door die data te bundelen en te verdelen over een cluster van bronnen. Deze training behandelt de gestructureerde streaming engine van Spark.
Verder komt ook het volgende aan bod:
- Het installeren van Kafka en het aanmaken van topics.
- Het maken van brokers en een cluster van nodes om berichten mee af te handelen en hun replica's op te slaan.
- Verbinding maken met Kafka vanuit Python.
- Verschillende manieren om de prestaties van Kafka te optimaliseren, met behulp van configuraties voor brokers en topics, en voor producenten- en consumentenapps.
- De gestructureerde streaming engine van Spark, inclusief componenten zoals PySpark shell.
- Het bouwen van Spark-applicaties die gegevens verwerken die naar Kafka-onderwerpen worden gestreamd met behulp van DataFrames.
- Je ontdekt Apache Cassandra en leert de stappen die nodig zijn om Spark te koppelen met deze database met brede kolommen.
Resultaat
Na afloop van deze training ben je bekend met Apache Kafka, Apache Spark en Apache Cassandra. Je herkent de kenmerken van event streaming en weet hoe je Python-applicaties kunt integreren met een Kafka-omgeving.
Voorkennis
Je beschikt ten minste over basiskennis van dataverwerking.
Doelgroep
Softwareontwikkelaar, Data-analist
Inhoud
Processing Data met Apache Kafka
Processing Data: Getting Started with Apache Kafka
Apache Kafka is a popular event streaming platform used by
- Fortune 100 companies for both real-time and batch data processing.
- In this course, you will explore the characteristics of event
- streaming and how Kafka architecture allows for scalable streaming
- data. Install Kafka and create some topics, which are essentially
- channels of communication between apps and data. Set up and work
- with multiple topics for durable storage. Create multiple brokers
- and cluster of nodes to handle messages and store their replicas.
- Then, monitor the settings and logs for those brokers. Finally, see
- how topic partitions and replicas provide redundancy and maintain
- high availability.
Processing Data: Integrating Kafka with Python & Using Consumer Groups
Producers and consumers are applications that write events to
- and read events from Kafka. In this course, you will focus on
- integrating Python applications with a Kafka environment,
- implementing consumer groups, and tweaking Kafka configurations.
- Begin by connecting to Kafka from Python. You will produce to and
- consume messages from a Kafka topic using Python. Next, discover
- how to tweak Kafka broker configurations. You will place limits on
- the size of messages and disable deletion of topics. Then, publish
- messages to partitioned topics and explore the use of partitioning
- algorithms to determine the placement of messages on partitions.
- Explore consumer groups, which allow a set of consumers to process
- messages published to partitioned Kafka topics in parallel -
- without any duplication of effort. Finally, learn different ways to
- optimize Kafka's performance, using configurations for brokers and
- topics, as well as producer and consumer apps.
Processing Data: Introducing Apache Spark
Apache Spark is a powerful distributed data processing engine
- that can handle petabytes of data by chunking that data and
- dividing across a cluster of resources. In this course, explore
- Spark’s structured streaming engine, including components like
- PySpark shell. Begin by downloading and installing Apache Spark.
- Then create a Spark cluster and run a job from the PySpark shell.
- Monitor an application and job runs from the Spark web user
- interface. Then, set up a streaming environment, reading and
- manipulating the contents of files that are added to a folder in
- real-time. Finally, run apps on both Spark standalone and local
- modes.
Processing Data: Integrating Kafka with Apache Spark
Flexible and Intuitive, DataFrames are a popular data structure
- in data analytics. In this course, build Spark applications that
- process data streamed to Kafka topics using DataFrames. Begin by
- setting up a simple Spark app that streams in messages from a Kafka
- topic, processes and transforms them, and publishes them to an
- output sink. Next, leverage the Spark DataFrame application
- programming interface by performing selections, projections, and
- aggregations on data streamed in from Kafka, while also exploring
- the use of SQL queries for those transformations. Finally, you will
- perform windowing operations - both tumbling windows, where the
- windows do not overlap, and sliding windows, where there is some
- overlapping of data.
Processing Data: Using Kafka with Cassandra & Confluent
Apache Cassandra is a trusted open-source NoSQL distributed
- database that easily integrates with Apache Kafka as part of an ETL
- pipeline. This course focuses on that integration of Kafka, Spark
- and Cassandra and explores a managed version of Kafka with the
- Confluent data streaming platform. Begin by integrating Kafka with
- Apache Cassandra as part of an ETL pipeline involving a Spark
- application. Discover Apache Cassandra and learn the steps involved
- in linking Spark with this wide-column database. Next, examine the
- various features of the Confluent platform and find out how easy it
- is to set up and work with a Kafka environment. After completing
- this course, you will be prepared to implement and manage steam
- processing systems in your organization.
Opties bij cursus
Wij bieden, naast de training, in sommige gevallen ook diverse extra leermiddelen aan. Wanneer u zich gaat voorbereiden op een officieel examen dan raden wij aan om ook de extra leermiddelen te gebruiken die beschikbaar zijn bij deze training. Het kan voorkomen dat bij sommige cursussen alleen een examentraining en/of LiveLab beschikbaar is.
Examentraining (proefexamens)
In aanvulling op deze training kunt u een speciale examentraining aanschaffen. De examentraining bevat verschillende proefexamens die het echte examen dicht benaderen. Zowel qua vorm als qua inhoud. Dit is de ultieme manier om te testen of u klaar bent voor het examen.
LiveLab
Als extra mogelijkheid bij deze training kunt u een LiveLab toevoegen. U voert de opdrachten uit op de echte hardware en/of software die van toepassing zijn op uw Lab. De LiveLabs worden volledig door ons gehost in de cloud. U heeft zelf dus alleen een browser nodig om gebruik te maken van de LiveLabs. In de LiveLab omgeving vindt u de opdrachten waarmee u direct kunt starten. De labomgevingen bestaan uit complete netwerken met bijvoorbeeld clients, servers, routers etc. Dit is de ultieme manier om uitgebreide praktijkervaring op te doen.
Inloggen
Waarom Icttrainingen.nl?
Betaal in termijnen
| Cursusnaam | |
| Looptijd | |
| Rentebedrag financiering | |
| Totaal bedrag | |
| Maandbedrag |
Gespreid betalen met Spraypay
Met de betaaloptie SprayPay kun je jouw bestelling van € 250,- tot € 3.500,- veilig en gespreid betalen in gelijke termijnen van 12, 18, 24 of 36 maanden. Je hebt op die manier een minimale financiële belasting en je kunt eenvoudig de termijnbetalingen opnemen in jouw vaste lasten.
Hoe werkt het kopen op afbetaling? De beoordeling van de kredietaanvraag vindt online plaats. Binnen enkele seconden weet je of je in aanmerking komt voor een krediet. Is de aanvraag akkoord dan kun je meteen genieten van je aankoop.
Let op: deze betaalmetode is aleen beschikbaar voor particulieren! Bekijk voor je aankoop ook de SprayPay voorwaarden.
Via ons opleidingsconcept bespaar je tot 80% op trainingen
Start met leren wanneer je wilt. Je bepaalt zelf het gewenste tempo
Spar met medecursisten en profileer je als autoriteit in je vakgebied.
Ontvang na succesvolle afronding van je cursus het certificaat van deelname van Icttrainingen.nl
Krijg inzicht in uitgebreide voortgangsinformatie van jezelf of je medewerkers
Kennis opdoen met interactieve e-learning en uitgebreide praktijkopdrachten door gecertificeerde docenten
Bestelproces
Zodra wij uw order en betaling hebben verwerkt, zetten wij uw trainingen klaar en kunt u aan de slag. Heeft u toch nog vragen over ons orderproces kunt u onderstaande button raadplegen.
Een zakelijk account aanmaken
Wanneer je bestelt namens je bedrijf doe je er goed aan om aan zakelijk account bij ons aan te maken. Tijdens het registratieproces kan je hiervoor kiezen. Je hebt vervolgens de mogelijkheden om de bedrijfsgegevens in te voeren, PO-nummer & referentie en een afwijkend factuuradres toe te voegen.
Betaalmogelijkheden
Je hebt bij ons diverse betaalmogelijkheden. Bij alle betaalopties ontvang je sowieso een factuur na de bestelling. Gaat je werkgever betalen, dan kies je voor betaling per factuur.
Cursisten aanmaken
Als je een zakelijk account hebt aangemaakt dan heb je de optie om cursisten/medewerkers aan te maken onder je account. Als je dus meerdere trainingen koopt, kan je cursisten aanmaken en de cursussen vervolgens uitdelen aan je collega’s. De cursisten krijgen een e-mail met inloggegevens en dat zij kunnen starten met de cursus.
Voortgangsinformatie
Met een zakelijk account ben je automatisch beheerder van je organisatie en kan je naast cursisten ook managers aanmaken. Beheerders en managers kunnen tevens voortgang inzien van alle cursisten binnen de organisatie.
Wat is inbegrepen?
| Certificaat van deelname | ja |
| Voortgangsbewaking | ja |
| Award Winning E-learning | ja |
| Geschikt voor mobiel | ja |
| Kennis delen | Onbeperkte toegang tot onze community met IT professionals |
| Studieadvies | Onze consultants zijn beschikbaar om je te voorzien van studieadvies |
| Studiemateriaal | Gecertificeerde docenten met uitgebreide kennis over de onderwerpen |
| Service | Service via chat, telefoon, e-mail (razendsnel) |
Platform
Na bestelling van je training krijg je toegang tot ons innovatieve leerplatform. Hier vind je al je gekochte (of gevolgde) trainingen, kan je eventueel cursisten aanmaken en krijg je toegang tot uitgebreide voortgangsinformatie.
FAQ
- Op welke manieren kan ik betalen?
- Hoe werkt het bestelproces?
- Kan ik persoonlijke begeleiding krijgen bij mijn training?
Niet gevonden wat je zocht? Bekijk alle vragen of neem contact op.