Training: Continuous Data in Snowflake
Data Analist
4 uur
Engels (US)

Training: Continuous Data in Snowflake

Snel navigeren naar:

  • Informatie
  • Inhoud
  • Kenmerken
  • Meer informatie
  • Reviews
  • FAQ

Productinformatie

Gegevens worden over het algemeen verwerkt met behulp van een batch- of stroommethode, afhankelijk van hoeveel tijd tussen het genereren en verwerken van gegevens acceptabel is. De Snowflake-functie Snowpipes verwerkt gegevens in microbatches die tussen deze twee scenario's in vallen. In deze training behandel je de implementatie van Snowpipes, wanneer gegevens afkomstig zijn uit een interne Snowflake-fase. Je begint met het bekijken van opties voor gegevensopname in Snowflake vanuit een theoretisch oogpunt, inclusief de verschillen tussen het laden van bulkgegevens en Snowpipes. Vervolgens krijg je hands-on tools om de infrastructuur voor gegevensopname op te zetten: een interne fase voor CSV-gegevens, een bestemmingstabel voor een gegevensbelasting en een pijp om de belasting in microbatches uit te voeren. Vervolgens implementeer je de automatische opname van CSV-bestanden van externe Snowflake-fasen die zich op de AWS- en Azure-cloudplatforms bevinden om zo een pijplijn voor continue gegevensopname op te zetten. Deze pijplijn zal verschillende componenten bevatten, zoals wachtrijen, bedrijfsapplicaties en opslagintegraties, evenals de machtigingen die nodig zijn om deze onderdelen met elkaar te laten communiceren.

Inhoud van de training

Continuous Data in Snowflake

4 uur

Continuous Data: Ingesting Continuous Data in Snowflake

  • Data is generally processed using a batch or stream methodology

  • depending on how much time between data generation and processing
  • is acceptable. The Snowflake feature Snowpipes processes data in
  • micro-batches which fall in between these two scenarios. In this
  • course, you will cover the implementation of Snowpipes when data is
  • sourced from an internal Snowflake stage. You will kick things off
  • by looking at data ingestion options in Snowflake from a
  • theoretical standpoint, including the differences between bulk data
  • loading and Snowpipes. Then, you get hands-on to set up the
  • infrastructure for data ingestion: an internal stage for CSV data,
  • a destination table for a data load, and a pipe to carry out the
  • load in micro-batches. Next, you will ingest the data into the
  • destination table and explore how this process can be monitored by
  • tracking the pipe status. Finally, you will implement a Snowflake
  • task to trigger a Snowpipe at regular time intervals.

Continuous Data: Automating Data Ingestion from Cloud Storage into Snowflake

  • The Snowpipe feature allows Snowflake to input micro-batches of

  • data as it becomes available, generally within minutes of the data
  • being added to a stage and submitted for ingestion. In this course,
  • you will implement the auto-ingestion of CSV files from external
  • Snowflake stages located on the AWS and Azure cloud platforms. You
  • will begin by setting up a continuous data ingestion pipeline where
  • the data source is located in an Azure Storage Container. This
  • pipeline will include several components, such as queues,
  • enterprise applications, and storage integrations as well as the
  • permissions required to get these pieces to talk to one another.
  • You will then implement something similar with an Amazon S3 bucket
  • as the source of data. This set-up will involve AWS services such
  • as IAM roles, SNS topics, as well as Snowflake objects such as
  • notification integrations and pipes.

Kenmerken

Docent inbegrepen
Bereidt voor op officieel examen
Engels (US)
4 uur
Data Analist
90 dagen online toegang
HBO

Meer informatie

Doelgroep Systeembeheerder, Databasebeheerders, Data-analist
Voorkennis

Enige voorkennis van het onderwerp wordt aanbevolen.
Resultaat

Na het voltooien van deze training ben je in staat om een pijplijn voor continue gegevensopname op te zetten om microbatches met gegevens in te voeren zodra deze beschikbaar komen.

Positieve reacties van cursisten

Training: Leidinggeven aan de AI transformatie

Nuttige training. Het bestelproces verliep vlot, ik kon direct beginnen.

- Mike van Manen

Onbeperkt Leren Abonnement

Onbeperkt Leren aangeschaft omdat je veel waar voor je geld krijgt. Ik gebruik het nog maar kort, maar eerste indruk is goed.

- Floor van Dijk

Training: Leidinggeven aan de AI transformatie

Al jaren is icttrainingen.nl onze trouwe partner op het gebied van kennisontwikkeling voor onze IT-ers. Wij zijn blij dat wij door het platform van icttrainingen.nl maatwerk en een groot aanbod aan opleidingen kunnen bieden aan ons personeel.

- Loranne, Teamlead bij Inwork

Hoe gaat het te werk?

1

Training bestellen

Nadat je de training hebt besteld krijg je bevestiging per e-mail.

2

Toegang leerplatform

In de e-mail staat een link waarmee je toegang krijgt tot ons leerplatform.

3

Direct beginnen

Je kunt direct van start. Studeer vanaf nu waar en wanneer jij wilt.

4

Training afronden

Rond de training succesvol af en ontvang van ons een certificaat!

Veelgestelde vragen

Veelgestelde vragen

Op welke manieren kan ik betalen?

Je kunt bij ons betalen met iDEAL, PayPal, Creditcard, Bancontact en op factuur. Betaal je op factuur, dan kun je met de training starten zodra de betaling binnen is.

Hoe lang heb ik toegang tot de training?

Dit verschilt per training, maar meestal 180 dagen. Je kunt dit vinden onder het kopje ‘Kenmerken’.

Waar kan ik terecht als ik vragen heb?

Je kunt onze Learning & Development collega’s tijdens kantoortijden altijd bereiken via support@icttrainingen.nl of telefonisch via 026-8402941.

Background Frame
Background Frame

Onbeperkt leren

Met ons Unlimited concept kun je onbeperkt gebruikmaken van de trainingen op de website voor een vast bedrag per maand.

Bekijk de voordelen

Heb je nog twijfels?

Of gewoon een vraag over de training? Blijf er vooral niet mee zitten. We helpen je graag verder. Daar zijn we voor!

Contactopties