Zielgruppe

Dieser Kurs richtet sich an Software-Entwickle, die mit Spark arbeiten werden. Hierzu gehören unter anderem ETL Entwickler, Data Engineers als auch Data Scientists.

Agenda

Anhand vieler praktischer Übungen wird eine tiefgehende Einführung in Apache Spark gegeben. Für Gruppen, für die zudem das gesamte Thema Hadoop neu ist, kann außerdem an einem zusätzlichen Schulungstag vorneweg eine Einführung in die Hadoop Plattform gegeben werden

  • Einführung in das Hadoop Ökosystem (HDFS, YARN, Hive, …) (optional, ca 1 Tag)
  • Einführung in Scala und funktionale Programmierung (optional, ca 1 Tag)
  • Spark Cluster Architektur und Integration in Hadoop
  • Spark RDD API
  • Spark DataFrame API
  • Spark Dataset API
  • Spark Streaming (RDD und Structured Streaming)
  • Spark GraphX

Benötigte Kenntnisse

Die Teilnehmer sollten grundlegende Programmier- und SQL Kenntnisse besitzen. Die Programmierbeispiele für Apache Spark werden wahlweise in Python oder in Scala umgesetzt.

Optional kann auch eine Einführung in Scala durchgeführt werden, aus der Erfahrung sollte hierfür allerdings ein ganzer Tag reserviert werden. Alternativ zeigt die Erfahrung zeigt, dass sich Teilnehmer mit Kenntnissen in anderen Programmiersprachen schnell in Python zurechtfinden. Gerne beraten wir Sie zur Wahl der Programmiersprache in Hinblick auf den geplanten Einsatzbereich von Apache Spark.

Technische Voraussetzung

Da der Kurs sehr viele praktische Übungen beinhaltet, sollten die Teilnehmer über eigene Rechner verfügen. Um ein möglichst realistisches Erlebnis zu ermöglichen, erhält jeder Teilnehmer ein eigenes kleines Cluster innerhalb der Amazon Cloud, der Zugriff erfolgt über SSH und den Web-Browser.

Dauer und Kosten

Der Kurs ist als In-House Schulung bei Ihnen auf eine Dauer von 3 Tagen angelegt, je nach gewünschtem Umfang und Tiefe. Um die Schulungsqualität zu garantieren ist die Kursgröße auf 12 Teilnehmer begrenzt. Die Kosten belaufen sich auf 1.290 EUR netto pro Schulungstag zuzüglich Anreise- und Übernachtungskosten. Für die Bereitstellung und Nutzung der Amazon Infrastruktur können zusätzliche Kosten anfallen. Gerne erstellen wir Ihnen ein unverbindliches Angebot.