Data Engineering on Microsoft Azure

Über das Seminar
In diesem Seminar lernen die Teilnehmer Muster und Praktiken für das Data Engineering kennen, soweit es das Arbeiten mit Batch- und Echtzeitanalyselösungen mithilfe von Azure-Datenplattformtechnologien betrifft.

Das Seminar ersetzt ab 01. Juli 2021 die Seminare DP-200T01: Implementing an Azure Data Solution und DP-201T01: Designing an Azure Data Solution.

Das Seminar kann zur Vorbereitung auf die Zertifizierung als Azure Data Engineer genutzt werden.

Inhalt

Compute- und Speicheroptionen für Data-Engineering-Arbeitslasten

• Einführung in Azure Synapse Analytics
• Azure Databricks
• Einführung in Azure-Data-Lake-Speicher
• Delta-Lake-Architektur
• Arbeiten mit Datenströmen unter Verwendung von Azure Stream Analytics

Design und Implementierung des Serving Layer

• Design eines mehrdimensionalen Schemas, um analytische Arbeitslasten zu optimieren
• Codefreie, bedarfsgerechte Transformation mit Azure Data Factory
• Befüllen sich langsam ändernder Dimensionen in Azure-Synapse-Analytics-Pipelines

Data-Engineering-Überlegungen für Quelldateien

• Design eines Modern Data Warehouse mithilfe von Azure Synapse Analytics
• Absichern eines Data Warehouse in Azure Synapse Analytics

Ausführen interaktiver Abfragen mithilfe von serverlosen Azure-Synapse-Analytics-SQL-Pools

• Möglichkeiten serverloser Azure-Synapse-SQL-Pools
• Abfragen von Daten im Lake mithilfe serverloser Azure-Synapse-SQL-Pools
• Erstellen von Metadatenobjekten in serverlosen Azure-Synapse-SQL-Pools
• Absichern von Daten und Verwalten von Benutzern in serverlosen Azure-Synapse-SQL-Pools

Untersuchen, Transformieren und Laden von Daten in das Data Warehouse mithilfe von Apache Spark

• Big-Data-Engineering mit Apache Spark in Azure Synapse Analytics
• Erfassen von Daten mit Apache-Spark-Notebooks in Azure Synapse Analytics
• Transformieren von Daten mit DataFrames in Apache-Spark-Pools in Azure Synapse Analytics
• Integration von SQL- und Apache-Spark-Pools in Azure Synapse Analytics

Datenuntersuchung und -transformation in Azure Databricks

• Azure Databricks
• Lesen und Schreiben von Daten in Azure Databricks
• Arbeiten mit DataFrames in Azure Databricks
• Arbeiten mit erweiterten DataFrames-Methoden in Azure Databricks

Erfassen und Laden von Daten in das Data Warehouse

• Best Practices für das Laden von Daten in Azure Synapse Analytics
• Erfassen von Daten im Petabyte-Maßstab mit Azure Data Factory

Transformieren von Daten mit Azure Data Factory oder Azure-Synapse-Pipelines

• Datenintegration mit Azure Data Factory oder Azure Synapse Pipelines
• Codefreie, bedarfsgerechte Transformation mit Azure Data Factory oder Azure-Synapse-Pipelines

Orchestrierung von Datenbewegung und -transformation in Azure-Synapse-Pipelines

Optimieren der Abfrageleistung mit dedizierten SQL-Pools in Azure Synapse

• Optimieren der Data-Warehouse-Abfrageleistung in Azure Synapse Analytics
• Data-Warehouse-Entwicklerfeatures von Azure Synapse Analytics

Analysieren und Optimieren des Data-Warehouse-Speichers

Unterstützung von Hybrid Transactional Analytical Processing (HTAP) mit Azure Synapse Link

• Design hybrider transaktionaler und analytischer Verarbeitung mithilfe von Azure Synapse Analytics
• Konfiguration von Azure Synapse Link mit Azure Cosmos DB
• Abfragen von Azure Cosmos DB mit Apache-Spark-Pools
• Abfragen von Azure Cosmos DB mit serverlosen SQL-Pools

Ende-zu-Ende-Sicherheit mit Azure Synapse Analytics

• Absichern eines Data Warehouse in Azure Synapse Analytics
• Konfigurieren und Verwalten von Geheimnissen in Azure Key Vault
• Implementieren von Compliancekontrollen für sensible Daten

Echtzeit-Streamverarbeitung mit Stream Analytics

• Verlässliches Messaging für Big-Data-Anwendungen mithilfe von Azure Event Hubs
• Arbeiten mit Datenströmen unter Verwendung von Azure Stream Analytics
• Erfassen von Datenströmen mit Azure Stream Analytics

Erstellen einer Streamverarbeitungslösung mit Event Hubs und Azure Databricks

Erstellen von Berichten mithilfe der Power-BI-Integration mit Azure Synpase Analytics

Integrierte Maschinenlernprozesse in Azure Synapse Analytics

Voraussetzungen

• Kenntnisse über Cloud Computing und wichtige Datenkonzepte sowie Erfahrung mit Datenlösungen
• Diese Kenntnisse können durch den Besuch der Seminare AZ-900T00: Azure Fundamentals und DP-900T00: Microsoft Azure Data Fundamentals erworben werden.

Zielgruppe

• Datenprofis, -architekten und Business-Intelligence-Professionals, die die Datenplattformtechnologien auf Microsoft Azure kennenlernen wollen
• Datenanalysten und -wissenschaftler, die mit analytischen Lösungen arbeiten, die auf Microsoft Azure basieren

Zertifizierungen

Dieses Seminar bereitet auf folgende Zertifizierung vor:

• Microsoft Certified: Azure Data Engineer Associate