Skip to content

About

Enterprise Microsoft Data Platform: SQL Server, Microsoft Fabric (DP-600/DP-700), PySpark Delta Lake, Warehouse T-SQL & Power BI Direct Lake Analytics.

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Repository files navigation

Data-Engineering-Wissensdatenbank & Code-Sammlung

Persönliche Wissensdatenbank mit Lernnotizen, Best Practices und Vorlagen für Microsoft Data Analytics & Engineering (Microsoft SQL Server, Power BI & Microsoft Fabric).


🌟 End-to-End-Projekt: Supermarkt-Medallion & Power BI Direct Lake

Vollständiges Referenzprojekt: Vom lokalen Microsoft SQL Server über On-Premises Data Gateway, Medallion-Architektur (Bronze → Silver → Gold), Fabric Warehouse CTAS & Stored Procedures bis hin zum semantischen Modell (Power BI Direct Lake) & Management-Dashboard.
🔗 Eigenständiges Projekt-Repository: alefritz19/Supermarkt-Medallion-Lakehouse-Fabric ➔
👉 Zur Schritt-für-Schritt-Anleitung (Schritte 1 bis 8)

⚡ Projekt 2: Hybride Ingestion (SQL Server ➔ On-Premises Gateway ➔ Fabric Direct Lake)

Hybride Pipeline in einer Laborumgebung: Automatische Datenextraktion aus lokalem AdventureWorksDW2020 via Local_Gateway_Alex_F und Dataflow Gen2 direkt in Microsoft Fabric Lakehouse Delta Tables (DimProduct, DimReseller, DimSalesTerritory, FactResellerSales), Sternschema-Modellierung und interaktive Power-BI-Berichte im Direct-Lake-Modus.
👉 Zum vollständigen Projektbericht & Architektur-Diagramm


🏛️ Repository-Struktur

Data-Engineering-KnowledgeBase/
├── 00_Guides_and_CheatSheets/     # Leitfäden & PDF-Handbücher (DP-700, PySpark)
├── 01_SQL-Server/                 # T-SQL: DQL, DDL, Stored Procedures, Performance Tuning
│   ├── 01_DQL_Queries/            # CTEs, Window Functions (Moving Averages, Ranking, Dedup)
│   ├── 02_DDL_DML_Scripts/        # Tabellen, Constraints, Indizes, Views
│   ├── 03_StoredProcedures/       # Prozeduren mit Transaktionen (BEGIN TRAN / COMMIT, TRY/CATCH)
│   └── 04_Performance_Tuning/     # DMV-Abfragen, Ausführungspläne, Index-Optimierung
├── 02_Power-BI/                   # Power Query (M), DAX Measures, Datenmodellierung
│   ├── 01_PowerQuery_M/           # Kalender-Generatoren und Datenbereinigungsskripte (M)
│   ├── 02_DAX_Measures/           # Time Intelligence (YTD, YoY Growth, Moving Average), KPIs
│   ├── 03_DataModels/             # Sternschema (Star Schema Best Practices, 1:n Beziehungen)
│   └── 04_Templates/              # Standardisierte Unternehmens-Farbpaletten (JSON)
└── 03_Fabric-DataEngineering/     # Microsoft Fabric (DP-600 & DP-700)
    ├── 01_Medallion_Supermarkt_DP700/ # ⭐ HAUPTPROJEKT: End-to-End-Supermarkt-Projekt & Power BI Direct Lake
    ├── 01_Ingestion_DataFactory/  # Data Pipelines, inkrementelles Laden (Watermark / Delta Load)
    ├── 02_Notebooks_PySpark/      # PySpark Notebooks (Bronze -> Silver -> Gold), Z-Order
    ├── 03_DataWarehouse_SQL/      # Fabric DW: T-SQL Cross-Database Queries, CTAS, Stored Procedures
    └── 04_CI_CD_Git/              # Git-Integration des Arbeitsbereichs (Azure DevOps / GitHub)

🔗 Schnellzugriff auf offizielle Dokumentationen & Standards

1. Microsoft SQL Server & T-SQL

2. Power BI & DAX / Power Query (M)

  • DAX Guide (SQLBI) — Vollständige DAX-Referenz von Marco Russo und Alberto Ferrari mit Ausführungsplänen und Filterkontext-Details.
  • DAX Patterns — Getestete Muster für Time Intelligence, kumulative Summen und ABC-Analysen.
  • Power Query M Language Reference — Dokumentation der M-Formelsprache für ETL-Prozesse.

3. Microsoft Fabric (Zertifizierung DP-600 & DP-700)


🚀 Lokales interaktives Portal

Öffne die Datei index.html in einem beliebigen Browser, um eine grafische Schnellstart-Übersicht aller lokalen Vorlagen und offiziellen Dokumente zu erhalten.

About

Enterprise Microsoft Data Platform: SQL Server, Microsoft Fabric (DP-600/DP-700), PySpark Delta Lake, Warehouse T-SQL & Power BI Direct Lake Analytics.

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages