Azure Data Lake als bron én als afleverlaag van je datawarehouse
Data uit Azure Data Lake
Azure Data Lake Storage Gen2 heeft in Yres twee rollen. Als bron koppel je een Data Lake via de bron Azure Blob Storage: accountnaam, container (in een Data Lake ook filesystem genoemd) en een SAS-token met lees- en lijstrechten. Er is geen aparte keuze Azure Data Lake in de wizard. Als bestemming kan Yres elke geladen tabel, naast de Azure SQL-database, als Parquet in de Data Lake van je omgeving zetten: per run één bestand met alleen de gewijzigde rijen.
In het kort
- Data Lake als bron
- Toevoegen als Azure Blob Storage-bron, met een SAS-token op het blob-adres van het account. Geen aparte keuze in de wizard
- Wat maakt het een Data Lake
- Een Azure Storage-account met hiërarchische naamruimte ingeschakeld; zonder die instelling is het een gewoon Blob-account
- Invoer
- Naam van het storage-account, container of filesystem, en een SAS-token met minimaal lees- en lijstrechten
- Data Lake als bestemming
- Optioneel: geladen data ook als Parquet wegschrijven. Sinds versie 1.56 als mutatiestroom waaraan alleen wordt toegevoegd
- Inhoud van de mutatiestroom
- Per run één bestand met alleen gewijzigde rijen, elk gemarkeerd als nieuw, gewijzigd of verwijderd. Een run zonder wijzigingen schrijft geen bestand
- Bron van waarheid
- De historie in de Azure SQL-database blijft leidend; de bestanden in de Data Lake zijn daarvan afgeleid
- Waar draait het
- Op de cloud-runtime van Azure Data Factory. Het SAS-adres staat in de Key Vault van je eigen omgeving, nooit in de webapplicatie
Wat je zelf regelt
- 1Controleer in de Azure Portal of het storage-account een Data Lake is: Settings → Configuration → Hierarchical namespace moet op Enabled staan.
- 2Zoek onder Containers de naam van de container (het filesystem) met je bestanden op.
- 3Maak via Security + networking → Shared access signature een SAS-token aan met de Blob-service, lees- en lijstrechten en een vervaldatum, en bewaar het meteen.
- 4Voeg in Yres een bron van het type Azure Blob Storage toe met accountnaam, containernaam en SAS-token.
Wanneer heb je dit nodig — en wanneer niet
Een losse connector is genoeg als…
Werkt je team al volledig in een lakehouse met notebooks en Delta-tabellen en is er geen behoefte aan een SQL-datawarehouse, dan voegt Yres voor het lezen van die lake weinig toe.
Yres voegt iets toe als…
Yres wordt zinvol in twee situaties. Andere systemen zetten bestanden in de Data Lake en je wilt die als tabellen met historie in Power BI. Of je wilt je ERP- en SaaS-bronnen één keer laden en ze zowel in SQL als in Parquet beschikbaar hebben, bijvoorbeeld voor een bronze-, silver- en gold-indeling.
Veelgestelde vragen: Azure Data Lake
Waarom staat Azure Data Lake niet in de lijst met bronnen in Yres?
Omdat een Data Lake Gen2 ook via het blob-adres van het storage-account te lezen is. Je voegt de lake daarom toe als Azure Blob Storage-bron, met dezelfde drie gegevens: accountnaam, container en SAS-token. De opslag die Yres zelf gebruikt om Parquet weg te schrijven is een vaste, interne koppeling en staat los van de bron die jij toevoegt.
Wat schrijft Yres precies weg in de Data Lake?
Sinds versie 1.56 per run en per tabel één Parquet-bestand met alleen de mutaties van die run. Elke rij draagt een markering voor nieuw, gewijzigd of verwijderd, plus een hash van de sleutel, een hash van de rij en het moment waarop de versie inging. De bestanden staan in mappen per bron, schema, tabel, jaar en maand.
Kan ik de Parquet-bestanden gebruiken om Delta-tabellen bij te werken?
Ja, daar is de opzet op gericht. Omdat elk bestand alleen mutaties bevat, inclusief expliciete verwijderingen, kun je het rechtstreeks als invoer voor een MERGE naar een Delta-tabel gebruiken. Uit alle bestanden samen leid je zowel de actuele stand als de volledige historie af.
Ik las de oude bestanden in de Data Lake al uit. Verandert er iets?
Ja. Vóór versie 1.56 schreef elke run de volledige stagingtabel weg. De nieuwe mutatiestroom schrijft naar een ander pad en bevat per bestand alleen wijzigingen. De oude bestanden blijven staan; er wordt niets verplaatst of opgeruimd. Rapporten of notebooks die op een volledige momentopname per bestand rekenden, moet je aanpassen.
Volledige technische beschrijving in de kennisbank →·Laatst gecontroleerd:
Datawarehouse-automatisering die in je eigen Azure draait
Gebouwd voor organisaties op Azure en Power BI. Yres koppelt je bronnen, bewaart de historie en rolt wijzigingen gecontroleerd uit, zonder handwerk.