Microsofts metadata-driven Copy Data-patroon: tot waar het volstaat
Azure Data Factory heeft een ingebouwd patroon om honderden tabellen te kopiëren zonder voor elke tabel een eigen pijplijn te bouwen: de metadata-driven Copy Data-taak. Het is een goed idee, en het werkt.
De vraag is wat er daarna gebeurt. Kopiëren is maar de eerste helft van een datawarehouse, en ook nog de makkelijke. We volgen een groothandel door de eerste week met dit patroon.
Gepubliceerd: · Laatst bijgewerkt: · Door Daniel Sanders, architect van Yres en oprichter van Plainwater
Wat doet het patroon?
Sanne is de data-engineer van de groothandel. Ze opent in Azure Data Factory de Copy Data-wizard en kiest de optie voor een metadata-gestuurde kopie. Als bron wijst ze het boekhoudpakket aan, als doel de nieuwe database. De wizard laat haar de 280 tabellen aanvinken en maakt een besturingstabel aan met per tabel één regel. Daarnaast genereert hij drie pijplijnen. Samen lezen die de besturingstabel, verdelen ze het werk in porties en voeren ze per tabel een kopie uit.
Per tabel kiest Sanne voor een volledige kopie of een kopie van alleen de gewijzigde rijen. Dat laatste werkt met een wijzigingskolom, waarvan de besturingstabel de laatste waarde bijhoudt. Doeltabellen die nog niet bestaan, maakt de kopieerstap zelf aan.
Dat is in een middag gedaan. Dezelfde nacht staan 280 tabellen in de database, en de nacht erna zijn ze bijgewerkt. Een nieuwe tabel toevoegen is één regel extra in de besturingstabel, zonder pijplijn, dataflow of cluster per tabel. Het probleem van honderden varianten van dezelfde kopieerstap, uit het artikel over historie bijhouden bij honderden tabellen, lost het patroon daarmee op.
Voor de kopieerstap tenminste. De rest van dit artikel gaat over wat het patroon niet doet. Dat is geen kritiek: het heet een kopieertaak, en het kopieert.
De eerste week: waar het ophoudt
Dinsdag. Bakkerij Ter Horst is maandag verhuisd van Zwolle naar Deventer. In de gekopieerde klanttabel staat nu Deventer, en Zwolle is weg. De kopie is precies dat: de stand van de bron van vannacht, zonder gisteren. Een omzetrapport per vestigingsplaats over het eerste kwartaal telt de bakkerij vanaf nu bij Deventer, en niemand kan nog zien dat dat vorige week anders was. Historie bijhouden is een stap die het patroon niet kent.
Woensdag. Een leverancier is in het boekhoudpakket verwijderd. Dat kan op twee manieren misgaan. Bij een volledige kopie verdwijnt hij stilletjes uit de doeltabel, en de inkooporders die naar hem verwijzen, wijzen naar niets meer. Bij een kopie van alleen de wijzigingen gebeurt het omgekeerde. Een verwijderde rij wordt niet meer aangeleverd, dus de kopie ziet hem nooit en de leverancier blijft in de doeltabel staan alsof hij nog bestaat. Welke van de twee je krijgt, hangt af van de keuze per tabel. Verkeerd is het in beide gevallen.
Donderdag. De pakketupdate met de betalingstermijn op de klantkaart komt binnen. De besturingstabel kent per tabel een vaste kolomtoewijzing, en de doeltabel heeft de kolommen van maandag. De nieuwe kolom komt dus niet mee, of de kopie stopt met een fout, afhankelijk van de instelling. Sanne past de regel in de besturingstabel aan en daarna de doeltabel in de database. Dat is een kwartier werk voor één tabel, en de update raakte er 30.
Vrijdag. De webshop blijkt een API te zijn in plaats van een set tabellen. Ze antwoordt per pagina van 100 records, wil een toegangssleutel die elk uur verloopt en accepteert niet meer dan 10 verzoeken per seconde. De kopieerstap van Azure Data Factory kan zo'n API aanroepen. Maar pagina's doorlopen, de sleutel verversen en de limiet respecteren zijn geen regels in een besturingstabel. Dat wordt een eigen pijplijn naast het patroon, met de hand gebouwd.
Elke ochtend is er het monitoringscherm. Om drie uur 's nachts is één van de 280 kopieën mislukt. In het overzicht van Azure Data Factory is dat één rode regel tussen honderden uitvoeringen van dezelfde gegenereerde pijplijn. Welke tabel het was, staat er niet bij, net zomin als sinds wanneer of welke afhankelijke tabellen nu een halve nacht missen. Sanne klikt zich door de uitvoeringen tot ze hem vindt.
Kopiëren is de makkelijke helft
Zet de week op een rij en je ziet wat een datawarehouse na de kopie nog nodig heeft: historie per rij, een antwoord op verwijderde rijen en een manier om nieuwe kolommen te volgen zonder handwerk per tabel. Daarnaast sleutels per tabel, zodat een wijziging als wijziging wordt herkend, en een vertaling van brontypes naar databasetypes die niet per tabel verschilt. En dan zijn er nog bronnen die een API zijn in plaats van een tabel, en monitoring die per tabel laat zien wat er gebeurde in plaats van per pijplijnuitvoering.
Elk punt op die lijst is een beslissing per tabel. Wie dat 280 keer met de hand doet, krijgt 280 varianten. De besturingstabel heeft het probleem opgelost voor de kopieerstap, maar voor alles daarna ligt het er nog. Dat ligt niet aan de wizard. Een kopie houdt daar nu eenmaal op.
Hoe Yres hetzelfde idee doortrekt tot het einde
Yres gebruikt hetzelfde gereedschap. De kopie van bron naar database loopt ook in Yres door Azure Data Factory, in de eigen omgeving van de klant en met dezelfde kopieerstap als de wizard. Het verschil zit in wat ervoor en erna gebeurt.
Ervoor. De besturingstabel vul je niet met de hand. Yres leest zelf de structuur van de bron uit en legt die vast als metadata: tabellen, kolommen, types en sleutels. Uit die metadata maakt Yres de doeltabellen aan, met de vaste kolommen voor historie erbij. Verandert de bron, dan ververs je de metadata en worden de doeltabellen aangepast. De betalingstermijn van donderdag is dan één handeling voor alle 30 tabellen tegelijk.
Tijdens. Eén orkestratie leest elke nacht uit de metadata wat er geladen moet worden, en stuurt elke tabel naar de pijplijn die bij zijn brontype hoort. Voor een database is dat een rechtstreekse kopie. Voor een API zoals de webshop, of een pakket als AFAS of Exact Online, is het een pijplijn die de pagina's doorloopt, de sleutel ververst en de limiet respecteert. Die pijplijnen bestaan per brontype en niet per tabel, dus er is geen besturingstabel die iemand moet bijhouden.
Erna. Zodra een tabel in de landingszone staat, neemt de motor het over. Die vergelijkt met de vingerafdrukken, sluit oude versies af, voegt nieuwe toe, handelt verdwenen rijen af volgens de laadwijze en schuift het watermerk op. Vóór de nacht zet Yres de database een niveau omhoog en daarna weer omlaag, zodat de zware uren snel gaan zonder dat de rekening de hele dag doorloopt. Het monitoringscherm toont per tabel wat er gebeurde, met status, duur en aantal rijen, en een tijdlijn laat zien welke tabellen in welke volgorde liepen. De mislukte kopie van drie uur 's nachts is daar gewoon één rij met een tabelnaam.
| Onderdeel | Metadata-driven Copy Data | Yres |
|---|---|---|
| Wat er geladen wordt | Besturingstabel, met de hand gevuld en onderhouden | Metadata, uit de bron zelf gelezen en te verversen |
| De kopie | Azure Data Factory, volledig of op een wijzigingskolom | Azure Data Factory, zeven laadwijzen per tabel |
| Doeltabellen | Aangemaakt als kopie van de bron | Gegenereerd uit de metadata, met de kolommen voor historie |
| Historie en verwijderde rijen | Niet, de kopie is de stand van vannacht | Versies per rij, verwijderingen volgens de laadwijze |
| Nieuwe kolom in de bron | Regel en doeltabel per tabel aanpassen | Metadata verversen, voor alle geraakte tabellen tegelijk |
| API-bronnen met pagina's en sleutels | Eigen pijplijn naast het patroon | Pijplijn per brontype, gestuurd uit dezelfde metadata |
| Monitoring | Per pijplijnuitvoering | Per tabel, met status, duur, aantallen en tijdlijn |
Wanneer is het patroon genoeg?
Soms is de kopie het hele verhaal, en dan is de wizard de juiste keuze. Denk aan een landingszone in een data lake die alleen de ruwe stand van elke nacht hoeft te bevatten, een eenmalige migratie tussen twee databases, een archief waarin je de bron één keer per maand vastlegt, of een omgeving met alleen databases en bestanden als bron. Het zijn steeds situaties waarin niemand ooit vraagt hoe het vorige week was.
Zodra er een rapport op moet draaien dat ook over vorige maand klopt, komt de tweede helft erbij. Wie met de wizard begint, bouwt die tweede helft daarna per tabel met de hand. Wie weet dat die tweede helft eraan komt, kan beter beginnen met iets dat beide helften al heeft.
Veelgestelde vragen
Kan ik het Copy Data-patroon gebruiken en daarachter zelf historie bouwen?
Ja, en veel teams doen dat ook. De kopie landt in een tussentabel, met daarachter per tabel een vergelijking die versies bijhoudt. Voor een handvol tabellen werkt dat. Bij honderden tabellen bouw en onderhoud je elke vergelijking met de hand, en krijg je de varianten uit het artikel over historie bijhouden.
Gebruikt Yres zelf Azure Data Factory?
Ja. De kopie van bron naar database loopt bij Yres door Azure Data Factory, in de omgeving van de klant en met dezelfde kopieerstap. Yres voegt daar de metadata, de pijplijnen per brontype en de motor voor historie aan toe. Wie al met Azure Data Factory werkt, blijft dus in dezelfde omgeving.
Werkt het patroon met API's zoals AFAS, Exact Online of een webshop?
De kopieerstap kan een API aanroepen. Maar pagina's doorlopen, toegangssleutels verversen en verzoeklimieten respecteren staan niet in de besturingstabel, dus dat wordt per bron een eigen pijplijn. Yres heeft voor zulke bronnen een pijplijn per brontype, die uit dezelfde metadata wordt gestuurd als de databasebronnen.
Wat gebeurt er in het patroon als een bron een kolom toevoegt?
De besturingstabel kent per tabel een vaste kolomtoewijzing, en de doeltabel heeft de kolommen van het moment van inrichten. De nieuwe kolom komt dus niet mee, of de kopie stopt met een fout. In beide gevallen is het handwerk per tabel. Bij Yres ververs je de metadata van de bron, en worden de doeltabellen van alle geraakte tabellen aangepast.
Praat met een data-architect
In 30 minuten kijkt een data-architect met je mee naar je huidige dataomgeving en waar het nu wringt.
Plan een gesprek →Verder lezen
- Historie bijhouden op Azure Data Factory: waarom dat omvalt bij honderden tabellen
- Waarom datawarehouse-automatisering bovenop Azure Data Factory?
- Alle koppelingen
- Schema drift: wat er gebeurt als een bron een kolom hernoemt
- AFAS naar een Azure-datawarehouse: koppeling tegenover automatisering
- Exact Online naar Azure: paginering, API-limieten en historie

