Een kredietlimiet in een klanttabel verandert 's nachts van € 25.000 naar € 40.000, waarna de oude versie dichtklapt en naar de versiestapel gaat met de datum waarop hij gold. Daarna loopt een tijdlijn terug naar 25 september tot de oude waarde weer in de tabel staat.

Wat terugdraaien in een datawarehouse echt betekent

Dinsdag, 11.00 uur. De kredietafdeling belt: 300 klanten hebben opeens een kredietlimiet van 40.000 euro in plaats van 25.000 euro. De oorzaak is een exportfout in het boekhoudpakket dat maandagnacht de limieten in de verkeerde kolom zette. Het laden slaagde gewoon, want technisch was er niets mis.

De oplossing lijkt simpel: zet de tabel terug naar hoe hij was. Dit artikel laat aan de hand van dit voorbeeld zien wat er dan gebeurt en waar het misgaat als je het met de hand probeert.

Gepubliceerd: · Laatst bijgewerkt: · Door , architect van Yres en oprichter van Plainwater

Wat betekent terugdraaien in een datawarehouse?

Terugdraaien betekent dat je een tabel terugzet naar hoe hij was op een moment dat jij aanwijst. Alles wat daarna is binnengekomen gaat eruit, de waarden die toen golden worden weer de actuele waarden en het punt waar de volgende laadactie begint schuift mee terug.

Dat is iets anders dan terugdraaien in een gewone database. Een gewone database kan een wijziging alleen terugdraaien zolang die nog niet is afgerond. In het voorbeeld is dat moment al negen uur voorbij. Het laden is klaar, de rapporten zijn ververst en de dashboards tonen de nieuwe limieten. Je kiest daarom een moment, bijvoorbeeld maandag 23.59 uur, en zet de tabel terug naar hoe hij toen was.

Dat gaat per tabel, want de foute export raakte alleen de klanttabel. De orders, artikelen en voorraad van diezelfde nacht zijn goed binnengekomen en moeten blijven staan. Twee tabellen terugzetten zijn dus ook twee handelingen, elk met een eigen moment.

Waarom historie bewaren nog geen terugdraaien is

Yres bewaart van elke rij elke versie. Toen de kredietlimiet van De Jong Transport maandagnacht van 25.000 naar 40.000 euro ging, werd de oude waarde niet overschreven. Er kwam een nieuwe versie bij en de oude kreeg een einddatum. Je kunt dus altijd terugkijken. Wat was de limiet op 25 september? 25.000 euro.

Maar terugkijken is iets anders dan terugzetten. Rapporten en dashboards tonen de actuele versie, en dat is na maandagnacht de foute. De goede waarde staat er nog wel, maar niemand ziet hem zonder er gericht naar te zoeken. Ondertussen werkt de kredietafdeling met 40.000 euro.

Er speelt ook iets wat je op het scherm niet ziet. Een tabel die alleen wijzigingen ophaalt, onthoudt tot waar hij is gekomen. Die laatste wijzigingsdatum van de bron heet het watermerk. De foute laadactie heeft dat watermerk naar maandagnacht geschoven.

Gooi je de foute rijen met de hand weg, dan blijft het watermerk daar staan. Bij de volgende laadactie vraagt de tabel alleen om wijzigingen van na maandagnacht. Alles van daarvoor haalt hij nooit meer op. Je houdt een tabel over die er goed uitziet, maar een gat heeft dat zichzelf nooit vult.

Wat er gebeurt als je terugdraait

De beheerder opent in Yres de klanttabel, kiest terugdraaien en vult maandag 23.59 uur in. Het moment telt op de seconde. Yres bouwt dan één script van drie tot vijf stappen en voert dat in één keer uit.

  1. Controle. Yres controleert of de tabel in de administratie staat. Ontbreekt hij, dan stopt het script met een foutmelding in het logboek.
  2. Rijen verwijderen. Alle rijen die na het gekozen moment zijn geladen, gaan eruit. Ook de foute versie van De Jong Transport.
  3. Versies heropenen. De versies die op dat moment golden, worden weer actueel. De limiet staat weer op 25.000 euro.
  4. Volgnummers intrekken. Bij een tabel die zelf volgnummers voor nieuwe klanten aanmaakt, verdwijnen de nummers die na het gekozen moment zijn uitgedeeld. Zo krijgt een nieuwe klant later geen nummer dat al in een rapport staat.
  5. Watermerk herstellen. Bij een tabel die alleen wijzigingen ophaalt, bepaalt Yres het watermerk opnieuw uit wat er nog in de tabel staat. Het komt vanzelf uit op de laatste wijziging van vóór de foute laadactie.

Stap 4 en 5 gelden alleen voor tabellen die volgnummers uitdelen of wijzigingen ophalen. Daarom telt het script drie tot vijf stappen.

Van elke terugdraaiactie blijft een regel in het logboek staan. Daarin staat welke tabel het betrof, welk venster, wie het deed, hoeveel rijen eruit gingen, hoe lang het duurde en of het gelukt is. Mislukt er halverwege iets, dan staat dat er ook, met een verwijzing naar de uitgebreide log.

Het monitoringscherm gebruikt diezelfde regel. Elke laadactie binnen het teruggedraaide venster staat daar als verwijderd, met de naam van de beheerder en het tijdstip. Als er dinsdagochtend nog twee goede laadacties op de klanttabel liepen, staan die er ook als verwijderd. Ze zijn mee teruggedraaid en moeten opnieuw.

WatVoor het terugdraaienNa het terugdraaien
De rijen in de tabelAlles staat erin, ook wat maandagnacht fout is binnengekomenAlles wat na het gekozen moment is geladen, is weg. Het aantal staat in het logboek
De actuele waarde per klantDe foute versie van maandagnacht is actueel, de goede is afgeslotenDe versie die op het gekozen moment gold, is weer actueel
Volgnummers van nieuwe klantenDe nummers die na het moment zijn uitgedeeld, bestaan nogDie nummers zijn ingetrokken (alleen bij tabellen die zelf nummers uitdelen)
Het watermerkStaat op maandagnacht, de laatste wijziging die de foute laadactie zagOpnieuw bepaald uit wat er nog in de tabel staat (alleen bij tabellen die wijzigingen ophalen)
Het logboekGeen spoor van de handelingEén regel met tabel, venster, beheerder, aantal rijen, duur en resultaat

De valkuil: de volgende laadactie

Rijen weggooien is het eenvoudige deel. De schade zit in het watermerk. Daarom is terugdraaien in Yres een eigen handeling, en geen opruimactie met de hand.

Een tabel die alleen wijzigingen ophaalt, vraagt de bron elke nacht om alles wat sinds een bepaald moment is gewijzigd. Dat houdt elke laadactie klein. Maar het antwoord van de bron hangt volledig af van dat moment.

Na het terugdraaien staat het watermerk weer op de laatste wijziging van vóór de foute data. Woensdagnacht vraagt Yres dus om alles sinds dat moment. De bron levert de kredietlimieten opnieuw, nu uit de juiste kolom. De 300 klanten krijgen hun goede limiet terug als een gewone wijziging.

Twee details zijn goed om te kennen:

  • Een lege tabel. Ging je terug tot vóór de eerste laadactie, dan is de tabel leeg en is er geen laatste wijziging meer. Yres haalt de bron dan in zijn geheel opnieuw op.
  • 'Vanaf en met'. De vraag aan de bron luidt 'vanaf en met' het watermerk, dus rijen die precies op dat moment zijn gewijzigd, komen nog een keer mee. Yres vergelijkt elke binnenkomende rij met de bestaande versie en maakt alleen bij een echte verandering een nieuwe. Dubbele versies ontstaan zo niet.

Wanneer gebruik je het?

Terugdraaien is bedoeld voor één tabel met data die eruit moet, waarbij je weet vanaf welk moment. In de praktijk zie je drie situaties steeds terug.

Een bron die een periode dubbel aanlevert. Na een update exporteert een salarispakket de mutaties van september nog een keer, met nieuwe tijdstempels. De tabel met loonkosten bevat september nu twee keer. Je draait terug naar het moment vóór die export. Bij het volgende laden komt september één keer opnieuw binnen.

Een koppeling met de verkeerde sleutel. Bij het inrichten van een nieuwe bron is het klantnummer per vestiging als sleutel gekozen, in plaats van het landelijke nummer. Een klant met drie vestigingen staat na het eerste laden drie keer in de tabel. Je corrigeert de sleutel, draait terug tot vóór de eerste laadactie en laadt opnieuw.

Een leeg bestand dat als geldige levering is verwerkt. De leverancier van een prijslijst zet per ongeluk een leeg bestand klaar. Yres leest nul regels en sluit alle prijzen af alsof ze zijn vervallen. Na terugdraaien naar het moment vóór dat bestand zijn de prijzen weer actueel.

Werk je rechtstreeks op de database, dan kun je de handeling eerst in de proefstand draaien. Yres toont dan het volledige script met het gekozen moment, zonder iets aan te raken. Zo zie je vooraf hoeveel rijen eruit gaan. Vanuit het beheerscherm kan dat niet, want daar wordt altijd uitgevoerd.

Wanneer het werkt

  • Eén tabel, één moment, en de periode daarna kan opnieuw worden geladen
  • Je wilt vooraf zien wat er gebeurt en je kunt bij de database, want de proefstand toont het script en laat de data met rust

Waar het ophoudt

  • Een laadactie die 12 tabellen raakte, vraagt 12 keer terugdraaien, elk met een eigen moment
  • Verwijderde rijen zijn echt weg, want het terugdraaien zelf kun je niet terugdraaien
  • Alleen de inhoud van de tabel verandert. Kolommen, tabellen, views en rapporten blijven zoals ze zijn
  • Wat buiten het datawarehouse is weggeschreven, zoals bestanden in een data lake, blijft staan

Wanneer het weinig zin heeft

  • Bij een tabel die bij elk laden volledig wordt vervangen, omdat er geen oudere stand is om naar terug te gaan
  • Bij de tussenlaag waarin geladen data wordt klaargezet, omdat die bij de volgende laadactie toch opnieuw wordt gevuld

Veelgestelde vragen

Kan ik één specifieke laadactie terugdraaien?

Je kiest een tabel en een moment. Alles wat die tabel daarna binnenkreeg, gaat eruit. Kies het moment dus vlak vóór de laadactie die weg moet. Draaiden er daarna nog goede laadacties op dezelfde tabel, dan gaan die mee en moeten ze opnieuw. Andere tabellen uit dezelfde nacht blijven onaangeroerd.

Hoe zie ik achteraf dat er is teruggedraaid?

In het logboek staat per terugdraaiactie één regel met de tabel, het venster, de beheerder, het aantal rijen, de duur en het resultaat. Het monitoringscherm toont elke laadactie binnen dat venster als verwijderd, met beheerder en tijdstip.

Kan ik het eerst uitproberen zonder iets te wijzigen?

Ja, maar alleen rechtstreeks op de database. In de proefstand toont Yres het volledige script en blijft de data ongemoeid. Ook een proefdraai laat wel een regel in het logboek achter. Het monitoringscherm toont de laadacties in dat venster dan als verwijderd, terwijl er niets is verwijderd.

Wat als ik de foute rijen gewoon zelf verwijder?

Dan blijft het watermerk staan op het moment van de foute laadactie. De volgende keer vraagt Yres de bron alleen om wijzigingen van daarna. De tabel ziet er goed uit, maar mist stilletjes een periode. Bij terugdraaien via Yres gaat het watermerk wel mee terug.

Praat met een data-architect

In 30 minuten kijkt een data-architect met je mee naar je huidige dataomgeving en waar het nu wringt.

Plan een gesprek →

Verder lezen

Datawarehouse-automatisering die in je eigen Azure draait

Gebouwd voor organisaties op Azure en Power BI. Yres koppelt je bronnen, bewaart de historie en rolt wijzigingen gecontroleerd uit, zonder handwerk.