Een vereenvoudigd Azure-portaal toont links de resourcegroep van de groothandel met een sleutelkluis, een SQL-database, een Data Factory en een opslagaccount, terwijl rechts het Yres-beheerscherm staat met pijlen naar die vier onderdelen. Een cursor klikt op opzeggen, waarna het beheerscherm dimt met het label subscription ended, de pijlen verdwijnen en in de linker kaart het nachtelijke laden opnieuw tot 340 tabellen loopt met een vinkje.

Een datawarehouse in je eigen Azure-abonnement: wat er blijft als je stopt

Kwartaaloverleg bij de groothandel. Nog voordat Sanne, de data-engineer, zit, ligt de vraag van de directie op tafel: wat hebben we in handen als we over drie jaar met Yres stoppen?

Het korte antwoord is: alles wat het datawarehouse nodig heeft om door te draaien. Yres zet de database met alle tabellen en historie, de Data Factory met de pijplijnen en de sleutelkluis met de geheimen neer in het Azure-abonnement van de klant zelf. De centrale omgeving van Yres beheert die onderdelen op afstand en bewaart zelf geen klantdata.

Wat na het opzeggen verdwijnt, is het scherm erop. Hieronder lees je waar wat staat, wat er op de dag na het opzeggen gebeurt en wat je dan zelf moet kunnen.

Gepubliceerd: · Laatst bijgewerkt: · Door , architect van Yres en oprichter van Plainwater

Waar staat het datawarehouse?

Het datawarehouse staat in een resourcegroep in het Azure-abonnement van de klant. De Azure-rekening ervoor komt ook bij de klant binnen.

Sanne opent het Azure-portaal van de groothandel en laat de resourcegroep van de productieomgeving zien. Daarin staan vier onderdelen die bij de installatie zijn neergezet. Voor de ontwikkelomgeving staat er een tweede resourcegroep met dezelfde vier.

De database. Dit is het datawarehouse. Daarin staan de 340 tabellen uit het boekhoudpakket, het personeelssysteem, het planningspakket en de webshop. Van elke rij staat er elke versie in, met de periode waarin hij gold. De verhuizing van Bakkerij Ter Horst op 2 oktober staat er als een afgesloten rij met Zwolle en een nieuwe rij met Deventer. Ook de administratie van Yres staat in die database: de bronnen, de tabellen, de laadwijze per tabel, de watermerken en het logboek van elke laadactie. Het zijn gewone tabellen die elk SQL-gereedschap kan lezen.

De Data Factory. Hierin staan de pijplijnen die elke nacht laden, één per brontype. Het tijdschema dat het nachtelijke laden start, is een trigger in diezelfde Data Factory. De definitie van de pijplijnen staat in een git-repository in het eigen Azure DevOps van de groothandel.

De sleutelkluis. Hierin staan het wachtwoord van het boekhoudpakket, de sleutel van de webshop en de verbinding met de database. De pijplijnen halen die geheimen op als ze draaien.

Het opslagaccount. Dit is de landingszone voor bestanden. Zet de groothandel de data lake aan, dan komt die hier ook.

Wat doet de centrale omgeving van Yres?

De centrale omgeving bestuurt de onderdelen in het abonnement van de klant op afstand. Zelf bewaart ze geen klantdata en geen wachtwoorden van bronnen.

Het beheerscherm waarin Sanne werkt, is geen onderdeel van de resourcegroep. Het is een centrale webapplicatie die Plainwater voor alle klanten tegelijk host. Die heeft een eigen administratie met de organisaties, gebruikers, omgevingen per organisatie, de versie van elke omgeving en de facturatie. Wachtwoorden van bronnen gaan rechtstreeks naar de sleutelkluis van de klant.

Om op afstand aan de knoppen te kunnen zitten, heeft de groothandel bij de installatie zelf een app-registratie in de eigen Microsoft Entra aangemaakt. Die kreeg eigenaarsrechten op de resourcegroepen. Met die identiteit zijn de vier onderdelen neergezet, via pijplijnen in het Azure DevOps van de groothandel. De database kreeg haar structuur en de Data Factory haar pijplijnen.

In het dagelijks gebruik gaat elke handeling in het beheerscherm dezelfde weg:

  • Een bron toevoegen. De centrale omgeving schrijft de verbinding in de Data Factory van de groothandel, zet het wachtwoord in de sleutelkluis en registreert de bron in de administratie van de database.
  • Metadata verversen. De centrale omgeving start een pijplijn in de Data Factory van de groothandel.
  • Het monitoringscherm. Dat leest het logboek uit de database van de groothandel.
  • Een nieuwe versie. Die loopt via de pijplijnen in het Azure DevOps van de groothandel, eerst de database en dan de Data Factory.

Het beheerscherm kijkt daardoor zelf nooit in een bron. De pijplijnen in de Data Factory van de groothandel maken de verbinding met het boekhoudpakket, met het wachtwoord uit de sleutelkluis. Het beheerscherm stuurt die pijplijnen alleen aan.

Wat gebeurt er op de dag na het opzeggen?

Op de dag na het opzeggen laadt het datawarehouse gewoon door. Alleen het beheerscherm en het monitoringscherm zijn weg.

Stel dat de groothandel over drie jaar opzegt. In het beheerscherm staat onder de instellingen een knop waarmee de organisatie wordt verwijderd. Die haalt de organisatie uit de portal van Yres, maar raakt de Azure-omgeving niet. De resourcegroepen, de database, de Data Factory, de sleutelkluis en het opslagaccount staan de volgende ochtend nog net zo in het abonnement als de dag ervoor.

Die nacht verloopt het laden zoals elke nacht:

  1. Starten. Om 2.00 uur gaat de trigger in de Data Factory af.
  2. Plannen. De werkstroom leest uit de administratie welke tabellen geladen moeten worden en zet de database een niveau omhoog.
  3. Ophalen. Per tabel start de pijplijn van het bijbehorende brontype. Die haalt het wachtwoord uit de sleutelkluis, maakt verbinding met het boekhoudpakket en zet de rijen in de landingszone.
  4. Vergelijken. De motor in de database vergelijkt de rijen met de historietabel, sluit versies af en voegt nieuwe toe.
  5. Afronden. Het watermerk schuift op en de database gaat weer een niveau omlaag. Elke stap schrijft een regel in het logboek.

Niets in die keten vraagt iets aan de centrale omgeving. Het is dezelfde laadactie als de nacht ervoor.

Wat wel verdwijnt, is het scherm erop. Het beheerscherm, het monitoringscherm en de vervalkalender van de geheimen horen bij de centrale omgeving. Na het opzeggen zijn ze weg. Het logboek dat het monitoringscherm toonde, staat nog in de database, net als de controles die Yres op de inhoud van het datawarehouse uitvoert. Nieuwe versies van Yres komen niet meer. De versie die op dat moment draait, blijft draaien.

Wij leggen bij vertrek geen beperkingen op, zoals ook de toezegging op de site luidt. Er valt niets stil.

OnderdeelWaar het staatNa het opzeggen
De tabellen en de historieEen database op een SQL-server in je eigen abonnementBlijven staan. Het nachtelijke laden vult ze verder
De pijplijnen en het tijdschemaJe eigen Data Factory, met de definitie in je eigen Azure DevOpsDraaien door op hetzelfde schema
De wachtwoorden en sleutels van bronnenJe eigen sleutelkluisBlijven staan. Het verlopen ervan houd je zelf in de gaten
De administratie: bronnen, tabellen, laadwijzen, watermerkenGewone tabellen in dezelfde databaseBlijven staan, met SQL te lezen en bij te werken
Het logboek van elke laadactieTabellen in dezelfde databaseVult zich verder, het scherm erop vervalt
Het beheerscherm en het monitoringschermDe centrale omgeving van PlainwaterVervallen
Nieuwe versies van YresVia de uitrolpijplijnen in je eigen Azure DevOpsKomen niet meer, de huidige versie blijft draaien

Wat er na het opzeggen nog aan Yres hangt

De directie wil weten wat er na het opzeggen nog aan Yres hangt. Sanne noemt vier dingen.

Een nieuwe bron. Die toevoegen loopt via het beheerscherm. Dat schrijft de verbinding in de Data Factory, zet het geheim in de sleutelkluis en registreert de bron in de administratie. Zonder beheerscherm doet iemand die drie stappen met de hand. De pijplijn per brontype staat er al en hoeft niet gebouwd te worden. Een extra tabel uit een bron die al is aangesloten, is een registratie in de administratie van de database.

Metadata verversen. De pijplijn die de structuur van een bron opnieuw inleest, staat in de Data Factory van de groothandel. Het beheerscherm heeft er een knop voor. Zonder die knop start je de pijplijn in de Data Factory zelf.

De versleuteling. In productie worden de procedures en functies van de motor versleuteld uitgeleverd. Je kunt ze uitvoeren, maar niet inzien of aanpassen. Terugdraaien kan dus nog steeds rechtstreeks op de database, zoals ons artikel over terugdraaien beschrijft. De motor herschrijven kan niet. Doorbouwen doe je met eigen views, procedures en pijplijnen, in een eigen schema naast de motor.

Verlopende geheimen. De sleutel van de webshop en het wachtwoord van het boekhoudpakket hebben een houdbaarheid. Het beheerscherm toont daarvoor een vervalkalender en waarschuwt voordat een geheim verloopt. Na het opzeggen kijkt niemand meer op die kalender. Verloopt een geheim, dan mislukt het laden van die bron. Het logboek meldt dat, maar iemand moet het dan wel lezen.

Wat je zelf moet kunnen, zijn gewone Azure-vaardigheden die een data-engineer als Sanne heeft:

  • SQL lezen en schrijven, om de administratie en het logboek te raadplegen
  • Een Data Factory bedienen, om een pijplijn te starten of een verbinding te wijzigen
  • Een sleutelkluis bijhouden

Zonder zo iemand draait het datawarehouse door tot de eerste wijziging die aandacht vraagt.

Wanneer telt dit voor je?

Het telt zodra je het datawarehouse los wilt kunnen zien van de leverancier. Drie situaties maken de vraag van de directie concreet.

Een aanbesteding. Een organisatie die elke paar jaar opnieuw moet aanbesteden, wil geen datawarehouse dat met de leverancier meegaat. Staat het in het eigen abonnement, dan wisselt alleen wie het beheert. De data, de historie en de rapporten blijven staan.

Een beveiligingsbeoordeling. De beveiligingsfunctionaris vraagt waar de klantdata van de groothandel staat en wie erbij kan. Het antwoord is een resourcegroep in het eigen abonnement, in de regio die de groothandel zelf koos. De centrale omgeving bestuurt die resourcegroep via een app-registratie die de groothandel zelf heeft aangemaakt. Ze bewaart er niets van.

Een eigen team dat verder wil bouwen. De groothandel wil bovenop de historielaag een eigen model voor de rapportage. Dat gebeurt in dezelfde database, met eigen views en procedures. Stopt de groothandel ooit met Yres, dan staat dat model er nog. Het leest dan nog steeds uit tabellen die elke nacht worden gevuld.

Waar het ophoudt

  • Zoek je een volledig beheerde dienst waarbij de leverancier alles host, dan past Yres niet. De Azure-rekening, de rechten en het netwerk zijn van jou
  • Heb je na een vertrek niemand die SQL leest of een Data Factory bedient, dan draait het datawarehouse tot het eerste wachtwoord verloopt
  • Wil je de motor zelf kunnen aanpassen, dan loop je tegen de versleuteling aan

Veelgestelde vragen

Blijft mijn datawarehouse draaien als ik met Yres stop?

Ja. De trigger die het nachtelijke laden start, staat in je eigen Data Factory. Het laden leest uit je eigen database en sleutelkluis en schrijft naar je eigen tabellen. Wij leggen bij vertrek geen beperkingen op.

Jullie zeggen geen lock-in, maar zonder jullie beheerscherm kan ik toch niets meer aanpassen?

Minder, dat klopt. Wat het beheerscherm deed, kan nog steeds, maar dan met de hand in je database, Data Factory en sleutelkluis. Dat is werk voor iemand die SQL en Data Factory kent. Alleen de motor zelf aanpassen kan niet.

Ziet Plainwater mijn data?

Nee. De centrale omgeving bewaart organisaties, gebruikers, omgevingen, versies en facturatie, zonder klantdata, inloggegevens of geheimen. Het beheerscherm stuurt de pijplijnen in je eigen Data Factory aan, maar leest je bronnen niet zelf uit.

Hoe komen nieuwe versies binnen?

Via de uitrolpijplijnen in je eigen Azure DevOps. Eerst krijgt de database de nieuwe structuur, met migraties die per versie zijn afgebakend. Daarna worden de pijplijnen in de Data Factory gepubliceerd. De tabellen met je data blijven daarbij staan.

Praat met een data-architect

In 30 minuten kijkt een data-architect met je mee naar je huidige dataomgeving en waar het nu wringt.

Plan een gesprek →

Verder lezen

Datawarehouse-automatisering die in je eigen Azure draait

Gebouwd voor organisaties op Azure en Power BI. Yres koppelt je bronnen, bewaart de historie en rolt wijzigingen gecontroleerd uit, zonder handwerk.