Ga naar hoofdinhoud

Views, pipelines & triggers

Deze pagina is een takenwalkthrough: je leert hoe je een view materialiseert, hoe je pipelines handmatig draait, hoe je triggers plant en hoe je losse stappen tot een master pipeline aan elkaar knoopt.

Volledige schermreferentie

Wil je de complete velduitleg per scherm? Die staat in de frontend-referentie: Data Engineering → Materialized views en Load Management (Run pipelines, Triggers, Master pipelines). Deze pagina vat samen hoe je het doet; die pagina's beschrijven elk veld van het scherm.

Een view materialiseren​

Een gematerialiseerde (persisted) view slaat de uitkomst van een databaseview op in een echte tabel. Rapporten lezen dan direct uit een tabel en hoeven een (mogelijk trage) view niet telkens opnieuw uit te rekenen.

Vanaf v1.57 is een gematerialiseerde view een gewone bron in Yres. Je registreert de view zoals je een tabel uit een bronsysteem registreert. Hij laadt via dezelfde engine: van STAGE naar de history-laag, met dezelfde load types, dezelfde historie, delta's en archivering, en met een eigen regel in de monitoring. Alleen de doellocatie kies je zelf: een eigen schema en tabelnaam.

Schema: een eigen view (1) wordt geregistreerd als used table onder de interne bron dwh (2), komt eerst in STAGE (3) en wordt daarna gemerged naar de doeltabel in het gekozen schema (4), waar rapporten uit lezen.

Zo laadt een gematerialiseerde view vanaf v1.57: via dezelfde stappen als elke andere tabel.

Voorwaarde: de view bestaat al in de database. Yres materialiseert die view; het maakt hem niet zelf aan. Maak de view bijvoorbeeld aan met SQL Server Management Studio (SSMS), zoals een view DM.Vw760 in de IRIS_DWH-database. Het moet een view van jezelf zijn: de eigen views van Yres kun je niet als bron registreren.

Je beheert gematerialiseerde views in de webapp onder Data engineering → Materialized views (/dataengineering/materializeviews). Het scherm toont per view de bron (SourceSchema, SourceTable), het doel (TargetSchema, TargetTable) en de laadinstellingen.

Materialized views-scherm: de knop Run materialize view (all) boven de tabel Materialized views met de knop Create; per view de rij-acties (bewerken, verwijderen, materialiseren, actief) en de kolommen SourceSchema, SourceTable, TargetSchema, TargetTable, LoadType, DeltaColumn, Keys, LatestRecord, StoreType en ArchivingMode.

Het scherm Materialized views (vanaf v1.57): per view de bron, het doel en de laadinstellingen. De laatste rij is gedeactiveerd en heeft daarom een leeg vakje.

Stappen (vanaf v1.57)​

  1. Open Data engineering → Materialized views en klik op Create.
  2. Kies bij meerdere omgevingen eerst het project en de change waarin de registratie meegaat, net als bij elke andere tabel.
  3. Kies het schema en de view (in het veld table). Het dataplatform staat vast op Data Warehouse.
  4. Selecteer de kolommen die je wilt laden.
  5. Kies het load type. Je kunt kiezen uit FULL, DELTA, DELTAIMAGE, IMAGE, OVERWRITE en RELOAD. Bij DELTA en DELTAIMAGE geef je de deltakolom van de view op. Zie Load types voor wat elk type met de historie doet.
  6. Kies de sleutel. Een view heeft zelf geen sleutel. Zonder expliciete keuze gebruikt Yres alle NOT NULL-kolommen samen als sleutel. Voor IMAGE, DELTAIMAGE en DELTA laat het scherm daarom een waarschuwing zien: kies hier de sleutel bij voorkeur zelf, dan bouwt de historie zich netjes per record op.
  7. Loop de stappen voor extra opties en archivering door, zoals bij een gewone tabel.
  8. Vul in de laatste stap Target schema en Target table in: de plek waar de gematerialiseerde tabel landt. Beide zijn verplicht. De tabelnaam moet uniek zijn over alle registraties heen, dus ook over andere schema's. Daaronder zie je ter controle het STAGE Target en het HIS Target.
  9. Bewaar. Yres registreert de view en maakt de doeltabel aan.
  10. Materialiseer direct met de rij-actie Run materialize view, of draai alle views tegelijk met Run materialize view (all).

De laatste stap van de wizard Create table voor een materialized view: de uitleg over de doellocatie, de velden Target schema (DM) en Target table (InvoiceAging) en daaronder ter controle STAGE Target [STAGE].[INVOICEAGING] en HIS Target [DM].[INVOICEAGING].

De doelstap van de wizard: je kiest zelf het schema en de tabelnaam. De view zelf kies je eerder, in de stap met schema en table.

Wil je een view tijdelijk niet meer laten materialiseren, gebruik dan de rij-actie om de tabel te deactiveren. Met dezelfde actie zet je hem later weer aan. Bij het bewerken van een view laat je Target schema en Target table leeg om het huidige doel te houden; vul je ze allebei in, dan verhuist de tabel naar die nieuwe plek.

Volgorde van views op views

Leest view B uit de gematerialiseerde tabel van view A, dan laadt Yres A vanzelf eerst. De volgorde volgt uit de afhankelijkheden tussen de views; een Level instellen is niet meer nodig. Yres leest die afhankelijkheden uit de definities van je views en functies. Een verwijzing die alleen in dynamische SQL staat, valt daarbuiten.

Onder de motorkap

Een gematerialiseerde view is een geregistreerde tabel onder de interne bron dwh (brontype INTERNAL). De views komen uit de broncatalogus [LoadManagement].[vwCatalog], die naast de gewone Dictionary ook je eigen views bevat. Het materialiseren doet [LoadManagement].[spMaterializeViews]: per view vult de procedure STAGE met de uitkomst van de view en laat daarna [LoadManagement].[spLoadDWH] de merge naar de history-laag doen, precies als bij een bron die via ADF binnenkomt. De Materialize View-pipeline roept deze procedure aan. Dezelfde stap (Materialize Views) draait ook aan het einde van de Direct Workflow YRES en de Dynamic Workflow YRES: bij een run over alle bronnen (Source = ALL) neemt hij alle views mee, bij een triggerrun (AUTO) de views die aan die trigger gekoppeld zijn.

Bij de upgrade naar v1.57​

Bestaande view-persistentie gaat bij de upgrade automatisch over naar het nieuwe mechanisme. Elke actieve view wordt als interne bron geregistreerd met hetzelfde doelschema en dezelfde doeltabel. Views die op Delta stonden krijgen load type DELTA met dezelfde deltakolom; de overige krijgen OVERWRITE, zodat de tabel er precies zo uitziet als voorheen. Wil je historie opbouwen, dan kies je daarna per view bewust voor bijvoorbeeld IMAGE.

Bij de omzetting wordt de doeltabel opnieuw aangemaakt. De eerste materialisatierun na de upgrade vult hem weer. Start daarom direct na de upgrade een Materialize View-run, of laat de eerstvolgende geplande workflow dat doen.

Een view die zelf een Yres-object is, kan niet als interne bron worden geregistreerd. Zo'n view blijft staan zoals hij was. Health check 2.26 (Niet-gemigreerde persist-view) wijst hem aan, zodat je zelf kunt beslissen wat ermee moet.

Tot en met v1.56​

Op v1.56 en ouder beheer je gematerialiseerde views in het scherm Data engineering → View persistence (/dataengineering/viewpersistence), dat leest uit Loadmanagement.vwViewPersistence.

View persistence-scherm met links de iconenbalk en sub-links, in het hoofdvenster de persistentietabel (bron-view naar doeltabel, Level, Delta, datums, Active) en daaronder het Create persisted view-formulier.

Het View persistence-scherm (tot en met v1.56): de persistentietabel met daaronder het aanmaakformulier (Create persisted view).

Je klikt op + Add persisted view, kiest de bron (SourceSchemaName + SourceViewName) en de bestemming (DestinationSchemaName + DestinationTableName), stelt een Level in voor de volgorde (een lager Level wordt eerst gematerialiseerd) en kiest Full (elke run de hele view opnieuw) of Delta (alleen gewijzigde records, met een bron-object en een DeltaColumn). Materialiseren gaat met Run materialize view per rij of Run materialize view (all). Onder water slaat MaintainPersistView de configuratie op en schrijft spMaterializeViewToTable de view rechtstreeks naar de doeltabel.

Pipelines handmatig draaien​

Pipelines start je in Load Management → Run pipelines (/loadmanagement/runPipelines). Links staat de pipeline-lijst, rechts de runs van de geselecteerde pipeline met filters op periode en status.

Stappen:

  1. Open Load Management → Run pipelines en selecteer links een pipeline.
  2. Klik Start pipeline. Heeft de pipeline parameters, dan leest de knop Set parameters to start en opent er een formulier.
  3. Vul de parameters in en bevestig. De run verschijnt in de runs-tabel.

Twee veelgebruikte gevallen:

  • Refresh All Metadata — selecteer de metadata-pipeline links en klik Start pipeline. Dit ververst de bron-metadata (schema's, tabellen, kolommen) voordat je tabellen toevoegt.
  • Dynamic Workflow YRES — dit is de dynamische laad-workflow. Vul in: Source, Source schema en Source table, en kies optioneel een Running tier (de tier waarop geladen wordt) en een Revert-to tier (de tier waarnaar Yres na afloop terugschaalt). Op oudere Yres-versies heet deze pipeline nog Dynamic Workflow IRIS; de app herkent beide namen.
notitie

Het daadwerkelijke laden gebeurt in Azure Data Factory: de pipeline kopieert de bron naar STAGE en roept vervolgens [LoadManagement].[spLoadDWH] aan; de voortgang wordt gelogd via [Monitoring].[spWriteLoadStatus]. Een lopende run kun je stoppen via het stop-icoon. Zie Gegevensstroom voor de volledige flow.

Triggers plannen​

Met een trigger laat je een pipeline automatisch draaien op een vast interval. Je beheert triggers in Load Management → Triggers (/loadmanagement/triggers).

Stappen:

  1. Open Triggers en selecteer links de pipeline waarvoor je een trigger wilt.
  2. Klik Create.
  3. Vul in:
    • Name (verplicht).
    • Every / interval (een getal) en Frequency: Minute(s), Hour(s), Day(s), Week(s) of Month(s).
    • Bij Week(s): een Day of the week. Bij Month(s): een Day of the month (1–31). Bij Day/Week/Month: een Time.
  4. Heeft de pipeline parameters (zoals de Dynamic Workflow met Source/Schema/Table), vul die dan in de tweede stap in.
  5. Klik Submit. De trigger wordt in ADF aangemaakt en meteen gestart; je kunt hem later starten, stoppen of verwijderen vanuit de triggers-tabel.
Tijdzone

De interface toont de hint "Timezone UTC(+1) will be used", maar de trigger gebruikt in werkelijkheid de tijdzone van de ingelogde gebruiker (uit je gebruikersinstellingen), niet een vaste UTC+1. Houd hier rekening mee bij het inplannen.

Een master pipeline opzetten​

Met master pipelines knoop je bestaande Yres-bouwstenen aan elkaar tot één flow met conditionele logica — bijvoorbeeld delta's door de week en een volledige reload in het weekend, of een Power BI-refresh die alleen na een geslaagde load draait. Je werkt in een visuele editor (op basis van reactflow) onder Load Management → Design master pipeline.

Design master pipeline-scherm: links het node-palet, in het midden het reactflow-canvas met verbonden nodes en hun success/failure/completion-uitgangen, plus Save- en Publish-knoppen.

Het Design master pipeline-scherm: sleep node-types op het canvas, verbind hun uitgangen en publiceer de flow naar ADF.

(1) Node-palet links — sleep een node-type op het canvas. (2) Canvas (reactflow) — verbind nodes, selecteer ze om te configureren, verwijder met Backspace. (3) Drie uitgangen rechts op elke node: On success (groen), On failure (rood) en On completion (blauw) — hiermee bouw je de conditionele logica. (4) Ingang links op een node — hier komen verbindingen binnen. (5) Kleurlegenda van de drie uitgangen. (6) Save (concept) en Publish (naar ADF; alleen actief ná een Save).

Stappen:

  1. Open Load Management → Design master pipeline en maak een nieuwe flow aan.
  2. Sleep node-types vanuit het palet (callout 1) op het canvas. Beschikbare nodes zijn onder meer Load sources, Alternative load, Wait, Change service tier, Run pipeline, Persist view en Refresh PowerBI.
  3. Verbind de nodes door vanaf een uitgang rechts op een node naar de ingang links van een andere node te slepen. Kies bewust On success (groen), On failure (rood) of On completion (blauw) om je logica te bepalen.
  4. Selecteer een node om hem te configureren (bijvoorbeeld bij Load sources de source/schema/table).
  5. Klik Save om het concept te bewaren.
  6. Klik Publish om de flow als ADF-pipeline te genereren. De gepubliceerde pipeline verschijnt na enkele minuten in de Data Factory (map MasterPipelines) en in Run pipelines.
Geen vrije ADF-designer

Een master pipeline laat je bestaande Yres-bouwstenen (loads, wachten, tier-wissels, view-materialisatie, Power BI-refresh) aan elkaar knopen met succes-/faal-/voltooid-logica. Je tekent géén losse copy-activiteiten of datatransformaties: je configureert nodes en hun verbindingen, en Yres genereert daaruit de onderliggende ADF-pipeline. De volledige lijst node-types en hun aandachtspunten staat in Load Management → Master pipelines.

Verder lezen​

  • Onderhoud plannen met een master pipeline — pas de master pipeline-editor toe op de periodieke onderhoudstaken (garbage collection, logretentie, archivering, index-onderhoud).
  • Data Engineering — volledige velduitleg van Materialized views (en View persistence tot en met v1.56) en Database objects.
  • Load Management — Run pipelines, Triggers, Monitoring en Master pipelines per scherm.
  • Gegevensstroom — waar de Materialize Views-stap en de Dynamic Workflow in de totale laad-workflow vallen.
  • Load types en Historie & SCD2 — wat het gekozen load type met de historie van een gematerialiseerde view doet.