Azure-architectuur

Metadata-gestuurd datawarehouse in uw eigen Azure-tenant. Azure Data Factory laadt bronnen in Yres Dataplatform, met SCD2-historie, voor ontsluiting aan Power BI of Fabric.

Bronnen & IRControl planeOrchestratieAzure data planePower BI / Fabric

Bronnen & connectiviteit

CLOUDBRONNEN · VOORBEELDEN

SAP S/4HANA

OData · cloud-hosted

Exact Online

Directe connector · REST API

AFAS Profit

GetConnectors · REST API

Microsoft Teams

Microsoft Graph

Salesforce

CRM · REST API

On-premises · geen inbound

SQL Server

Lokaal netwerk; uitsluitend via self-hosted IR.

INTEGRATION RUNTIMES

Azure Integration Runtime

Azure-managed · cloudbronnen

Self-hosted IR

On-prem VM · uitgaand HTTPS 443
Tweede node voor HA: optioneel
Gedeeld DEV · TEST · PROD

COPY

Control plane

Yres-tenant · SaaS

Gebruikers

Business users: rapporten & monitoring
Developers: bronnen, tabellen & changes
Beheerders: rollen, omgevingen & secrets

Microsoft Entra ID

Azure SSO · frontend-login
RBAC: standaard- en custom CRUD-rollen

Yres-frontend

Monitoring

Targets, runs, stappen & rollback

Databronnen

Wizards: bron, tabel & load type

Load Management

Workflows, triggers & persisted views

Changes & Releases

Wijzigingen bundelen door DTAP

Lineage & impact

Tabellen, views & procedures; geen kolom-lineage

Admin

Gebruikers, rollen, omgevingen & scaling

↓

Via App Registration · Owner op resource group

Azure Management APIADF APIKey Vault APIAzure DevOps APISQL

Azure Data Factory

Data plane · klant-tenant

`Dynamic Workflow YRES`

Metadata bepaalt bron, tabel, laadwijze en databasecapaciteit.

StartRun registreren

Run openen en de start vastleggen. Database zo nodig opschalen.

→

WorkloadMetadata lezen

Metadata bepaalt bronnen, tabellen, laadwijze en instellingen.

→

Per tabelMaximaal 5 tegelijk

Brondata naar STAGE kopiëren.
Nieuwe en gewijzigde records in de historie verwerken.
Optioneel mutaties naar het Data Lake.
STAGE opruimen of bewaren.
Status en aantallen vastleggen.

→

ExposeViews verversen

Rapportageviews in de juiste volgorde materialiseren.

→

AfsluitenRun afronden

Database terugschalen, run afsluiten en refresh starten.

Bronpipelines · een greep uit 30+ koppelingenCredentials via Key Vault

SAPOData

ExactREST

AFASREST

GraphTeams

SQL Servervia SHIR

SalesforceREST

Laadwijzen: FULL · DELTA · DELTAIMAGE · IMAGE · OVERWRITE · RELOAD · ADDITIONAL

LADEN & MERGEN

Azure SQL

Yres Dataplatform

Data plane · klant-tenant

DATA & HISTORIE

STAGE

Brongegevens tijdelijk opslaan, inclusief laaddatum.
Hashes van sleutel en inhoud herkennen nieuwe en gewijzigde records.

↓

ODS · HIS-laag

Nieuwe records toevoegen en gewijzigde records als nieuwe versie vastleggen.
SCD2 bewaart de geldigheid en historie van versies; de actuele versie blijft herkenbaar.
Historieschema: standaard ODS, instelbaar per klant.

↓

Exposed

Rapportageviews en gematerialiseerde views beschikbaar stellen.

FRAMEWORK & MAATWERK

LoadManagement

Bronmetadata, tabelselectie en sleutelbeheer

Config

Instellingen en databasecapaciteit

Monitoring

Laadstatus, stappen en aantallen

CustomYres

Klantspecifieke objecten en logica

Optioneel

Data Lake Gen2

Mutaties per tabel als Parquet opslaan: inserts, updates en deletes.
Hashes en datums bijhouden voor de verwerking.

LEEST EXPOSED

Power BI of Fabric

Leest uit Exposed

SEMANTIC MODELS

Sales & Finance

SAP + Exact

Rapport A

Rapport B

HR & Projecten

AFAS

Rapport A

Rapport B

Operations

Teams + SQL Server

Rapport A

Rapport B

CRM & Pipeline

Salesforce

Rapport A

Rapport B

Refresh

Post-load vanuit ADF via Power BI REST API.

Service principal (Entra ID). Secret in Key Vault.

Azure-resources per omgeving

Resource group · klant-tenant

Resource group

…-$ · placeholder

Data Factory

Orchestratie

Azure SQL

Yres Dataplatform

Key Vault

kv-yres-… · placeholder

Data Lake Gen2

Optioneel

Azure Blob Storage

Blobopslag

Beveiliging & identiteit

Azure Key Vault

Bron-credentials & Power BI-secret. ADF leest via managed identity; frontend bewaart geen bron-secrets.

App Registration

Single tenant · Owner op resource group voor roltoekenning aan managed identities.
API-permissies: Azure Service Management user_impersonation, Microsoft Graph User.Read, Key Vault & Azure DevOps.

Monitoring & beheer

Laadprocessen volgen

Status, doorlooptijden, aantallen en fouten vastleggen in SQL.

Health checks & archivering

Configuratie controleren en oude historie gecontroleerd archiveren.

DEVadf · Yres Dataplatform · kv

→

TESTadf · Yres Dataplatform · kv

→

PRODadf · Yres Dataplatform · kv

Eén self-hosted IR, gedeeld door alle drie de omgevingen via linked IR. Changes & Releases brengen structuur van DEV naar PROD; de metadata bepaalt per omgeving wat er laadt. Elke omgeving heeft een eigen ADF, SQL-database en Key Vault.