Release notes
Versiehistorie van Yres DWH. Oudere versies kunnen niet meer ondersteund zijn; ze blijven hier staan voor naslag. Per versie staan de nieuwe features, verbeteringen en eventuele breaking changes.
De datums van v1.55 en ouder komen uit Yres Documentation 1.55 (release-notes-sectie). Yres-versies ordenen als decimale breuken — 1.9 staat dus na 1.55, en 1.56 ervoor — niet als semver.
v1.57 — Verwacht: november 2026
Release 1.57 voegt twee bronnen toe: SFTP en Youforce (in preview). AFAS sluit aan op de nieuwe, veiligere manier van inloggen. Gematerialiseerde views laden voortaan net als elke andere tabel, en de monitoring laat per laadactie zien in welke fase hij zit. In de webapp kun je met een AI-assistent via MCP met je omgeving werken, terwijl tabeltools, deploymentplannen en een vlotter changeproces het dagelijkse beheer eenvoudiger maken.
Goed om te weten bij de upgrade
- Upgraden kan vanaf v1.50. Lees vóór de upgrade de release notes van alle versies na je huidige versie, tot en met de versie waarnaar je bijwerkt. De wijzigingen van al die versies komen in één upgrade mee.
- Als je een AFAS-bron hebt: maak vooraf een client id en client secret aan. AFAS stapt over op inloggen via OAuth en stopt in augustus 2027 met het oude token. Yres ondersteunt de nieuwe manier vanaf 1.57. Maak vóór de upgrade in AFAS een client id en client secret aan voor je App Connector en vul ze na de upgrade per AFAS-bron in de webapp in. Daarna vraagt Yres het token zelf aan en houdt het actueel. → AFAS
- Ruimte voor groei. De administratie- en logtabellen krijgen grotere sleutelkolommen, zodat ook omgevingen met jarenlange historie en heel veel laadacties zonder grens kunnen doorgroeien. Bij omgevingen met veel historie duurt de upgrade daardoor wat langer dan gewoonlijk. Plan hem daarom buiten de laadvensters. Heeft je database veel historie, overweeg dan de database vóór de upgrade te vergroten; een S4 is voor alle doeleinden voldoende.
- Gematerialiseerde views gaan automatisch mee. Je bestaande view-persistentie wordt bij de upgrade
omgezet naar het nieuwe mechanisme. De eerstvolgende Materialize View-run vult de tabellen weer; start
die direct na de upgrade als je rapporten er meteen op leunen. Roep je in eigen
scripts de procedure
spMaterializeViewToTableaan, zet die dan om naar het registreren van de view als tabel. → Views & pipelines - Eigen procedures en triggers op de laadadministratie. Heb je eigen procedures of triggers die in
LoadManagement.LoadLogschrijven, controleer dan of ze zijn aangemaakt metQUOTED_IDENTIFIERenANSI_NULLSaan, de standaard in SSMS. De upgrade controleert dit vooraf en noemt de objecten die aandacht nodig hebben, zodat je ze kunt bijwerken voordat er iets verandert.
Webapp
- SFTP en Youforce (preview) aanmaken: beide bronnen kies je gewoon in Data sources. SFTP werkt met gebruikersnaam en wachtwoord of met een SSH-sleutel. Voor Youforce vul je de gegevens van je applicatie in de Visma Developer Portal in; ook organisaties met meerdere Youforce-tenants worden ondersteund. → Databron koppelen
- Werken met een AI-assistent (MCP): elke organisatie heeft een eigen MCP-server. Daarmee kan een AI-assistent die MCP ondersteunt rechtstreeks met Yres werken: omgevingen en bronnen opvragen, used tables toevoegen, changes en projecten beheren, de monitoring en laadhistorie bekijken of een bron laten laden. Toegang regel je met je eigen personal access tokens. Als beheerder bepaal je met organisatieregels of dit binnen je organisatie is toegestaan. → AI-assistent (MCP)
- Monitoring per fase: het detailscherm van een laadactie in Monitoring en Load history toont de voortgang in herkenbare fases, van voorbereiden via laden en historie tot afronden. Per fase zie je status, voortgang en tijden, zodat je in één oogopslag ziet waar een laadactie staat en waar de tijd in gaat. → Load management
- Table tools: in het contextmenu van een tabel vind je onderhoudsacties die eerder een SQL-script vroegen, zoals hashes herberekenen, de deltastand bijwerken, de tabel leegmaken, columnstore aanzetten of de tabel herbouwen vanuit de dictionary. Elke actie vraagt eerst om bevestiging. Met een eigen permissie bepaal je wie ze mag gebruiken. → Data sources
- Deploymentplannen: bij het updaten of herbouwen van een omgeving volg je per stap welke taken er lopen. Herbouwen kan nu ook voor het datawarehouse. Het updatescherm wijst je vooraf op deze release notes.
- Changes en projecten: je verplaatst changes naar een ander project en werkt de projectstatus bij. Filter op status per omgeving, bijvoorbeeld alles wat op dev gesloten is en op prod nog open staat. De volgende stap van een change voer je met één klik uit, en na quick create gaat de webapp direct verder met de actie die je had gekozen. Alles rond changes staat nu op één plek. → Projecten & changes
- Materialized views: een vernieuwd scherm voor gematerialiseerde views, afgestemd op het nieuwe mechanisme. → Data engineering
- Database-toegang via de appregistratie: beheerders kunnen een omgeving op de database laten inloggen via de Yres-appregistratie in Entra ID. Er zijn dan geen databasewachtwoorden meer om te beheren. → Admin
- Monitorpipeline inplannen:
ADFLoadMonitorstaat in de pipelinelijst bij Triggers, zodat je hem zelf kunt inplannen. → Load management - Gebruiksgemak en platform: verder is er veel gepolijst, onder meer aan de donkere modus, het eigen thema van je organisatie, de dependencyweergave van changes, het sorteren van tabellen en de datumweergave in de logs. De webapp draait op nieuwere versies van Laravel en React. S3-opslag mag tot 1 TB groeien, en tokens worden versleuteld bewaard.
Dataplatform: nieuw
- SFTP als bron: bestanden van een SFTP-server laad je op dezelfde manier als bestanden van een fileserver of SharePoint, met inloggen via wachtwoord of SSH-sleutel. → SFTP
- Youforce (Visma) als bron, in preview: HR-gegevens uit Youforce komen via de Youforce Data API in je datawarehouse. Yres vraagt de gegevens per bron in één keer op en laadt daarna elke entiteit in een eigen tabel, met een eigen regel in de monitoring. → Youforce
- AFAS via OAuth: de AFAS-koppeling vraagt zelf een token aan en vernieuwt het automatisch. → AFAS
- Materialized views 2.0: een gematerialiseerde view is een volwaardige bron geworden. Hij laadt via dezelfde engine als elke andere tabel en krijgt dus dezelfde loadtypes, historie, delta's en monitoring. Je registreert een view zoals een tabel, met zelfgekozen doelschema en doelnaam. → Views & pipelines
- Voortgang per fase: de nieuwe view
Monitoring.vwLoadProgresslevert de fase-informatie achter het nieuwe monitoringscherm, ook voor eigen rapportages. → Monitoring & logging - Archivering voor bestands- en REST-bronnen: de archiveringsinstellingen zijn nu ook beschikbaar bij bestands- en REST-tabellen. → Archivering
- Testomgeving met dummydata: voor een bestaande bron bouw je met
Config.spCreateDummyDatain één stap een complete testomgeving op, in vier groottes. Zo test je wijzigingen zonder productiedata en ruim je de omgeving daarna net zo makkelijk weer op. → Stored procedures
Dataplatform: stabiliteit & performance
- Snelle monitoring, ook op grote omgevingen: de monitoringviews blijven vlot, ook bij tientallen miljoenen logregels. → Monitoring & logging
- Verfijningen in het laden en beheren: delta's op OData v3-bronnen zoals het CBS, het installeren van changes voor tabellen met een eigen doelnaam, het vernieuwen van tokens en de samenwerking tussen de monitorpipeline en het automatisch schalen van de database werken nog soepeler. Tabeltools melden hun resultaat netjes terug in de webapp.
- Alle 1.56-updates inbegrepen: de verbeteringen die als update voor 1.56 zijn uitgebracht, zitten ook in 1.57.
v1.56 — augustus 2026
De grootste release tot nu toe: naast de webapp is ook het complete dataplatform (database + ADF) onder handen genomen. Hieronder de hoofdlijnen per thema; de gelinkte wiki-pagina's beschrijven de details van elk onderwerp.
Upgrade & breaking changes
- Upgraden kan alleen vanaf v1.50. Oudere omgevingen upgraden eerst naar 1.50.
- IRIS → Yres, ook in de database en ADF. De upgrade hernoemt het maatwerkschema
CustomIrisnaarCustomYres(eigen objecten verhuizen mee), kolommenIris*naarYres*(zoalsYresLastUpdated), de databaserol naarYres_MANAGED_USERSen de versiesetting naarYRES_VERSION. In ADF heten alle pipelines voortaan… YRESin plaats van… IRIS, de linked serviceIrisDwhwerdYresDwhen het data lake gebruikt de containerdatalake-yres. Eigen rapporten, SQL of scripts die de oude namen gebruiken moeten worden aangepast. - Surrogate keys worden bij de upgrade opnieuw opgebouwd volgens een nieuw, botsingsvrij sleutelmodel
(
intKeyals doorlopende teller per tabel;jsonKeyblijft beschikbaar voor eigen uitbreidingen). → Historie & SCD2 - De Data Lake bevat voortaan mutaties in plaats van momentopnames. Wie data uit de lake leest,
moet mee: de bestanden staan op een nieuw pad, bevatten alleen de gewijzigde rijen van die run en
dragen een
I/U/D-markering. Bestaande bestanden blijven staan, maar er komt niets meer bij op het oude pad. → Lake feed - Eerder gewijzigde doelnamen worden alsnog doorgevoerd. Tot nu toe veranderde het aanpassen van een doelnaam of doelschema (de Overwrite-velden) niets aan de database: de tabel bleef onder zijn oorspronkelijke naam staan. Vanaf 1.56 hernoemt Yres de fysieke tabellen wél — ook voor wijzigingen die je in het verleden maakte en die nooit effect hadden. Loop daarom vóór de upgrade je gewijzigde tabellen na en zet een naam terug als je de oude wilt houden. → Doelnamen wijzigen
- SharePoint-bronnen hebben nieuwe rechten nodig. Microsoft heeft de app-only-flow via Azure ACS
uitgezet, waardoor SharePoint-loads faalden. Yres gebruikt nu Microsoft Graph; geef de geregistreerde
app daarom application permissions op Microsoft Graph (minimaal
Sites.Read.All) met admin consent. De oude machtiging viaappinv.aspxvolstaat niet meer. → SharePoint - De actief-instelling van een kolom of tabel werkt nu door in de loads. Zet je een kolom of tabel op inactief, dan wordt die vanaf 1.56 ook daadwerkelijk overgeslagen bij het laden. Controleer daarom vóór de upgrade wat er bij jou op inactief staat, zodat je selectie klopt met wat je geladen wilt hebben. → Acties per bron
- Een kolom verwijderen ruimt hem nu ook fysiek op. Haal je een kolom uit de dictionary — de rij weghalen, niet alleen op inactief zetten — dan verwijdert Yres hem voortaan ook uit de HIS-tabel, inclusief de historische waarden die erin staan. Voorheen bleef de kolom in de database staan. Deze actie is niet terug te draaien; wil je de historie bewaren, zet de kolom dan op inactief in plaats van hem te verwijderen.
- Uniciteit op de kolomadministratie. De tabellen achter de dictionary krijgen bij de upgrade een uniciteitsregel op hun logische sleutel, zodat dezelfde kolom er maar één keer in kan staan. Komen er in jouw omgeving dubbele rijen voor, dan ruimt de upgrade die op en houdt de meest recent bijgewerkte aan.
- Instelling hernoemd. De instelling
AllowUpdatesInIrisSchemasheet voortaanAllowUpdatesInYresSchemas— de laatste "Iris"-naam in de instellingen. De upgrade hernoemt haar automatisch met behoud van de ingestelde waarde; alleen eigen scripts die de oude naam gebruiken, moeten mee. → Admin → Instellingen - Verouderde procedure verwijderd. De oude, niet-ondersteunde procedure
Config.spCreateExternalTablesFromDictionaryis uit de database verwijderd. Voor external tables over de Data Lake is er nu een volwaardig, automatisch onderhouden alternatief: hetDL-schema van de lake feed. → Lake feed
Webapp
- Branding: IRIS heet voortaan Yres in de hele webapp (e-mails, UI, vertalingen); bij de update naar 1.56 worden oude triggers met de legacy-merknaam opgeruimd.
- Projects & changes: herontworpen changes-tabel met environment-entries per change; gerelateerde changes zichtbaar vanuit de object viewer. → Wijzigingsproces, Projecten & changes
- Multi-tenancy: subdomein per organisatie, Azure SSO-redirect naar de juiste organisatie, en het aantal omgevingen gekoppeld aan het abonnement. → Admin
- Oracle & MySQL vernieuwd: de linked services zijn bijgewerkt naar de nieuwste connectorversies — property-gebaseerd in plaats van een connection string, MySQL met SSL. → Oracle, MySQL
- Bronnen & connectiviteit: nieuwe REST-service-presets, verfijnde REST-paginering, en Test connectivity vanuit de webapp. → Integraties
- Monitoring & health: nieuwe health bar met DWH-statistieken; pipeline-runs met filters. → Monitoring & logging
- Data engineering & object viewer: git-diff en syntax highlighting, uitgebreidere mapping van scripted objects, en wizard-verbeteringen. → Data engineering
- Triggers met meerdere dagen én tijdstippen: één trigger kan nu bijvoorbeeld elke maandag én zaterdag om 01:00, 05:00 en 09:00 draaien. Uren, minuten, weekdagen en maanddagen kies je als meervoudige selectie, aangevuld met terugkerende voorkomens als "laatste vrijdag van de maand"; een samenvatting toont vooraf alle uitvoermomenten. Voorheen was elk dag/tijd-paar een aparte trigger. → Triggers
- Archiveringspipeline uit de doos: bij het bijwerken van een omgeving naar 1.56 wordt de
Dynamic Archiving Workflow YRESautomatisch aangemaakt, inclusief de bijbehorende archiefopslag. Je kunt hem daarna gewoon vanuit Run pipelines starten en met een trigger inplannen. Elke pipeline met Source/Schema/Table-parameters krijgt bovendien die drie als kolommen én filters in de runhistorie — dus ook de archiveringsworkflow. → Load management - Beheer & beveiliging: admin secrets-view, credential-vervalnotificaties, encryptie van credentials en jobs, Azure Redis-cache, en robuustere Azure DevOps-integratie.
- Opgeloste fouten: het handmatig starten van een pipeline en het aanmaken van een trigger gebruikten soms een verouderde merknaam, waardoor de actie op een niet-bestaande pipelinenaam stukliep; het rechtermuisknop-menu in Changes en Used tables opende op de verkeerde plek zodra de pagina gescrold was; en het bijwerken van een grote organisatie kon voortijdig afbreken en daardoor dubbel draaien.
Dataplatform — nieuw
-
Lake feed: de Data Lake als change feed. De Data-Lake-uitvoer is herbouwd. In plaats van elke run de volledige stagingtabel te dumpen, schrijft Yres nu per run één Parquet-bestand met alleen de mutaties, elk gemarkeerd als insert, update of delete — inclusief expliciete tombstones voor verwijderde rijen, die voorheen onzichtbaar waren. Daarmee is uit de lake zowel de actuele stand als de volledige historie af te leiden, en is de feed direct bruikbaar als invoer voor een Delta-tabel. Runs zonder wijzigingen schrijven niets, een herstart overschrijft zijn eigen bestand, en de lake-stap loopt parallel aan het laden van het datawarehouse. Aanzetten doe je per tabel met
DataPlatform = DL. → Lake feed -
DL-only-tabellen: de lake als cold storage, bevraagbaar vanuit SQL. Een tabel die alléén op
DLstaat, krijgt geen history-tabel meer in de database — de data leeft volledig in de Data Lake. Toch bevraag je haar gewoon vanuit SQL: Yres genereert en onderhoudt automatisch external tables en views in hetDL-schema, inclusief een HIS-vormige view die de vertrouwde SCD2-kolommen (ETL_Date/ETL_EndDate/isCurrent) uit de feed afleidt. Schemawijzigingen volgen vanzelf via schemageneraties, en nieuwe health checks bewaken de hele keten — van configuratie tot compatibiliteitsniveau. → Lake feed → het DL-schema -
De testsuite wordt meegeleverd. De regressietestsuite die elk databaseobject doorlicht — inmiddels ±1655 controles over 195 objecten (en groeiend per release) — zit in de DACPAC en komt dus met elke versie mee. Na een deploy of bij twijfel draai je hem zelf met
EXEC Test.spRunAll— hij is veilig op productie, ruimt bewijsbaar op en draait nooit uit zichzelf. → Testsuite -
Bijna 1700 gedragscontroles op het dataplatform. De meegeleverde testsuite is uitgebreid van objectdekking naar gedragsdekking: naast het happy path toetst elk objecttype nu ook lege invoer,
NULL, grensgevallen, ontbrekende afhankelijkheden en meerdere rijen tegelijk. De suite groeide van circa 600 naar de ±1655 controles hierboven, verdeeld over 195 objecten, en draait voortaan mee met elke release. Wat daarbij naar boven kwam is meegenomen in deze versie; de randgevallen die daardoor steviger zijn geworden:- Delta-loads rond de zomertijdovergang verwerken de twee overgangsnachten nu correct.
- Het promotiemechanisme neemt bij een tabeltype de volledige definitie mee naar de volgende omgeving, inclusief kolombreedtes en standaardwaarden.
- Gedeeltelijke wijzigingen in de webapp laten de velden die je niet aanraakt ongemoeid.
- Een onverwerkbaar item stopt de rest van een verwerking niet meer; die loopt door en het probleemgeval wordt gelogd.
- Het auditspoor van databasewijzigingen blijft ook na een onderbroken opruimactie actief.
-
Workload-administratie: workflows plannen hun volledige werklast vooraf in (
LoadManagement.LoadLog) en werken die per load bij. De monitor toont daardoor ook geplande en overgeslagen loads, statussen komen uit de administratie zelf en looptijden kloppen. Een nieuweADFLoadMonitor-pipeline en een herbouwde garbage collection spiegelen de ADF-runstatussen terug naar de database, zodat een weggevallen run niet blijvend op "RUNNING" staat. → Monitoring & logging -
Retentiebeleid voor de logtabellen: instelbaar per tabel via
Monitoring.RetentionPolicy(standaard 90–365 dagen); de wekelijkse ADF-pipelineMaintenance Retention YRESschoont gebatcht op met vaste integriteitsgaranties (de laatste run per load en lopende loads blijven altijd staan) en een dry-run-modus; de trigger staat na installatie bewust uit. Voorheen groeiden de logtabellen onbegrensd. → Retentie van de logtabellen -
Metadata verversen is atomair: alle GetMetaData-pipelines stagen de metadata en wisselen die in één transactie in — bij bronnen met meerdere services per onderdeel. Een mislukte of gelijktijdige refresh kan de kolomadministratie niet meer half leeg achterlaten. → Metadata verversen, Stored procedures
-
Delta-loads uitgebreid: twee deltakolommen werken nu op alle SQL-/databasebronnen én op Salesforce, SAP SAC en AFAS; Exact Online kreeg datumdelta's, het loadtype ADDITIONAL delta-append, AFAS datatype-bewuste filters en Oracle volwaardige delta-ondersteuning. → Load-types, Meerdere deltakolommen
-
REST-bronnen: de request-URL wordt voortaan in de pipeline opgebouwd uit de basis-URL in Key Vault plus het endpoint (inclusief querystring-merge). → REST-service
-
Snowflake: staging herschreven naar één Parquet-bestand met een instelbare stagingcontainer. → Snowflake
-
Doelnamen wijzigen werkt nu echt. Pas je bij een geregistreerde tabel de doelnaam of het doelschema aan, dan hernoemt Yres voortaan de fysieke tabellen: STAGE, HIS en — bij
DataPlatform = DL— de lake-boekhoudtabel verhuizen mee, net als de surrogate keys van die tabel. Voorheen bleef de database op de oude naam staan terwijl de configuratie de nieuwe toonde. De hernoeming gebeurt bij de eerstvolgende Update tables from dictionary en is atomair: mislukt hij, dan staat alles nog op de oude naam. Wijst de nieuwe naam al naar een bestaand object, dan weigert Yres en logt dat. Bij bestands-, REST-, SharePoint-, Microsoft 365- en TrustIT-bronnen draait die stap automatisch mee in elke load; bij de overige bronnen alleen als je hem zelf start. → Doelnamen wijzigen -
Health checks: de checkview is opgesplitst in modulaire groepen en uitgebreid met ~24 nieuwe configuratie-integriteitschecks. → Admin → Health checks
-
Wijzigingsproces gehard: veertien fouten in release/import/install opgelost, plus een leesbare release-historie per change (
Change.vwLogs). → Wijzigingsproces -
DB-tier-scaling: naast de "Default"-tier is nu ook een "High"-tier configureerbaar waarnaar workflows tijdens zware loads kunnen opschalen. De monitorpipeline heroverweegt de tier bovendien tussentijds: een afschaling die tijdens drukte werd uitgesteld, wordt alsnog uitgevoerd zodra de actieve workloads klaar zijn — je betaalt de hogere tier dus niet langer dan nodig.
-
Archivering: per tabel kiezen tussen
CLOSED(afgesloten SCD2-versies) enBUSINESS(data ouder dan X jaar op een datumkolom); de workflow kopieert naar een eigenarchive/-pad in de Data Lake, verifieert de rowcount en schoont pas daarna op (gegate door de instellingArchivingPurgeEnabled, standaard copy-only); gearchiveerde data wordt bij het laden geblokkeerd zodat ze niet terugkeert; per tabel een automatische_IncArchive-unionview (live + archief); nieuwe health checks bewaken de configuratie. De archiveringsworkflow wordt bij de update automatisch aangemaakt en is vanuit de webapp te starten en in te plannen; welke tabellen archiveren stel je in deze versie nog in de database in, niet in de webapp. → Archivering -
Archivering onthoudt zijn opschoningen. Elke geverifieerde purge wordt vastgelegd in een purge-geheugen (
ArchiveLog), zodat opgeschoonde rijen ook na een configuratiewijziging — een andere bewaartermijn, een andere kolom, of archivering die weer uitgaat — consistent buiten het datawarehouse blijven. Bewust terughalen kan altijd. De archiveringsconfiguratie wordt bovendien direct bij het opslaan gevalideerd (een onvolledige instelling geeft meteen een duidelijke melding), en twee nieuwe health checks maken het purge-geheugen inzichtelijk. → Archivering → purge-geheugen
Dataplatform — stabiliteit & performance
- Stabiliteitsfixes: een brede reeks fixes in het laadmechanisme (typemappings, delta-filters, paginering, monitoring-statussen en foutafhandeling) en in de CI/CD-mechanismes (wijzigingsproces, release/import/install en deployment). → Monitoring & logging, Wijzigingsproces
- Performance-verbeteringen: de SCD2-merge is op zijn hotspots herschreven en de workflow-planning schaalt niet meer mee met de monitoringhistorie of het aantal tabellen — vooral merkbaar op grote omgevingen. Daarnaast blokkeren de logstappen het echte werk niet meer: ze draaien voortaan naast de laadactiviteiten in plaats van ervoor, wat per tabel wachttijd scheelt. Er verdwijnt geen logregel; wel kunnen regels binnen dezelfde load in een iets andere volgorde in de monitoring verschijnen.
- Monitor-reconciliatie robuuster: de technische pipelines die pipeline-runs uit de Azure
Management-API teruglezen om achtergebleven RUNNING-statussen te reconciliëren, landen de
API-antwoorden nu met een vaste kolomset (
@StrictColumnsinspJsonToTable). Nieuwe of incidentele velden in het API-antwoord kunnen het schema van de monitortabel daardoor niet meer ongemerkt wijzigen of de reconciliatie laten falen. → Monitoring & logging - Deltawatermerk beschermd bij gefaalde loads: faalde een deel van een DELTA-load, dan kon het
watermerk (
UsedTables.LatestRecord) toch doorschuiven, waardoor de niet-geladen rijen bij volgende delta-runs stilzwijgend buiten beeld bleven; herstel vergde een eenmalige FULL load. Het watermerk schuift nu alleen door wanneer de load volledig is gelukt — na een gefaalde load blijft het staan (zichtbaar in de monitoring als Delta watermark not advanced) en pakt de eerstvolgende geslaagde run het verschil automatisch opnieuw op. → Laadtypes - Columnstore-tabellen laden via het bulk-load-pad: bij doeltabellen die als columnstore zijn
aangemaakt schrijft de merge zijn
HIS-inserts nu met één tabellock (TABLOCK) in plaats van rij- en pagina-locks — merkbaar minder lock-overhead op grote loads. Rowstore-tabellen veranderen niet, en omdat loads per tabel al na elkaar draaien blokkeert dit niets extra. - Live voortgang in de monitoring, ook tijdens grote loads: de SCD2-merge schrijft zijn logregels voortaan in korte, per-pagina afgesloten transacties. Je ziet de voortgang van een lopende load dus meteen in de monitoringschermen, in plaats van pas na afloop — en de monitoringviews lezen zonder een lopende load te hinderen.
- Fouten in ondersteunende stappen zijn direct zichtbaar: waar een probleem in een ondersteunende
stap (zoals view-onderhoud of lake-leesobjecten) voorheen alleen als logregel te vinden was, meldt hij
zich nu als een zichtbare
FAILED-status met de foutdetails erbij. Bewuste overslagen (bijvoorbeeld een feature die uitstaat) blijven gewoon informatieve meldingen — je ziet dus sneller wat aandacht vraagt, zonder ruis. → Monitoring & logging - Installeerbaar op elke servicetier: de database-upgrade (inclusief meegeleverde testsuite) werkt nu ook op de kleinere DTU-tiers; columnstore-functionaliteit activeert zichzelf alleen waar de tier die ondersteunt.
- Data Lake-toegang via managed identity: de koppeling tussen de ADF-factory en de Data Lake gebruikt voortaan de managed identity van de factory in plaats van accountsleutels — geen sleutels meer om te beheren of te roteren.
- Verdere verfijningen in het laadmechanisme: een reeks kleinere verbeteringen die het gedrag voorspelbaarder maken. Een greep: een haperende token-refresh kan een werkend OAuth-token niet meer overschrijven; een licentie is de volledige einddag geldig; de keuze uit dubbele typemapping-regels is nu deterministisch; een tabel die dubbel geregistreerd staat, wordt nog maar één keer geladen; het omzetten van een tabel naar columnstore en het herbouwen van de leesrol gebeuren atomair; het deregistreren van een tabel ruimt de volledige administratie op; en de monitor toont geen synthetische plaatsvervangende regels meer.
- SharePoint werkt weer: de bestandsophaal is overgezet op Microsoft Graph nu Microsoft de oude app-only-authenticatie heeft uitgezet. Yres zoekt het bestand nu via site → documentbibliotheek → bestand en haalt het op via een tijdelijke kopie in de Blob Storage van de omgeving. Let op de gewijzigde rechten en de betekenis van de bestandslocatie. → SharePoint
- Bestandsbronnen — deltavenster gecorrigeerd: meervoudsvormen als
DAYSenHOURSwerden niet herkend en vielen stil terug op seconden, enYEARrekende met 365 uur in plaats van 365 dagen. Beide zijn opgelost; een tabel met zo'n instelling pakt na de update een breder en correct venster op. → Deltavenster bij bestandsbronnen - Datatype-mappings opgeschoond: een brede correctieronde op de standaard type-mapping. Kolommen die
als
rowversionin het datawarehouse belandden (SQL Server, DB2, MySQL, OneStream) worden nu correct als binaire waarde of datum aangemaakt, mappings naar typen die SQL Server niet kent (blob,bool,byte) zijn vervangen, Salesforce-adreskolommen worden niet meer op één teken afgekapt, SnowflakeVARIANTmag weer lange waarden bevatten, en dubbele mappingregels — die willekeurig gedrag gaven — zijn verwijderd. Ontbrekende regels worden bij de deploy hersteld. - Automatisch remodelleren robuuster: een bronwijziging die meerdere tabellen tegelijk raakte, liep
na de eerste tabel vast, en een
rowversion-kolom kon helemaal niet geremodelleerd worden. Beide zijn opgelost. → Wijzigingsproces - DB2-metadata: het ophalen van de kolomstructuur van een DB2-bron leverde een onvolledige administratie op, waardoor tabel- en kolomlijsten in de webapp leeg of incompleet bleven. Opgelost.
- Minder valse meldingen in de health checks: de check op verweesde metadata markeerde de hele nog niet gebruikte broncatalogus als dode metadata. Hij slaat nu alleen nog aan op metadata van bronnen die niet meer bestaan of inactief zijn. → Admin → Health checks
- Bestandsbronnen — compressie: de compressievorm van een bronbestand blijft nu behouden wanneer de tabelconfiguratie wordt bijgewerkt; voorheen ging die instelling bij elke wijziging verloren.
v1.55 — september 2025
- Data & loading: kolommen kiezen die meetellen bij het vergelijken van rijen om gewijzigde records (changed records) te bepalen.
- Bronnen & connectiviteit: Yres beheert Integration Runtimes nu vanuit de frontend (beter bij rebuild en upgrade naar een nieuwere versie); bestaande IR's zijn te "importeren" in de nieuwe opzet.
- UI: actieknoppen in de datasource-menu's verplaatst naar een ⫶-menu om ruimte te besparen;
REST-bronnen kiezen voortaan default-waarden voor centraal beheerde settings (zoals
KeepStageen row-/columnstore); REST-bronnen worden benoemd naar hun target in plaats van het bron-endpoint; File- en REST-bronnen vereisen voortaan Project + change aan het begin van de wizard. - Lifecycle management: environment comparison — SQL-definities vergelijken tussen omgevingen, met volledige diff-view (tussen versies of tussen omgevingen); nieuwe setting op organisatieniveau om specifieke ADF-objecten uit te sluiten bij het publiceren van changes naar ADF.
- Automation & pipelines: main pipelines kunnen worden gekopieerd naar een nieuwe versie.
- Security: backend-URL's op basis van UUID's (geen voorspelbare endpoints); nieuwe installaties vereisen een extra property ter voorbereiding op subdomeinen per organisatie; client & secrets waarmee Yres bij de Azure-tenant van de organisatie komt, zijn beheerbaar door admins.
v1.54 — juli 2025
- Data & loading: tabellen deactiveren zodat ze tijdelijk buiten loads blijven; loads starten direct vanuit het datasource-menu; persist view direct vanuit het Persist View-menu.
- Bronnen & connectiviteit: refresh metadata voor 80+ bronnen; ondersteuning voor PAT-tokens in OneStream.
- Monitoring & UI: filteroptie in de pipeline-monitor; extra tijdselecties (1/4/8 uur); paging in de gemonitorde jobs; materialized views toegevoegd aan de monitor.
- Projects & changes: nieuw iteratief proces voor complexe dependencies; naming overwrites tussen
dev, test en prod (voor bronnen die per omgeving andere objectnamen hebben, bijv.
ERP_DEV.Customers/ERP_TST.Customers/ERP.Customers). - Automation & pipelines: persist view vanuit de main pipeline; custom bronnen selecteerbaar bij het starten van loads; parallelisme instelbaar voor loads; alternative load volledig beschikbaar.
- Communicatie: announcements nu beschikbaar voor organisatie-admins.
v1.53 — mei 2025
-
Data & loading: Delta Image load mode (selectief specifieke periodes herladen, bijv. het vorige jaar, met verwijdering van verouderde records én behoud van historie); uitgebreide paging in REST-bronnen (RFC 5988, offset-based, looped page traversal, body-result-URL); schaalbare verwerking via paging (100M+ records); PowerBI Models verversen binnen loads.
-
Nieuwe bronnen: OneStream, SAP Business Data Cloud (
SAP_BDC) en Simplicate; OpenAPI-support voor REST (openapi.json/swagger.json, endpoints visueel selecteerbaar); custom ** database deployment** (deployen op een eigen bestaande Azure-database in plaats van de standaard embedded database).SAP Business Data Cloud ≠ SAP DatasphereDe bron die in deze release is toegevoegd is SAP Business Data Cloud (backend-brontype
SAP_BDC). Dit is een ander SAP-product dan SAP Datasphere; in de ADF-templates zijn het gescheiden connectoren. Behandel beide als gerelateerd maar afzonderlijk. -
Monitoring & UI: actieve omgeving (Development/Test/Production) prominent linksboven; nieuw monitoring-dashboard met historie, tabelgroottes in MB en rowcounts; verbeterde upgrade- & rebuild-monitoring; resizable sidebar; refresh-knop in de webapp; deep links werken (een gedeelde link opent voortaan de juiste pagina).
-
Tabel- & schemabeheer: vernieuwde table-creation flow (datatypes per veld instelbaar bij aanmaken); tags toevoegen aan bronnen boven de tabellen; column-usage-analyse (ongebruikte kolommen opsporen en hun gebruik traceren).
-
Projects & changes: bestaande database-objecten uit de object-tree opnemen in changes; dependencies en/of content meenemen in changes; metadata van Dev standaard meenemen naar Prod; scripted objects zichtbaar in de change-content-overview.
-
Automation & pipelines: Master Pipeline-feature (acties sequentieel/conditioneel uitvoeren op succes of falen van voorgaande stappen, inclusief conditionele Power BI-refresh); alternative load ("Run full, Image, Overwrite of Reload once" — bijv. door de week delta's en in het weekend een volledige reload); garbage-collection-pipeline in ADF; custom ADF-pipelines triggeren vanuit de frontend.
-
Communicatie: admin-messaging naar alle applicatiegebruikers.
-
Installatie & configuratie: vereenvoudigde installatie via een e-maillink; Azure-variabelen (ADF-naam, resource group, subscription) opgeslagen in
config.settings. -
Verbeteringen: alle timestamps in UTC (weergave in eigen tijdzone); duidelijkere foutmeldingen; fix voor IMAGE-loads die in de staging-stap konden falen en alle target-records sloten.
v1.52 — januari 2025
De view [Monitoring].[LoadMonitor] is in release 1.51 vervangen door [Monitoring].[Monitor]. Beide
views blijven co-existeren tot versie 1.53, waarna [Monitoring].[LoadMonitor] wordt verwijderd.
Let op: dit betreft de webapp-gerichte monitoring-view. In de huidige
IRIS_DWH-database loopt load-monitoring via de viewsvwLoads(pipeline-timeline) envwMonitor(breder). Zie SQL-interactie. :::
- Security & gebruikers: SSO verplicht per gebruiker (admins kunnen SSO afdwingen, in het Users & Roles-menu).
- Database object viewer: alle database-objecten tonen (ook objecten die níét door of met Yres zijn aangemaakt); definities in SQL bekijken, definities over tijd vergelijken en dependencies inzien.
- Licensing: een licentie wordt nu aan de database toegevoegd zodat Yres het gebruik kan begrenzen waar van toepassing; bestaande klanten kregen automatisch een volledige licentie.
- oData / SAP: ondersteuning voor JSON-objecten in oData-resultaten en gZip-compressie in oData-metadata (specifiek nodig voor SAP-loads).
- Database scaling: DB-scaling beter beheerd over meerdere workstreams (voorkomt dat de ene workstream de server terugschaalt terwijl een andere nog draait).
- Nieuwe datatypes in table keys:
XML,TEXT,NTEXT,IMAGE,GEOGRAPHY,GEOMETRY,HIERARCHYID. - Verder: nieuwe health checks; herontworpen Update Tables; nieuw Feedback-formulier (Bug report / Feature request / Feedback); "Panel" hernoemd naar Users & Roles; upgrade van LinkedServices in ADF (MySQL, PostgreSQL, Snowflake, custom dispatcher); bronnen zonder key beter ondersteund.
v1.51 — september 2024
De view [Monitoring].[LoadMonitor] is vervangen door [Monitoring].[Monitor]. Beide views co-existeren
tot versie 1.52, waarna [Monitoring].[LoadMonitor] wordt verwijderd. (De v1.52-herinnering hierboven
noemt 1.53 als verwijderversie — de productdocumentatie is op dit punt niet helemaal consistent.)
- UI: nieuwe homepage met monitors voor jobs, errors en loads; nieuwe datasource-picker; resizable en verbeterde modal windows.
- Nieuwe bronnen: meerdere Azure Blob-bronnen tegelijk; generieke REST API's (elke API die JSON teruggeeft; headers per service; auth: anonymous, header, basic, oAuth; query-parameters ondersteund; alleen GET-endpoints); Salesforce; SAP Analytics Cloud (SAC).
- oData: oAuth-support (client credential + authorization code); verplichte
OrderByverwijderd (voor services die geen OrderBy ondersteunen). - Security: standaard-publicatie van de rol
[Yres_dbreader](lezen uit het ingestelde HIS-schema, STAGE- en systeemtabellen verborgen); Key Vault API-versie 7.4. - Loading: ondersteuning voor twee delta-kolommen voor alle SQL-gebaseerde bronnen behalve MySQL
(handmatig instelbaar via het
deltaColumn-veld inLoadmanagement.UsedTables, komma-gescheiden, beide kolommen hetzelfde datatype; het systeem neemt de hoogste waarde).
v1.50 — augustus 2024
- Standaard support voor surrogate keys (systeembreed én per tabel).
- Table settings in de web-frontend: columnstore, inMemory, loadfilters, delta-offsets, page limits en package sizes (voorheen alleen via het SQL-endpoint).
- Single environment (alleen prod) mogelijk.
- Volledige logging in UTC, weergave in elke tijdzone.
- Nieuw data-engineering-menu; lijsten alfabetisch gesorteerd.
v1.49 — juni 2024
- Nieuw topmenu; beter inzicht in actieve jobs.
- Push-berichten voor afgeronde jobs, waar je je ook in de applicatie bevindt.
- Strikt databasebeheer: geen ongevraagde wijzigingen in settings, logs of objecten.
v1.48 — april 2024
- Nieuw topmenu en notificaties voor afgeronde jobs.
- Firewall specifiek voor de web-frontend.
- Directe links naar bestaande Azure-resources; nieuw rolbeheer.
- Actieve monitoring op bronwijzigingen die het dataplatform raken.
v1.47 — januari 2024
- Nieuw audit-log voor webapp-gebruik.
- PowerBI-dashboard integreerbaar in Yres (voor uitgebreide load-monitoring).
- Gebruikers kunnen lid zijn van meerdere organisaties.