Ga naar hoofdinhoud

SFTP

Categorie: Bestand · vanaf v1.57

Bestanden van een SFTP-server laad je vanaf v1.57 rechtstreeks in je datawarehouse. Yres maakt verbinding over SSH en logt in met een gebruikersnaam en wachtwoord of met een SSH-sleutel. In Azure Data Factory wordt de bron een Sftp-linked service.

Verwachte input​

Je kiest de bron in Data sources via Create source onder File › SFTP. Naast de velden die voor elke bron gelden (bronnaam, type, integration runtime, of de credentials voor alle omgevingen gelijk zijn, eventuele vervaldatum van de credentials, tags) vraagt het SFTP-formulier de volgende velden:

VeldToelichting
HostDe hostnaam van de SFTP-server, bijvoorbeeld sftp.example.com.
PortDe SSH-poort. Standaard 22.
User nameHet account waarmee Yres inlogt.
AuthenticationTypeBasic voor inloggen met wachtwoord, SshPublicKey voor inloggen met een SSH-sleutel. Je keuze bepaalt welke velden erna verschijnen.
PasswordAlleen bij Basic: het wachtwoord van het account.
Private key (base64 encoded OpenSSH key)Alleen bij SshPublicKey: de inhoud van het private-keybestand in OpenSSH-formaat, base64-gecodeerd.
PassphraseAlleen bij SshPublicKey, optioneel: de passphrase van de sleutel. Laat het veld leeg als de sleutel er geen heeft.

Integration runtime: is de SFTP-server vanaf internet bereikbaar, dan volstaat de cloud-runtime AutoResolveIntegrationRuntime. Staat de server in een afgeschermd netwerk, kies dan een self-hosted integration runtime die de server kan bereiken. De gekozen runtime komt in de linked service.

Waar de credentials terechtkomen: de webapp bewaart geen secrets. Het wachtwoord of de sleutel gaat naar de Azure Key Vault van je eigen omgeving, onder de naamgroep adf-{bronnaam}-…:

  • bij Basic: adf-{bronnaam}-password;
  • bij SshPublicKey: adf-{bronnaam}-private-key-content en adf-{bronnaam}-pass-phrase.

De linked service verwijst naar die secrets. Host, poort en gebruikersnaam staan in de linked service zelf.

Voorbereiding​

  1. Vraag bij de beheerder van de SFTP-server een account aan met leesrechten op de map(pen) met de bestanden.
  2. Kies de manier van inloggen. Werk je met een sleutel, zorg dan dat de publieke sleutel bij het account op de server staat. De private sleutel codeer je met base64 voordat je hem in het formulier plakt.
  3. Zorg dat de server bereikbaar is vanaf de gekozen integration runtime (firewall, IP-allowlist, poort).

Bestanden toevoegen​

SFTP is een bestandsbron. Er is geen metadata-verversing: na het koppelen voeg je bestanden toe via de eigen flow voor bestanden (Used files), net als bij File Server. Per bestand geef je een schemanaam en tabelnaam, de bestandslocatie (eindigt op /), de bestandsnaam en of de eerste rij kolomnamen bevat. Bij CSV-bestanden stel je daarna de scheidingstekens in, bij Excel-bestanden het werkblad en eventueel een celbereik.

Load types: in de bestandsflow kies je FULL, OVERWRITE of IMAGE. Met het deltavenster voor bestandsbronnen laad je alleen bestanden die binnen een terugkijkvenster zijn gewijzigd.

Bestandsformaten​

Het dataplatform leest van een SFTP-server zeven formaten: CSV, Excel, Parquet, JSON, XML, ORC en Avro. In de webapp voeg je bestanden toe met de extensie .csv, .xlsx of .xls.

Officiële documentatie: Kopiëren van/naar een SFTP-server (Azure Data Factory)


Zie ook: Integratiecatalogus · Alle databron-vereisten · File Server · Databron koppelen & laden · Integraties — overzicht