Senior Data Engineer

Nederlandse Spoorwegen
Max 95 p/u
Utrecht
36 uur p/w
22-10-2023
22-10-2024
Freelance

Opdrachtomschrijving

In jouw functie als Senior Data Engineer speel je een belangrijke rol in het beschikbaar krijgen en houden van data pipelines bij de NS. Als Senior Data Engineer in het team Lakehouse is het jouw rol om ervoor te zorgen dat deze data betrouwbaar is, maar ook op een efficiëntie en schaalbare manier verwerkt wordt. Daarnaast draag je zorg dat dit gebeurt op een manier die voldoet aan de eisen die er liggen met betrekking tot de security en privacy.
In onze Azure cloud omgeving bouw je in een nieuw opgericht team mee aan een datafundament waarin alle batch- en streaming databronnen ontsloten worden voor verder gebruik door interne en externe dataconsumenten. Je schakelt veel met collega´s, biedt oplossingen en zorgt voor verbetering. Ook speel je een grote rol in het opzetten en beheren van de continuous delivery pipeline waarbinnen de pipelines van ontwikkeling tot productie worden gerealiseerd.
Hierin ben je succesvol doordat je jouw leergierigheid, motivatie en ‘getting-things-done mentaliteit’ slim inzet bij het:

  • Het inrichten van data pipelines tussen bron, opslag en Analytics oplossing en tussen oplossing en eindgebruiker;
  • Het inrichten van de continuous delivery pipeline voor data acquisitie,
  • Je ervaring en kennis inzet om te komen tot optimale solution architecturen,
  • Je proactief inzet in de begeleiding, coaching en skill opbouw van je teamleden.

Mindset

  • De reiziger en bedrijfsdoelstellingen staat op 1, 2 en 3;
  • Je neemt de gedeelde verantwoordelijkheid in team resultaten;
  • Je bent bereid tot het aannemen van disciplines die buiten je eigen expertisegebied liggen;
  • Je vindt het leuk om met je team een autonome/zelf-organiserende aanpak te hanteren;
  • Je hebt een proactieve houding;
  • Je geeft opbouwende feedback aan je teamgenoten;
  • Je kunt feedback van je teamgenoten waarderen;
  • Je bent leergierig en altijd op zoek naar nieuwe technieken om data te laden;
  • Als expert help jij ons om die extra stap te kunnen zetten!

Hier ga je werken

Welkom in de wereld van ‘DIA’ – Data, Innovatie & Analyse bij NS. DIA telt op dit moment ruim 300 medewerkers en we groeien iedere dag. Op het hoofdkantoor in Utrecht bij het Centraal Station en gedeeltelijk hybride vanuit huis bundelen collega’s hun krachten. Een mix van ervaringen en persoonlijkheden, die elkaar graag opzoeken om met elkaar te sparren en kennis te delen. In scrumteams werken we Agile samen om kwalitatief hoogwaardige en innovatieve dataproducten te leveren, die (interne) gebruikers snel en betrouwbaar inzicht geven om tot juiste acties te komen door het verzamelen, combineren, analyseren en presenteren van informatie. Jij gaat werken in team ‘Lakehouse’ dit team bestaat uit developers, een product owner en een scrummaster. Het is een hecht team wat altijd voor elkaar klaar staat.

Bij NS vinden we diversiteit en inclusie belangrijk, het maakt samenwerken leuker en het resultaat wordt er vaak beter van. Wij zijn vooral benieuwd naar jouw visie op de functie van software developer.

Waar ben je goed in?
Om je rol als Data Engineer succesvol in te vullen, vragen we het volgende van je:

  • Je hebt een relevante opleiding afgerond op HBO/WO niveau;
  • 3-5 Jaar ervaring in het werken met grote (gestructureerde) datasets;
  • Kennisdeling en coaching van je mede developers
  • Ervaring met real-time data verwerkingen;
  • Ervaring met streaming en data acquisitie architecturen,
  • Ervaring met technieken zoals Kafka, AMQP, RabbitMQ en/of Event Hub;
  • Ervaring met het implementeren van security maatregelen binnen een cloud omgeving;
  • Ervaring met cloud omgevingen, bij voorkeur Microsoft Azure;
  • Ervaring met CI/CD pipelines schrijven, zoals in Azure DevOps of Jenkins;
  • In staat om een solution architectuur te bedenken, dan wel gevraagd en ongevraagd advies over te geven;
  • Ervaring met minstens een van de volgende programmeertalen: Java, Python, Scala, Julia en/of Go;
  • Ervaring met het structureel monitoren van data kwaliteit en bepalen van de juiste kwaliteitsstandaarden;

Dit zijn de eisen

  • Je bent een ervaren software developer met affiniteit voor data.
  • Je hebt een passie voor ‘clean code’, design patterns en code structuren.
  • Je hebt ruime ervaring met Python.
  • Je hebt ook kennis van GIT, CI/CD, Infra-as-code, Docker, Cloud ervaring (Azure is een pré), Dev/ops practices.
  • Je hebt ervaring met security en networking best practices.
  • Heb je ervaring met Spark/Databricks, Typescript en/of javascript? Dat is voor ons pre.
  • Je bent een team speller en assertief en communicatief vaardig.

competenties

  • Solution Engineering voor streaming en batch verwerking van databronnen
  • Solution Engineering voor opslag en verwerking en toegang tot data leveringen
  • Expertise in het opzetten van Cloud oplossingen (Prefered Azure)
  • Expertise in het opzetten van Security maatregelen in Cloud systemen (Prefered Azure).
  • Expertise in het opzetten van Deployment Pipelines (bijv. Jenkins, Azure Pipelines)
  • Expertise in het uitdenken en realiseren van Privacy vraagstukken rondom data.
  • Data Engineering
  • Ervaring met een basis set aan programmeertalen, waaruit af te leiden is dat overstappen naar andere talen geen probleem is.
  • Ervaring met het implementeren van data pipelines, waarbij ook de monitoring en logging geïmplementeerd zijn.
  • Inhoudelijke kennis van streaming oplossingen en onderliggende technieken, zoals AMQP en Kafka.
  • Development Frameworks
  • Bekend met het implementeren van CI/CD oplossingen
  • Bekend met version control (i.e. Git)

Op NS kun je rekenen

Werken bij NS betekent dat jij hét verschil kunt maken in de wereld van duurzame mobiliteit. Jij helpt mee om Nederland bereikbaar te houden, voor iedereen. Bij NS krijg je veel vrijheid. We beloven je dat geen dag hetzelfde is. De kernwaarden van NS zijn open en betrouwbaar. Wij gaan voor resultaat en willen vooruit.

De eisen

Alles uitklappen
Jouw aanbieding bevat een aanvraag-specifiek voorblad. Zonder voorblad wordt de aanbieding niet in behandeling genomen. Op dit voorblad worden de beoordelingscriteria van de betreffende aanvraag opgenomen. Onder elk criterium zien we graag een korte motivatie op welke wijze de kandidaat hieraan voldoet.
Je bent een ervaren software developer met affiniteit voor data;
Je hebt ruime ervaring met Python;
Je hebt ook kennis van GIT, CI/CD, Infra-as-code, Docker, Cloud ervaring (Azure is een pré), Dev/ops practices
Je hebt ervaring met security en networking best practices;

De wensen

Alles uitklappen
Je hebt ervaring met Spark/Databricks, Typescript en/of javascript.

Hoe werkt het?

Aanvraag indienen
Dien je aanvraag in middels het onderstaande formulier.
Introductie
We introduceren je profiel bij de desbetreffende opdrachtgever.
Aan de slag
Na akkoord kun je per direct aan de slag met je nieuwe opdracht!

Direct reageren

Vul het onderstaande formulier in en we zullen binnen 24 uur contact met je opnemen.

Het is niet meer mogelijk om op deze opdracht te reageren
Open sollicitatie
Sleep bestanden hierheen of
Toegestane bestandstypen: pdf, Max. bestandsgrootte: 256 MB.
    Sleep bestanden hierheen of
    Max. bestandsgrootte: 256 MB.