Data – Senior data engineer/analytics engineer voor team Basisstatistiek

Gemeente Amsterdam
Geen max uurtarief
Noord-Brabant
32-36 uur p/w
15-02-2024
15-08-2024
Freelance

Opdrachtomschrijving

Opdrachtomschrijving
De kandidaat gaat het team helpen met het migreren van hun bestaande datapipelines naar Databricks op het Azure-platform. Dit doet de kandidaat door mee te werken, te adviseren en mee te denken met de teamleden. De huidige datapipelines zijn gemaakt op basis van PostgreSQL queries en functies en Bash. Een klein gedeelte van de datapipelines staat in SAS-code.

Als team ontsluiten we niet alleen maar data, een groot deel van ons werk is het koppelen van data en het maken van (complexe) afleidingen. Een simpel voorbeeld hiervan is dat we vastgoed en gebiedsdata ontsluiten, we koppelen de vastgoed data aan de gebiedsinformatie, zodat we weten in welke buurt de vastgoed-objecten liggen. Daarna leiden we af welke vastgoed-objecten een woning zijn en maken we statistieken over de hoeveelheid woningen per buurt.

Het is in deze functie daarom ook van belang om de data na bewerking (koppelen, afleiden) inhoudelijk goed te controleren, zodat we geen verkeerde statistieken publiceren. In deze functie wordt nauw samengewerkt met de andere data engineers die ook inhoudelijk veel ervaring hebben met de data.

In het kort omvatten de werkzaamheden het meewerken met het team en meedenken en adviseren over hoe we van onze huidige werkwijze naar een geoptimaliseerd en efficiënt data verwerkings- en verrijkingsproces in Databricks komen. Hieronder valt ook het deployen van ontwikkelomgeving naar productie.

Werkzaamheden

De kandidaat helpt het team met:
– Coachen en kennis over dragen naar de teamleden;
– Het omschrijven van bestaande datapipelines op basis van PostgresSQL, Python en Bash naar geautomatiseerde datapipelines in Databricks in de Cloud;
– Je controleert of de resultaten van een gemigreerde datapipeline exact dezelfde statistieken opleveren als in de oude omgeving;
– Meedenken en adviseren over hoe we van onze huidige werkwijze naar een geoptimaliseerd en efficiënt data verwerkings- en verrijkingsproces in Databricks en Azure komen;
– Je geeft advies en denkt mee over hoe we onze data pipelines met behulp van Git kunnen deployen in productie;
– Actief samenwerken met de overige teamleden door tijdens het werk jouw kennis over te dragen, onder andere door feedback te geven op code van collega’s;
– Het integreren en modelleren van data conform richtlijnen en standaarden van de data office en conform architectuur principes.

Gemeentelijke organisatie
Met ruim 18.000 collega’s zorgen we ervoor dat Amsterdam een aantrekkelijke hoofdstad is en blijft. Waar het fijn is om te wonen, te werken en naar school te gaan. Met ruimte voor ondernemers en bezoekers. Werken voor Amsterdam betekent bijdragen aan iets groots. Aan groei, veiligheid, ontwikkeling, gezondheid. Van de stad, van Amsterdammers. Daarmee geven wij Amsterdam door; aan de toekomst, aan volgende generaties. We willen een goede werkgever zijn die ervoor zorgt dat alle collega’s zich gezien en gewaardeerd voelen. We koesteren verschillen tussen
collega’s, al die verschillen zorgen voor betere resultaten voor onze organisatie én onze stad.
Lees meer over de organisatiestructuur van de gemeente Amsterdam.

Digitalisering bij gemeente Amsterdam
Bewoners, ondernemers en bezoekers van de stad Amsterdam verwachten een optimaal functionerende stad die aansluit bij de digitale toekomst. Dat betekent dat wij als gemeente moeten blijven innoveren om een steeds sneller transformerende stad gepast te kunnen blijven coördineren en bedienen. Daarom digitaliseert het i-domein, het IT, Innovatie & Data onderdeel van gemeente Amsterdam, de dienstverlening aan de stad in rap tempo. Zodat we een voorbeeldfunctie kunnen uitdragen in het op een veilige, verantwoorde en toekomstbestendige manier omgaan met technologie en informatie voor en in onze stad. Door een vooruitziende blik en inrichting van diensten, vormt de gemeente Amsterdam daarnaast een optimaal solide entiteit die bestand is tegen een toenemende dreiging van buitenaf voor ons digitale netwerk. Digitaliseren betekent hoofdzakelijk dat we fors investeren komende jaren in de hiervoor benodigde kennis en competenties van onze medewerkers, dat we gemeentebrede omscholingstrajecten voor banen van de toekomst organiseren en dat agile werken de norm is in het IT, Innovatie & Data onderdeel. Als jij voor gemeente Amsterdam als werkgever kiest kom je dus terecht in een digitaal zo optimaal mogelijk ingericht organisatieonderdeel, waarin de interne organisatie zo efficiënt mogelijk is ingericht. Werken bij gemeente Amsterdam betekent daardoor leren en kennis delen in een vooruitstrevende organisatie die de digitale maatschappij van nu en in de toekomst succesvol bedient.

Datateam Basisstatistiek
Als Data Engineer draag je dus bij aan het verder ontwikkelen van de stad Amsterdam! Je gaat o.a. aan de slag om de dataverwerking te professionaliseren, zodat statistische informatie over Amsterdam sneller beschikbaar is. Dit doe je niet alleen, in deze tijdelijke functiekom je te werken in het datateam Basisstatistiek bij de afdeling Onderzoek en Statistiek. Team Basisstatistiek produceert en publiceert statistieken over bijvoorbeeld inwoners, vastgoed en werkgelegenheid in Amsterdam. Deze worden gebruikt door beleidsmakers, onderzoekers, politici, journalisten en burgers (zie ook onderzoek.amsterdam.nl).

Je komt te werken in een innovatieve organisatie, die continu in verandering is. De eerdere ervaring die je hebt opgedaan in een Agile omgeving is dan ook waardevol. Je staat stevig in je schoenen en je straalt vertrouwen uit en krijgt net zoveel energie van zelfstandig werken als in teamverband.

De eisen

Alles uitklappen
De aangeboden kandidaat beschikt minimaal over een hbo werk- en denkniveau.
Geef in maximaal 1 A4 aan waarom uw kandidaat de meest geschikte is voor deze opdracht.
De aangeboden kandidaat heeft minimaal 5 jaar aantoonbare werkervaring, die is opgedaan in complexe IT omgevingen en beschikt over recente werkervaring als data engineer in een grotere, complexe data georiënteerde omgeving.
De aangeboden kandidaat heeft aantoonbare ervaring met DataBricks op Azure, SQL, Python, CI/CD en Git.
De aangeboden kandidaat heeft aantoonbare ervaring in het coachen en kennis overdragen binnen het vakgebied data engineering.

De wensen

Alles uitklappen
De aangeboden kandidaat heeft aantoonbare ervaring met geo-data en/of SAS.
De aangeboden kandidaat heeft affiniteit met onderzoek en statistiek gezien we niet alleen data ontsluiten maar ook data combineren en afgeleiden maken.
De aangeboden kandidaat heeft begrip van en ervaring met data architectuur en data modellering.

Hoe werkt het?

Aanvraag indienen
Dien je aanvraag in middels het onderstaande formulier.
Introductie
We introduceren je profiel bij de desbetreffende opdrachtgever.
Aan de slag
Na akkoord kun je per direct aan de slag met je nieuwe opdracht!

Direct reageren

Vul het onderstaande formulier in en we zullen binnen 24 uur contact met je opnemen.

Het is niet meer mogelijk om op deze opdracht te reageren