BRCO20128

AWS DATA ENGINEER

Location

Brussels

Category:

IT Database

Project description:

Onze klant is op zoek naar een AWS Data Engineer (SR) voor het ontwikkelingstraject van Terra en het Energieprestatieplatform.

In samenwerking met HFB en VEA biedt onze klant een applicatie aan die de gegevens verzamelt van alle gebouwen en infrastructuur die de publieke sector in Vlaanderen gebruikt.
Uit onderzoek blijkt dat louter inzage in het energieverbruik al kan leiden tot een daling van 3%. TERRA wil daarom in de eerste plaats aan organisaties en aan ondersteunende diensten een rapportering van het evolutieverbruik presenteren en tools aanbieden om aan benchmarking te doen.
Maar om de klimaatdoelstellingen te behalen is een grotere inspanning nodig. TERRA groeit daarom uit tot een centraal beleidsondersteunend platform dat besparingsmaatregelen, subsidies en fondsen, opvolgingstools en de 2030 doelstellingen visualiseert. Energetische masterplannen en OEPC trajecten worden op die manier gefaciliteerd.
TERRA is cruciaal voor de doelstelling van onze klant om de publieke sector te ontzorgen en de efficiënte inzet van investeringsmiddelen te garanderen.
Tenslotte moet TERRA ook een open data portaal worden voor energie gerelateerde gegevens. Conform de doelstellingen van de Vlaamse overheid worden semantische en georganiseerde standaarden voorzien die hergebruik van data door interne en externe partijen mogelijk maken.

Het Terra-platform is opgezet op Amazon Web Services en maakt gebruik van verschillende PAAS en IAAS oplossingen. Het data lake/datawarehouse dat voor allerhande rapportering- en analysedoeleinden gebruikt wordt, maakt gebruik van o.a. volgende Amazon Webservices :

  • Data pipelines en EMR voor het inladen en verwerken van gegevens.
  • S3 voor het opslaan van bestanden
  • Amazon Redshift (DWH)
  • Tableau als rapporteringsomgeving
  • Athena voor querying flat files in het data lake
  • SQL server als backend database van de Terra webapplicatie
  • Lambda voor het runnen van backend services
  • DMS voor synchronisatie van data o.a. vanuit sql server naar redshift

Zo wordt bijvoorbeeld voor het verwerken van de verbruiksgegevens die op dagelijkse basis aangeleverd worden, Python en Spark gebruikt als ETL proces om de nieuwe verbruiksgegevens in het Redshift DWH te mergen met reeds bestaande data.

Daarnaast worden koppelingen met tal van andere databronnen gelegd voor het verrijken van het datawarehouse.

Voor het versiebeheer van de code wordt GIT gebruikt en het releaseproces (dev, stg, prod) maakt gebruik van MS Devops. Deze laatste wordt ook gebruikt voor het opvolgen van sprints, user stories, taken, …

Responsibilities:

Belangrijkste verantwoordelijkheden :

  • Je beheert de bestaande stack van data flows en pipelines in de AWS cloudomgeving die gebruik maakt van o.a. S3, EMR, Spark, Redshift, Lambda, Python.
  • Je zal complexe data modellen (verder uit)bouwen om verder analytisch inzicht te genereren
  • Je schrijft kwaliteitsvolle code om het dataplatform verder uit te bouwen. Het platform is schaalbaar en makkelijk onderhoudbaar.
  • Je zal nieuwe databronnen van diverse oorsprong koppelen/integreren in de bestaande oplossing.
  • Je analyseert de bestaande processen en adviseert waar performantiewinsten en kostenbesparingen kunnen behaald worden.
  • Je implementeert kwaliteitscontroles van de data en alarmeert de stakeholders zodat de nodige acties kunnen genomen worden.

Alle projecten binnen de klant worden ontwikkeld volgens de Agile SCRUM methodologie. Als data engineer werk je nauw samen met de andere leden van het multidisciplinaire team.

Je rapporteert aan de projectmanager van het team.

Technical skills:

  • Ervaring met AWS
  • Ervaring met Spark
  • Ervaring in Python
  • Ervaring met Data pipelines
  • Ervaring met SQL Server
  • Ervaring met GIT
  • Ervaring met Redshift
  • Ervaring met DMS
  • Ervaring met EMR

Algemene vaardigheden (gedragsgerichte competenties)

  • Ervaring met Agile methodieken (Agile Scrum)
  • Zelfstandig, resultaatsgericht, betrouwbaar
  • Oog voor detail
  • Proactief
  • Communicatief
  • Team player
  • Analytisch, kritisch en denkt out of the box
  • Je hebt een geldig en relevante AWS certificatie
  • Je volgt technologische ontwikkelingen (en meer bepaald binnen AWS) op de voet en kan hype van waarde onderscheiden

Contact person:

Contact name: Yves De Vocht