BRWI17397

Ontwikkelaar Datawarehouse

Location

Brussels

Category:

Responsibilities:

Als AWS data engineer ben je verantwoordelijk voor de verwerking van data vanuit verschillende gegevensbronnen (flat files aangeleverd door DNB’s, TERRA sql server databank, vastgoeddatabank, graaddagen, data van KMI, …) naar een performante datalake/DWH omgeving die bruikbaar is voor allerhande rapportering rond energie binnen Vlaamse Overheid.
Voor de ETL verwerking maakt VEB hiervoor gebruik van S3, Cloudformation, Data pipeline, SPARK en python scripts, Amazon Redshift.
Voor versiebeheer van de code gebruiken we GIT.
Je bent vertrouwd met AWS en meer bepaald met de bovenvermelde services.
Je schrikt er niet van terug om je te verdiepen in grote hoeveelheden data en berekeningsmodellen.
Je werkt in team samen met data analisten en functionele analisten.

Technical skills:

Het Terra-platform is opgezet op Amazon Web Services en maakt gebruik van verschillende PAAS en IAAS oplossingen:
  • Data pipeline en EMR voor het inladen en verwerken van gegevens.
  • S3 voor het opslaan van bestanden.
  • Amazon Redshift als data warehouse.
  • Tableau als rapporteringsomgeving.
Voor de invoermodule wordt gebruik gemaakt van AWS Elastic Beanstalk. Dit platform werd gebouwd op .NET Web Api en Angular 6. Het systeem werd gebouwd rond de CQRS en event-sourcing patterns. De onderliggende databank is SQL Server.

skills:

voldoen aan de vereisten van Ontwikkelaar (SR)
en bovendien :
  • Hogere opleiding (Master of Bachelor) met technische/engineering of bedrijfseconomische achtergrond of gelijkwaardig door ervaring.
  • Ervaring met projectgericht werken en data warehouse modellering of een aantoonbare opleiding in datawarehouse modellering
  • Minimaal 3 jaar ervaring in datawarehouse modellering
  • Taalvereiste: Nederlandstalig op Europees CEFR-niveau C2
  • Doorgedreven kennis van plannen, ontwerpen en bouwen van een data warehouse toepassing gebruik makend van tools zoals Cognos of Datastage.
  • Goede kennis van data warehousing concepten, processen en architecturen.
  • Kennis van data warehouse security aspecten.
  • Kennis mbt bouwen van volgende data warehouse componenten: data integratie (ETL), rapportering & analyse (BI), databanken en metadata.
  • Bepalen van data loading and data refreshing strategies

Contact person:

Contact name: Tania De Wit