Ontwikkelen van een kostenefficiënt dataplatform voor energieleverancier EKZ

Voor het Zwitserse EKZ ontwikkelde Eraneos niet alleen een nieuw dataplatform voor een grote, constante stroom data, maar verzorgde het ook de on-the-job opleiding van medewerkers. In dit artikel vertelt Azure Data Architect Corné Versloot trots over de aanbesteding, de belangrijkste uitdagingen en natuurlijk het resultaat van de samenwerking. Met een focus op schaalbaarheid, minimaal onderhoud en de integratie van real-time data-analyse, laat dit project zien hoe strategische samenwerking en de inzet van moderne technologieën zoals Azure Data Explorer kunnen leiden tot succesvolle uitkomsten.

“Als we kijken naar de Total Cost of Ownership, dan is dit absoluut de meest kostenefficiënte IT-oplossing die ik ooit heb ontwikkeld. Dagelijks verwerken we zo’n 30 miljoen events, wat neerkomt op ongeveer 15 GB aan ruwe data per dag, maar het systeem is ook al voorbereid op de beoogde groei door de uitrol van nog meer slimme energiemeters. Ik ben er trots op dat de klant het afgelopen jaar vrijwel geen tijd heeft hoeven besteden aan onderhoud, wat echt laat zien hoe robuust en efficiënt onze oplossing is.”

EKZ, oftewel Elektriciteitswerke des Kantons Zürich, is een belangrijke energieleverancier voor het kanton Zürich. Het bedrijf had een drietal uitdagingen die het fundament van hun dienstverlening raakten. Het ontbrak hen aan diepgaand inzicht in hun eigen netwerk, waardoor ze soms moeite hadden met het anticiperen op bepaalde problemen die bijvoorbeeld ontstaan door onderhoud of storingen. Ook wilden zij de interactie met hun klanten verhogen door klanten bijna real-time inzicht te geven in hun eigen energieverbruik. En tot slot was er de eis vanuit de toezichthouder dat klanten 5 jaar aan historische data over hun energieverbruik op moesten kunnen vragen. Dit laatste was al mogelijk, maar onpraktisch door de grote hoeveelheid handmatige acties die hiervoor nodig waren. Dit alles bracht EKZ ertoe om een externe partner te zoeken die hen kon helpen bij het opzetten van een robuuste oplossing.

Voor Corné Versloot, Azure Data Architect bij Eraneos, was dit project bijzonder uitdagend en inspirerend. “Wij zijn natuurlijk echt techneuten en worden blij van ingewikkelde puzzels in ons vakgebied,” legt hij uit. “De gevraagde schaalbaarheid van 450.000 slimme meters die elk kwartier data opleveren, gecombineerd met de piekbelasting vanuit portals en queries door bijvoorbeeld data scientists, maakte dit een fascinerend vraagstuk. Het ging niet alleen om het opslaan van data, maar ook om het betaalbaar en schaalbaar houden van de oplossing. Ook de ambitie om de klanten van EKZ op een eenvoudige en snelle wijze inzicht te bieden in hun energie gebruik sprak ons aan.”

Aanbesteding en keuze voor Eraneos

“Onze Zwitserse tak had al een relatie met EKZ, maar het project lag boven de aanbestedingsgrens en we moesten dus gewoon inschrijven. Door die relatie hadden we er wel vertrouwen in en we hebben dus ook tijdens de aanbestedingsprocedure een grote extra stap gezet. We hebben een deel van wat zij wilden namelijk al gebouwd op basis van publiek beschikbare data. Hierdoor konden we concreet laten zien wat het zou kosten om de data op te slaan en richting portals te queryen. De MVP (Minimum Viable Product) was, naast natuurlijk factoren zoals prijs en beschikbaarheid, een belangrijke factor die ervoor zorgde dat het project aan ons gegund werd.”

Gezamenlijk team: voor- en nadelen

Tijdens de aanbestedingsprocedure had EKZ al een aantal mensen aangenomen die uiteindelijk operationeel verantwoordelijk zouden worden voor de oplossing. Het was dus een logische stap om deze mensen onderdeel van het projectteam te maken. Deze aanpak stelde de medewerkers van EKZ in staat om tijdens de ontwikkeling direct betrokken te zijn bij de technische keuzes en implementaties, wat niet alleen de kwaliteit van de oplossing ten goede kwam, maar ook zorgde voor een soepelere overdracht en een snellere adoptie binnen de organisatie. Door samen te werken in een geïntegreerd team konden kennis en vaardigheden direct worden overgedragen, wat uiteindelijk bijdroeg aan een meer duurzame en beheerbare oplossing.

“Dat de klant onderdeel was van het projectteam bleek van grote waarde omdat wij ook samen moesten werken met bijvoorbeeld de leverancier van de slimme meters. De mensen van EKZ kregen gewoon eerder iets met hen voor elkaar en dat hielp ons enorm. Maar je laat ook iemand meekijken in je keuken. Als wij fouten maken, zoals tijdens dit project met een collega die niet voldeed, ziet de klant dit ook gelijk. Openheid en transparantie zijn in deze situatie nog belangrijker en we konden dit in goed overleg oplossen. Uiteindelijk heeft het ervoor gezorgd dat we sneller konden inspelen op de behoeften van de klant, en direct gebruik konden maken van hun interne kennis. Hierdoor creëer je een oplossing die niet alleen technisch robuust is, maar ook perfect aansluit bij de operationele realiteit van de klant. Het is een belangrijke reden dat dit project op tijd en vrijwel binnen budget gerealiseerd kon worden.”

Belangrijkste uitdagingen

Het projectteam kreeg te maken met twee grote uitdagingen: Ten eerste bleek het primaire bronsysteem waar de data vandaan moest komen dat jaar gemigreerd te worden. Dit zorgde voor vertraging omdat Eraneos moest wachten op de nieuwe systemen om te bepalen hoe de data eruit zou zien. Ten tweede onderging het SAP-systeem van EKZ een upgrade, wat ook invloed had op de dataflow. Al met al resulteerde het in een vertraging van enkele maanden en wat aanvullende, onvoorziene kosten omdat beide systemen, los van elkaar, niet beschikbaar waren voor het projectteam.

Ondanks deze uitdagingen lukte het Eraneos ook om het project te vereenvoudigen. Bepaalde cloudcomponenten, die oorspronkelijk in het ontwerp waren opgenomen, werden verwijderd om de complexiteit te verminderen. De toegevoegde waarde hiervan was onvoldoende en deed uiteindelijk af aan hoe beheersbaar en overzichtelijk de oplossing was. Het zorgde voor een product dat maar minimaal onderhoud nodig heeft:

“De hele oplossing wordt nu eigenlijk onderhouden door één persoon, en hij heeft het afgelopen jaar eigenlijk nul tijd aan onderhoud hoeven besteden,” legt Versloot uit. “De oplossing is ontworpen om automatisch te schalen en eventuele piekbelastingen op te vangen, waardoor operationele lasten tot een minimum worden beperkt. Een concreet voorbeeld hiervan is dat het systeem dat de slimme meter data levert soms problemen had en ons systeem dus tijdelijk geen data binnenkreeg. Nadat dit was opgelost kregen we dan in één keer de data van een hele dag binnen, maar dit kon binnen een uur (en zonder menselijke interventie) probleemloos verwerkt worden. Dit maakt de oplossing niet alleen kostenefficiënt, maar zorgt er ook voor dat de medewerkers van EKZ de organisatie kunnen voorzien van nieuwe inzichten in plaats van brandjes blussen.

Op basis van dit fundament is EKZ nu bezig om het product verder uit te bouwen, hun datalandschap te verrijken en meer gedetailleerde analyses mogelijk te maken. Zo gebruiken ze Power BI-dashboards om verschillende afdelingen van diepere inzichten te voorzien en denken ze na over het toevoegen van historische data om seizoensgebonden patronen te realiseren. Dit is een nieuwe uitdaging waar ik mij graag weer in vast zou bijten.”

Lessen voor de toekomst

“Wat ik meeneem naar toekomstige projecten is allereerst de impact van het bouwen van een MVP bij een aanbesteding. Het is echt waardevol om een concrete oplossing te laten zien, omdat het vertrouwen schept en helpt om aan te tonen dat je de uitdagingen begrijpt. Het zorgt ook voor een vliegende start in het project omdat het design er al list en (tot op zekere hoogte bewezen is. Daarmee wordt de projectduur verkort en risico’s geminimaliseerd.

Daarnaast moet je niet bang te zijn om samen te werken als een geïntegreerd team met de klant. Dit zorgt ervoor dat iedereen dezelfde richting op gaat en maakt het gemakkelijker om problemen snel op te lossen. Je werkt echt samen aan een doel, en dat versterkt het vertrouwen en de betrokkenheid aan beide kanten. Tot slot hebben we in dit project een nieuwe technologie gebruikt, Azure Data Explorer. Deze technologie bleek perfect te passen bij onze behoeften voor het verwerken van grote hoeveelheden data in real-time. Het is een krachtige tool die niet alleen schaalbaar en kostenefficiënt is, maar ook zeer geschikt voor IOT-achtige projecten met hoge volumes en een constante stroom aan gegevens. Dit soort specifieke technologieën kunnen een project echt naar een hoger niveau tillen. Ik verwacht deze technologie in de toekomst in meer projecten te kunnen toepassen, bijvoorbeeld in een industriële productieomgeving.”