De uitdaging
In het spoornetwerk dat de klant exploiteert, is de treinenfrequentie hoog: op sommige stations vertrekken er elke 3 minuten treinen. Hierdoor heeft een kleine verstoring in het netwerk al snel gevolgen voor de punctualiteit van vele daaropvolgende treinen. De taak van de treindispatchers is om conflicten in het netwerk efficiënt op te lossen, en met zo min mogelijk acties, zodat de vertraging wordt beperkt. De uitdaging is het bouwen van een tool die conflicten in het netwerk al identificeert vóórdat ze ontstaan en aanbevelingen doet voor acties om deze conflicten op te lossen, ter ondersteuning van de dispatchers. In dit innovatieve project ondersteunen de data scientists, machine learning engineers en data engineers van Eraneos het ontwikkelteam van de klant met hun expertise en leveren zij een bijdrage aan de ontwikkeling van AI-oplossingen.
Met als doel het verminderen van treinvertragingen en het verbeteren van de netwerkefficiëntie, heeft Eraneos een Digital Twin ontwikkeld van het spoornetwerk van de klant. Hiervoor wordt gebruikgemaakt van SUMO – Simulation of Urban Mobility, een opensourcepakket ontwikkeld door het Duitse Lucht- en Ruimtevaartcentrum. Dit pakket maakt het mogelijk om stedelijk vervoer, zoals treinen, trams, bussen en passagiers, tot in detail te simuleren op metropolitane schaal.
De aanpak
In samenwerking met de klant, het Duitse Lucht- en Ruimtevaartcentrum (DLR) en experts van andere adviesbedrijven, heeft Eraneos de ontwikkeling ondersteund van een Digital Twin-simulatie van het spoornetwerk van de klant met behulp van SUMO – Simulation of Urban Mobility. Eraneos heeft de klant onder andere geholpen bij het ontwikkelen van datapijplijnen en het bouwen van Reinforcement Learning-algoritmes en deze toe te passen in real-time scenario’s.
Reinforcement Learning-algoritmes, zoals Proximal Policy Optimization, worden ingezet binnen een multi-agent systeem. Deze agents observeren scenario’s in het netwerk en reageren door acties te selecteren die in die scenario’s uitgevoerd worden.
Alleen al in 2022 konden er ongeveer 58.000 minuten aan vertraging worden vermeden. Dat komt neer op zo’n 159 minuten per dag: een aanzienlijke verbetering binnen de strak geplande spoornetwerken.
In het geval van een vertraging kunnen de zelflerende agents een actie aanbevelen om de vertraging in het netwerk te verminderen. Zo kan bijvoorbeeld worden geadviseerd dat een vertraagde trein wacht op een punctuele trein voordat de twee sporen waarop de treinen rijden samenkomen. De agents zijn getraind om de beste aanbevelingen te doen om verstoringen tot een minimum te beperken. Er is bovendien een baseline ontwikkeld die bekijkt hoe een daadwerkelijke dispatcher in elke situatie zou reageren. Hierdoor kunnen de beslissingen van de reinforcement learning-agent worden vergeleken en kan de dispatcher zijn besluitvorming verbeteren.
Elke twee minuten voert het reinforcement learning-systeem een simulatie uit van het volledige netwerk, waarbij het de verkeersstroom tot één uur vooruit voorspelt. Het systeem verwerkt informatie van alle treinen die onderweg zijn, zoals hun locatie op de sporen en de geschatte aankomst- en vertrektijden bij de volgende haltes, met als doel de verkeersstroom in het netwerk te optimaliseren. Wanneer er een conflict ontstaat dat kan leiden tot vertraging, bepaalt de RL-agent wat de beste actie is. De ontwikkelde tool wordt vervolgens gebruikt om de aanbevolen actie aan de treindispatcher te communiceren. Deze kan de aanbeveling beoordelen en besluiten of de actie daadwerkelijk wordt uitgevoerd.
De klant is een nationale spoorwegmaatschappij en een van de grootste spoorwegexploitanten en infrastructuureigenaren in Europa. De klant wilde het gebruik van kunstmatige intelligentie verder uitbreiden. In dit project wordt AI ingezet ter ondersteuning van het werk van de treindispatchers, om de punctualiteit van treinen te verhogen en de reiservaring van reizigers te verbeteren.
Het resultaat
Alleen al in 2022 konden er ongeveer 58.000 minuten aan vertraging worden vermeden. Dat komt neer op zo’n 159 minuten per dag, wat een aanzienlijke verbetering betekent in de strak geplande spoornetwerken. De impact hiervan is enorm, aangezien de simulaties jaarlijks miljoenen bewegingen beïnvloeden. Op deze manier wint het netwerk van de klant aan stabiliteit, ondanks de beperkingen die worden opgelegd door werkzaamheden om de trajecten te moderniseren. Vanwege de uitstekende resultaten van het pilotproject past de klant de technologie inmiddels ook toe op andere netwerken.
De AI verwerkt de actuele operationele situatie binnen enkele seconden op basis van ongeveer 500 gegevenspunten per minuut en genereert daarop zijn aanbevelingen. Op basis van de live operatie simuleert het systeem voortdurend de ontwikkeling van de verkeerssituatie en meldt mogelijke conflicten in een vroeg stadium. Hierdoor kunnen dispatchers ingrijpen voordat een verstoring zich voordoet. Het resultaat is een betere doorstroming van het treinverkeer: treinen hoeven minder vaak af te remmen of te wachten omdat een ander treintraject wordt geblokkeerd. De verbeterde verkeersstroom kan vertragingen met maximaal drie minuten verminderen, en zelfs met maximaal acht minuten tijdens de ochtendspits. Zo kan de klant de bestaande infrastructuur beter benutten en de reiservaring van reizigers aanzienlijk verbeteren.