Grootschalige geodata zonder blokkerende synchronisatie
De uitdaging
Voor het Acorn-programma van Rabobank werd een platform ontwikkeld om wereldwijd geografische gegevens van landbouwpercelen te verzamelen en verwerken. Die gegevens werden mobiel verzameld en later gesynchroniseerd. Intensieve controles op datakwaliteit, waaronder het voorkomen van overlappende percelen, veroorzaakten bij gelijktijdige uploads time-outs en schaalbaarheidsproblemen.
Mijn bijdrage
Samen met een businessarchitect ontwierp ik een backendarchitectuur op basis van NestJS, CQRS en PostGIS. Ik nam een groot deel van de implementatie voor mijn rekening, samen met een later ingestroomde junior developer. Daarbij zorgde ik ook voor begeleiding en kennisoverdracht. We ontkoppelden synchronisatie en validatie met event-driven verwerking en ik stemde met een externe softwarepartij af over integraties.
De oplossing
Een architectuur waarin gegevensverzameling en intensieve validaties afzonderlijk konden plaatsvinden. Zo werd een belangrijk knelpunt in de synchronisatie aangepakt en ruimte gecreëerd voor verdere schaalvergroting.