Over validatie en conversie

Op deze website bieden wij u de mogelijkheid om diverse typen bestanden te valideren en converteren. De term valideren kan in verschillende contexten een verschillende betekenis hebben. Valideren binnen de context van Aquo betekent dat er gecontroleerd wordt op de structuur en inhoudelijke juistheid van een bestand. Converteren betekent dat we uw bestand omzetten van bijvoorbeeld CSV naar XML.


Validatie

Bestandsstructuur (syntax)

Een structuurcontrole kan bijvoorbeeld controleren of er een element “grootheid” bij een meetwaarde wordt uitgewisseld.

De juiste structuur van een bericht is noodzakelijk voor het (technisch) inlezen van informatie in een ontvangend systeem zonder foutmeldingen. Voor de gml/xml geënte berichten in Aquo-uitwisselformaat wordt complete validatie op het gebied van de structuur van een bericht ondersteund.

Inhoudelijke juistheid (semantisch)

Een voorbeeld van de controle van de inhoudelijke juistheid van de informatie in een bericht is het controleren of de gemeten zuurgraad (pH) tussen 1 en 13 ligt.

Het valideren van de inhoud van een bericht helpt te voorkomen dat informatie die niet klopt opgenomen wordt in het systeem. Deze vorm van validatie is vaak lastiger te implementeren, omdat plausibele waarden bekend moeten zijn en deze ook ergens moeten zijn vastgelegd. Bijvoorbeeld welke combinaties van grootheden en eenheden logisch zijn. Een grootheid ‘waterhoogte' met eenheid ‘mg/l' is niet logisch. Een ander voorbeeld is het controleren van getalswaarden in specifieke situaties, zoals een pH die tussen 2 waarden moet liggen afhankelijk van de materie waarin gemeten is. De pH-waarde van oppervlaktewater zal minder fluctueren dan de pH-waarde in afvalwater.

Vanuit de beheerorganisatie Aquo zullen (te ontwikkelen) hulpmiddelen voor validatie vooral gericht zijn op de juiste structuur van een bericht en op het voorkomen van domeinwaarden in één van de Aquo-domeintabellen.

Binnen Aquo zijn de volgende validatiemiddelen beschikbaar:


Conversie

Bij conversie wordt een bestand omgezet van het ene formaat naar het andere, net zoals vertalingen tussen menselijke talen mogelijk zijn. Tijdens de conversie vindt ook validatie plaats, omdat een invalide bestand niet vertaald kan worden. De uitkomst van de conversie is een bestand in het doel-formaat, en/of een log-file met eventuele foutmeldingen of waarschuwingen.

De aquo-website biedt een aantal conversies aan van CSV- naar XML-formaten:

  • UM Aquo-metingen / Meetpunten CSV naar XML
  • UM Aquo-metingen / Tijdwaarden CSV naar XML
  • IMWA-metingen / monsters en tijdwaarden CSV naar XML

U vindt deze conversies op de pagina Validatie- en conversietool.

Validatie gml/xml berichten

De validatie van berichten in gml/xml-formaat gebeurt op basis van een schemabestand dat de extentie xsd heeft. Op de pagina xsd-bestand is meer te lezen over hoe het xsd helpt bij de validatie. Met dit bestand is validatie mogelijk op de structuur van uitwisselberichten die gebaseerd zijn op:

Met de Aquo xsd-bestanden is volledig te valideren op de juiste structuur van een uitwisselbericht en is ten dele de inhoud van een bericht te controleren. Het xsd-bestand geeft namelijk ook aan of er geldige domeinwaarden zijn toegepast. Per versie van het xsd-bestand zijn alleen de dan geldige domeinwaarden opgenomen in het schema bestand. Wenst u oude data uit te wisselen in de laatste versie van het schemabestand, dan dient u wellicht aanvullend te controleren met behulp van de Aquo-domeintabellen webservice. Zie het betreffende kopje validatie met behulp van de Aquo domeintabellen webservice elders op deze pagina.

Met het xsd-bestand kan niet gecontroleerd worden of bijvoorbeeld de uitgewisselde meetwaarden realistisch zijn. Controle op topologische juistheid van geografische gegevens is evenmin mogelijk met het Aquo xsd-bestand.
Terug naar de paginatop


Validatie met behulp van de Aquo domeintabellen webservice

De actuele en historische domeinwaarden van alle domeintabellen zijn via een webservice op te halen. Omdat per domeinwaarde de start- en einddatum geldigheid beschikbaar is, zijn zowel actuele als historische gegevens te controleren op juiste toepassing van domeinwaarden. De intelligentie achter de vergelijking tussen te controleren data en de geldigheid van de domeinwaarden dient wel zelf te worden geïmplementeerd.

Op de pagina Aquo DS webservice is de webservice in meer detail besproken. Hier is ook te vinden welke systemen al werken met de webservice. Mocht u gegevens willen gaan valideren met behulp van de Aquo DS webservice, dan kunt u op die pagina kijken wie u al is voorgegaan. Ook is het noodzakelijk dat u zich als gebruiker van de webservice registreert, zodat we u tijdig op de hoogte kunnen stellen van onderhoud aan de service. U kunt uzelf registreren door een mail te sturen naar de Servicedesk van IHW met daarin uw contactgegevens, de melding dat u zich wilt registreren als gebruiker van de Aquo domeintabellen webservice en de naam van het informatiesysteem dat gebruik maakt van de webservice.
Terug naar de paginatop



Validatie- en conversietool voor csv- en xml-bestanden

Voor het uitwisselen van meetgegevens conform Aquo (csv- en xml-bestanden) is de Validatie- en conversietool beschikbaar. U kunt met deze tool bestanden snel controleren (bv. zijn de juiste kolomnamen gebruikt en de verplichte velden gevuld) en gereedmaken voor het importeren in het Waterkwaliteitsportaal (WKP) of in de Aquo-kit. Nu is het alleen nog mogelijk om UM Aquo bestanden te controleren met deze tool. Op termijn kunt u ook uw IMWA Metingen bestanden controleren.

Een csv-bestand kan niet direct gevalideerd worden. Deze moet eerst geconverteerd worden naar een xml-bestand. Daarna kunt u de validatie starten. Een xml-bestand kunt u wel direct valideren. Hiervoor is geen conversie nodig.

Op de pagina uitwisselformaten / csv encoding is uitgewerkt hoe het Aquo-bestand (csv of xml) eruit moet zien. De domeinwaarden die worden gebruikt zou u met behulp van de Aquo DS webservice kunnen valideren. Deze validatie moet u zelf implementeren.

 Terug naar de paginatop