Dans le cas d’un système d’observation en continu, il peut être intéressant de détecter les problèmes d’acquisition. Au plus tôt le problème sera détecté, au plus tôt il sera corrigé et la panne évitée. Dans ce but nous avons mis en place un outil générique simple de surveillance des données insérées dans les bases de données.

Il permet de définir des limites dans le temps pour lesquelles une donnée doit être renseignée. Un prédicat peut être défini de manière à vérifier une condition. On peut donc ainsi détecter l’absence totale de données d’un certain type (pas de prédicat) ou bien lorsqu’un seuil est dépassé (par exemple une température trop élevée pour un instrument). Les scripts de vérification sont exécutés régulièrement et dès qu’une limite est dépassée, un mail d’avertissement est envoyé à une liste de destinataires prédéfinie.

D’autres scripts d’alertes, moins génériques, ont été développés afin de détecter des problèmes de format ou d’incohérence dans les données (par exemple petits trous de données ou désynchronisation d’horloges dans le cas du gravimètre supraconducteur).

Les scripts d’insertion de données intègrent eux aussi un ensemble de vérifications de formatage des données et de cohérence et envoient des courriels lorsqu’ils détectent des problèmes.

Toutes ces vérifications permettent donc d’avertir au plus tôt de problèmes dans l’acquisition des données, et facilitent le travail des validateurs de données. Ils améliorent ainsi la qualité et donc la pérennité des données.

Description technique

L’outil générique de surveillance a été développé sous la forme d’un module Perl et est donc facilement réutilisable.

Les scripts d’insertion de données sont développés en Perl ou en R.

Public visé

Les producteurs de données en continu.

Exemples

Cet outil est par exemple mis en oeuvre dans le cadre du SO Géodésie en Environnement Karstique pour surveiller l’acquisition des données du gravimètre supraconducteur ainsi que les valeurs de température de l’instrument.