Gestion de la base de données et traitement des données GPSMob

Les projets utilisant des données GNSS, aussi bien permanentes que de campagne, ont la particularité d’être des projets sur des temps longs, nécessitant des mesures et remesures sur plusieurs années voire dizaines d’années.

GPSMob gère la base des données acquises à partir des instruments du parc mobile et la base de données des instruments (site externe).

Concernant les données, il est demandé aux responsables de mission utilisant des instruments du parc de les déposer sur le ftp dédié en suivant la procédure mise en place et décrite sur le site. Les données sont ensuite soumises à un traitement de vérification de base (erreur dans les entêtes par exemple) et d’archivage automatique. Les missions, année par année, sont visibles sur le site de GPSMob et associées à un statut (accès libre, accès restreint et accessible sur demande au responsable de mission, absente), la région/pays de la mission et le responsable de mission.

Cette base de données a vocation, d’une part à être une sauvegarde des données acquises par les instruments du parc, et d’autre part à permettre la mise à disposition de ces données à la communauté scientifique. Les données sont automatiquement mises en accès libre au-delà de 10 ans d’ancienneté. Un DOI est automatiquement attribué à une campagne en accès libre.

Les données de campagnes sont déposées par les responsables de missions sur le serveur ftp mis en place à la Division Technique et soumises à un traitement de vérification et d’archivage automatique.

Traitement des données brutes : les données brutes (Ashtech, u-, b-, Trimble t0_) sont converties en fichiers Rinex. Leur extension reste inférieure à la journée. La nomenclature standard est respectée. Lorsque deux fichiers s’étendent sur la même période, seul l’échantillonnage le plus fin est conservé. Ces fichiers Rinex sont déposés dans le répertoire ./rinex.

Lorsque les données envoyées sont des fichiers Rinex, le pré-traitement consiste à créer des fichiers contenant des données d’un jour unique et respectant la nomenclature et le format standard. Ces fichiers sont déposés dans le répertoire /rinex.

La conversion et le pré-traitement sont effectués à l’aide du logiciel TEQC.

Les fichiers Rinex sont traités en utilisant le programme sh_gamit. Quelques vérifications préalables sont nécessaires :

Lorsque les coordonnées a priori ne sont pas renseignées, elles sont calculées avec TEQC.
Le script de traitement permet de “passer” en argument un type d’antenne utilisé par défaut pour le traitement lorsqu’il est absent de l’entête d’un fichier Rinex. Le choix du type d’antenne par défaut est effectué parmi les antennes empruntées au parc pour la mission.
Un récepteur de type Ashtech UZ-12 est utilisé par défaut.
Lors du traitement, on ajoute au réseau de campagne les 5 stations IGS les plus proches (grâce au calcul préalable des coordonnées du point central du réseau constitué par les stations propres à la campagne).
Un filtre permet d’exclure du traitement les stations IGS lorsque des données issues de ces stations ont été déposées sur le ftp.

Suite à ce traitement de vérification :

Les fichiers Rinex sont transformés en format Hatanaka et compressés pour être stockés sur le serveur gpscope. Un filtre permet d’éviter l’archivage de données de stations permanentes déjà stockées sur le serveur.
Une base de données MySql est complétée. Elle recense chaque point avec ses coordonnées (en degrés décimaux et en degrés, minutes, secondes), et chaque fichier avec ses époques de début et de fin, son chemin d’accès et sa validation ou non par le traitement GAMIT.
3 fichiers de métadonnées sont générés et stockés dans le sous-répertoire /meta qui se trouve où ? . Un comportant les coordonnées a priori des stations (lfile.), un de type station.info et un fichier résumant le déroulement du traitement (signalant éventuellement l’utilisation de matériel “par défaut” pour le traitement, le rejet de certains sites par GAMIT, les stations IGS utilisées, …). Le sous-répertoire /meta comporte également une liste de liens vers les fichiers de métadonnées présentes dans le répertoire vrac et déposées sur le ftp par le responsable de mission (fichiers de type : .doc, .xls, .ps, .pdf, .apr, itrf, station.info, lfile).
De même lorsque des données brutes sont fournies, le sous-répertoire /raw comporte une liste de liens vers ces fichiers présents dans le sous-répertoire /vrac.

En savoir plus

Aperçu de l'application de suivi des instruments GPSMob