Task #799
openSMHI data replication
0%
Description
CORDEX data replication from SMHI to DKRZ
- setup data transfer
- monitor
- consistency check
- (initially without versioning)
Updated by Stephan Kindermann over 12 years ago
- Estimated time set to 6.00 h
New test data replication:
- neuer rsync angestossen: Ziel ist zunächst ../CORDEX/Ingest directory
- Test Datensätze u.a. für QC Tool
------------------------------------------------------------------------------------
Mail from Michael Kolax
Hi,
Here are the links to download our AFR-44 ECMWF-ERAINT data for CORDEX to be published at DKRZ. Grigory told me you wanted some example data for testing the compliance checker Martin. I make this data available before I had time myself for further checking, but I thought it would be worth to get on of Grigrory's data sets out asap.
Is DKRZ happy by receiving our data by these type of Links ? The data will be available the next 30 days at :
http://exporter.nsc.liu.se/c4d231580d904283bbd6b371d3ad1e7d
rsync://exporter.nsc.liu.se/c4d231580d904283bbd6b371d3ad1e7d
Hope this helpful at this phase.
Updated by Anonymous over 12 years ago
Hallo, wäre es nicht besser alles unter 'data' zu lassen: .../CORDEX/data/ingest_directory ?
Updated by Stephan Kindermann over 12 years ago
No - all under "data" will be tagged as "GPFS immutable" after publication to prevent errornous deletion ..
The ingest dir has very volatile data ..
Updated by Anonymous about 12 years ago
Nebojsa Balic wrote:
Modularisierung von Skripten zu Datenpublikation¶
Publikationsverfahren besteht aus folgenden Schritten:
- Feststellung von den Ablagedaten, bei denen sich die Checksumme verändert hat:
- Vergleich der Checksume und ID (oder Pfad) in der textdatei von Datenhersteller mit der entsprechenden Einträgen in der Datenbank, die alle Publikationsvorkommnisse protokolliert
- Überprüfen der Übereinstimmung der berechneten und vom Datenhersteller angegebenen Checksumme
( zur Zeit kein absehbarer Grund das Datenbankmodel zu ändern )
Problem: Unterschiedliches Format begleitender Textadateien (z.B. ascii Dateien von HDH und Textdateien von SMHI) - Einheitlichkeit wünschenswert - somit keine Anpassung der Skripte für jeden Datenhersteller notwendig
2. Kopieren von Daten in Publikationsrepository
- Ableitung von Publikationspfad von Ablagpfad
- drslib notwendig oder nicht- Versionsverzeichnis in Publikationspfad einfügen
- Entweder Daten kopieren (veränderte oder neue Daten) oder Hard Links setzen (unveränderte Daten)
- Rolle von drslib???
- Überprüfen der Übereinstimmung der Checksummen von den kopierten Daten und entsprechenden Ablagedaten
- mit Estani klären welche Zustände während Publikation möglich sind (STATUS - COPIED, VERIFIED usw.)und wie sie zu protokollieren sind
3. Rechteänderung für die neuen Daten in Publiaktionsrepository
4. Erstellung von map Dateien und Datenpublikation
Löschen von Daten¶
Wie sieht das Verfahren aus?