Added by Stephan Kindermann almost 12 years ago. Updated over 11 years ago.
0%
Description
CORDEX data replication from SMHI to DKRZ
- setup data transfer
- monitor
- consistency check
- (initially without versioning)
New test data replication:
- neuer rsync angestossen: Ziel ist zunächst ../CORDEX/Ingest directory
- Test Datensätze u.a. für QC Tool
------------------------------------------------------------------------------------
Mail from Michael Kolax
Hi,
Here are the links to download our AFR-44 ECMWF-ERAINT data for CORDEX to be published at DKRZ. Grigory told me you wanted some example data for testing the compliance checker Martin. I make this data available before I had time myself for further checking, but I thought it would be worth to get on of Grigrory's data sets out asap.
Is DKRZ happy by receiving our data by these type of Links ? The data will be available the next 30 days at :
http://exporter.nsc.liu.se/c4d231580d904283bbd6b371d3ad1e7d
rsync://exporter.nsc.liu.se/c4d231580d904283bbd6b371d3ad1e7d
Hope this helpful at this phase.
Hallo, wäre es nicht besser alles unter 'data' zu lassen: .../CORDEX/data/ingest_directory ?
No - all under "data" will be tagged as "GPFS immutable" after publication to prevent errornous deletion ..
The ingest dir has very volatile data ..
Nebojsa Balic wrote:
Modularisierung von Skripten zu Datenpublikation¶
Publikationsverfahren besteht aus folgenden Schritten:
- Feststellung von den Ablagedaten, bei denen sich die Checksumme verändert hat:
- Vergleich der Checksume und ID (oder Pfad) in der textdatei von Datenhersteller mit der entsprechenden Einträgen in der Datenbank, die alle Publikationsvorkommnisse protokolliert
- Überprüfen der Übereinstimmung der berechneten und vom Datenhersteller angegebenen Checksumme
( zur Zeit kein absehbarer Grund das Datenbankmodel zu ändern )
Problem: Unterschiedliches Format begleitender Textadateien (z.B. ascii Dateien von HDH und Textdateien von SMHI) - Einheitlichkeit wünschenswert - somit keine Anpassung der Skripte für jeden Datenhersteller notwendig
2. Kopieren von Daten in Publikationsrepository
- Ableitung von Publikationspfad von Ablagpfad
- drslib notwendig oder nicht- Versionsverzeichnis in Publikationspfad einfügen
- Entweder Daten kopieren (veränderte oder neue Daten) oder Hard Links setzen (unveränderte Daten)
- Rolle von drslib???
- Überprüfen der Übereinstimmung der Checksummen von den kopierten Daten und entsprechenden Ablagedaten
- mit Estani klären welche Zustände während Publikation möglich sind (STATUS - COPIED, VERIFIED usw.)und wie sie zu protokollieren sind
3. Rechteänderung für die neuen Daten in Publiaktionsrepository
4. Erstellung von map Dateien und Datenpublikation
Löschen von Daten¶
Wie sieht das Verfahren aus?