Project

General

Profile

Task #799

SMHI data replication

Added by Stephan Kindermann over 7 years ago. Updated about 7 years ago.

Status:
New
Priority:
Normal
Assignee:
-
Start date:
06/11/2012
Due date:
08/23/2012
% Done:

0%

Estimated time:
6.00 h

Description

CORDEX data replication from SMHI to DKRZ

- setup data transfer
- monitor
- consistency check
- (initially without versioning)

History

#1 Updated by Stephan Kindermann over 7 years ago

  • Estimated time set to 6.00 h

New test data replication:
- neuer rsync angestossen: Ziel ist zunächst ../CORDEX/Ingest directory
- Test Datensätze u.a. für QC Tool

------------------------------------------------------------------------------------
Mail from Michael Kolax

Hi,

Here are the links to download our AFR-44 ECMWF-ERAINT data for CORDEX to be published at DKRZ. Grigory told me you wanted some example data for testing the compliance checker Martin. I make this data available before I had time myself for further checking, but I thought it would be worth to get on of Grigrory’s data sets out asap.

Is DKRZ happy by receiving our data by these type of Links ? The data will be available the next 30 days at :

http://exporter.nsc.liu.se/c4d231580d904283bbd6b371d3ad1e7d

rsync://exporter.nsc.liu.se/c4d231580d904283bbd6b371d3ad1e7d

Hope this helpful at this phase.

#2 Updated by Hans Ramthun over 7 years ago

Hallo, wäre es nicht besser alles unter 'data’ zu lassen: .../CORDEX/data/ingest_directory ?

#3 Updated by Stephan Kindermann over 7 years ago

No - all under “data” will be tagged as “GPFS immutable” after publication to prevent errornous deletion ..
The ingest dir has very volatile data ..

#4 Updated by Anonymous about 7 years ago

Nebojsa Balic wrote:

Modularisierung von Skripten zu Datenpublikation

Publikationsverfahren besteht aus folgenden Schritten:

  1. Feststellung von den Ablagedaten, bei denen sich die Checksumme verändert hat:
  • Vergleich der Checksume und ID (oder Pfad) in der textdatei von Datenhersteller mit der entsprechenden Einträgen in der Datenbank, die alle Publikationsvorkommnisse protokolliert
  • Überprüfen der Übereinstimmung der berechneten und vom Datenhersteller angegebenen Checksumme

( zur Zeit kein absehbarer Grund das Datenbankmodel zu ändern )

Problem: Unterschiedliches Format begleitender Textadateien (z.B. ascii Dateien von HDH und Textdateien von SMHI) - Einheitlichkeit wünschenswert - somit keine Anpassung der Skripte für jeden Datenhersteller notwendig

2. Kopieren von Daten in Publikationsrepository

  • Ableitung von Publikationspfad von Ablagpfad
    - drslib notwendig oder nicht
  • Versionsverzeichnis in Publikationspfad einfügen
  • Entweder Daten kopieren (veränderte oder neue Daten) oder Hard Links setzen (unveränderte Daten)
  • Rolle von drslib???
  • Überprüfen der Übereinstimmung der Checksummen von den kopierten Daten und entsprechenden Ablagedaten
  • mit Estani klären welche Zustände während Publikation möglich sind (STATUS - COPIED, VERIFIED usw.)und wie sie zu protokollieren sind

3. Rechteänderung für die neuen Daten in Publiaktionsrepository

4. Erstellung von map Dateien und Datenpublikation

Löschen von Daten

Wie sieht das Verfahren aus?

Also available in: Atom PDF