Harvesting und Transformation der Daten des institutionellen Repositoriums PUB der Universität Bielefeld für das Portal noah.nrw

Dieser Workflow harvestet die Daten des institutionellen Repositoriums pub der Universität Bielefeld im Format MODS und transformiert diese in METS/MODS für das Portal noah.nrw.

Die Daten in diesem Repository werden alle 24 Stunden nachts ab 03:21 Uhr aktualisiert. (pausiert)

Systemvoraussetzungen

• GNU/Linux (getestet mit Fedora 32)
• JAVA 8+ (für OpenRefine)
• PHP 7.3+ und Composer (für VuFindHarvest)
• go-task 3.10.0+
• xmllint (libxml2)

Workflow

Der Workflow wird in Taskfile definiert und kann entweder lokal (task default) oder mit GitHub Actions ausgeführt werden. Er besteht aus zwei Hauptbestandteilen:

1. Der Task harvest lädt die öffentlichen Datensätze über die OAI-PMH-Schnittstelle. Das Ergebnis sind XML-Dateien im Verzeichnis input.

2. Der Task transform transformiert die heruntergeladenen Daten in METS/MODS. Das Ergebnis sind XML-Dateien im Verzeichnis output.

Beide genannten Tasks verwenden einen Cache, um nur neue Daten abzurufen bzw. zu verarbeiten. Über OAI bekanntgemachte Löschungen werden berücksichtigt. Der Task reset führt bei Bedarf ein vollständiges Harvesting inklusive Transformation aus.

Mapping

Die Konfigurationsdateien für das Harvesting und für das Mapping in METS/MODS liegen im Ordner config.