Custom microservices: verschil tussen versies
Geen bewerkingssamenvatting |
Geen bewerkingssamenvatting |
||
| Regel 16: | Regel 16: | ||
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema. | Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema. | ||
Download hier de volledige Engelstalige | Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/validateToPX.pdf validateToPX.pdf] | ||
===Validate ToPX hierarchical relations=== | ===Validate ToPX hierarchical relations=== | ||
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen. | Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen. | ||
Download hier de volledige Engelstalige | Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXHierarchicalRelations.pdf checkToPXHierarchicalRelations.pdf] | ||
===Validate RIP/ToPX against Memorix Archives=== | ===Validate RIP/ToPX against Memorix Archives=== | ||
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven. | Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven. | ||
Download hier de volledige Engelstalige | Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkDIPMemorixArchives.pdf checkDIPMemorixArchives.pdf] | ||
===Validate RIP/ToPX package contents=== | ===Validate RIP/ToPX package contents=== | ||
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand. | Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand. | ||
Download hier de volledige Engelstalige | Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf] | ||
===Validate files checksums with ToPX=== | ===Validate files checksums with ToPX=== | ||
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata. | Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata. | ||
Download hier de volledige Engelstalige | Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf] | ||
===Validate ToPX duplicate id=== | ===Validate ToPX duplicate id=== | ||
Controleert of de ToPX geen dubbele identifiers bevat. | Controleert of de ToPX geen dubbele identifiers bevat. | ||
Download hier de volledige Engelstalige | Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf] | ||
===Validate Identificatiekenmerk=== | |||
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. | |||
Download hier de volledige Engelstalige documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf] | |||
Let op: | |||
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te late verwijderen. | |||
Versie van 13 jun 2019 08:45
Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
- het herkennen van bestandsformaten
- het scannen op virussen
- het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
- et cetera, et cetera
Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).
Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.
Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.
De custom microservices worden in de volgende paragrafen toegelicht.
Validate RIP/ToPX against schemas
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.
Download hier de volledige Engelstalige documentatie: validateToPX.pdf
Validate ToPX hierarchical relations
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.
Download hier de volledige Engelstalige documentatie: checkToPXHierarchicalRelations.pdf
Validate RIP/ToPX against Memorix Archives
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.
Download hier de volledige Engelstalige documentatie: checkDIPMemorixArchives.pdf
Validate RIP/ToPX package contents
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.
Download hier de volledige Engelstalige documentatie: checkTopXFileValidity.pdf
Validate files checksums with ToPX
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.
Download hier de volledige Engelstalige documentatie: checkToPXChecksums.pdf
Validate ToPX duplicate id
Controleert of de ToPX geen dubbele identifiers bevat.
Download hier de volledige Engelstalige documentatie: checkToPXDuplicateId.pdf
Validate Identificatiekenmerk
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location.
Download hier de volledige Engelstalige documenatie: checkToPXDuplicateId.pdf
Let op: De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te late verwijderen.