Custom microservices: verschil tussen versies
Geen bewerkingssamenvatting |
|||
| (23 tussenliggende versies door dezelfde gebruiker niet weergegeven) | |||
| Regel 1: | Regel 1: | ||
Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica | Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn: | ||
* het herkennen van bestandsformaten | * het herkennen van bestandsformaten | ||
* het scannen op virussen | * het scannen op virussen | ||
| Regel 7: | Regel 7: | ||
Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan). | Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan). | ||
Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. | Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder. | ||
Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren. | |||
De custom microservices worden in de volgende paragrafen toegelicht. | |||
===Validate RIP/ToPX against schemas=== | |||
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema. | |||
Download hier de Engelstalige technische documentatie: [[:Media:validateToPX.pdf|validateToPX.pdf]] | |||
===Validate ToPX hierarchical relations=== | |||
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen. | |||
Download hier de Engelstalige technische documentatie: [[:Media:checkToPXHierarchicalRelations.pdf|checkToPXHierarchicalRelations.pdf]] | |||
===Validate RIP/ToPX against Memorix Archives=== | |||
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven. | |||
Download hier de Engelstalige technische documentatie: [[Media:checkDIPMemorixArchives.pdf|checkDIPMemorixArchives.pdf]] | |||
===Validate RIP/ToPX package contents=== | |||
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand. | |||
Download hier de Engelstalige technische documentatie: [[:Media:checkTopXFileValidity.pdf|checkTopXFileValidity.pdf]] | |||
===Validate files checksums with ToPX=== | |||
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata. | |||
Download hier de Engelstalige technische documentatie: [[:Media:checkToPXChecksums.pdf|checkToPXChecksums.pdf]] | |||
===Validate ToPX duplicate id=== | |||
Controleert of de ToPX geen dubbele identifiers bevat. | |||
Download hier de Engelstalige technische documentatie: [[:Media:checkToPXDuplicateId.pdf|checkToPXDuplicateId.pdf]] | |||
===Validate Identificatiekenmerk=== | |||
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]]. | |||
Download hier de Engelstalige technische documenatie: [[:Media:ValidateIdentificatiekenmerk.pdf|ValidateIdentificatiekenmerk.pdf]] | |||
'''Let op:''' | |||
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen. | |||
Huidige versie van 19 feb 2021 om 13:12
Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
- het herkennen van bestandsformaten
- het scannen op virussen
- het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
- et cetera, et cetera
Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).
Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.
Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.
De custom microservices worden in de volgende paragrafen toegelicht.
Validate RIP/ToPX against schemas
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.
Download hier de Engelstalige technische documentatie: validateToPX.pdf
Validate ToPX hierarchical relations
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.
Download hier de Engelstalige technische documentatie: checkToPXHierarchicalRelations.pdf
Validate RIP/ToPX against Memorix Archives
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.
Download hier de Engelstalige technische documentatie: checkDIPMemorixArchives.pdf
Validate RIP/ToPX package contents
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.
Download hier de Engelstalige technische documentatie: checkTopXFileValidity.pdf
Validate files checksums with ToPX
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.
Download hier de Engelstalige technische documentatie: checkToPXChecksums.pdf
Validate ToPX duplicate id
Controleert of de ToPX geen dubbele identifiers bevat.
Download hier de Engelstalige technische documentatie: checkToPXDuplicateId.pdf
Validate Identificatiekenmerk
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina CMIS server.
Download hier de Engelstalige technische documenatie: ValidateIdentificatiekenmerk.pdf
Let op: De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.