Wiki Memorix Archieven - Gebruikersbijdragen [nl]

Koppeling tussen Archivematica en Memorix Archieven

2023-07-11T15:19:37Z

Picturae: /* Aggregatieniveau: Dossier: filegroup */

===DIP Upload===
Nadat een AIP is opgeslagen in het e-depot, wordt de DIP ge-upload naar Memorix Archieven. Dit gebeurt op basis van het standaard SWORD protocol.

In Memorix Archieven wordt de ToPX metadata gemapped naar EAD. Voor elk dossier in de ToPX wordt een verzamelbeschrijving aangemaakt, en voor elk record wordt een inventarisnummer gemaakt. De volledige mapping wordt in de volgende paragraaf beschreven.

===Het e-depot tabblad===
Verzamelbeschrijvingen en bestanddelen die via een DIP upload zijn aangemaakt, krijgen een extra tabblad. Deze is zichtbaar bij het bewerken van een verzamelbeschrijving of inventarisnummer.

. Het E-depot tabblad bevat de volgende gegevens:
* '''E-depot Files''': Download links voor de bestanden die gekoppeld zijn aan dit inventarisnummer. Hiermee wordt de DIP versie gedownload uit het DAM. Dit is dus geen download direct uit Archivematica.
* '''E-depot Links''': Bevat een link om de AIP bestanden te bekijken in het Dashboard van Archivematica. Hiervoor moet je ingelogd zijn in Archivematica. Er is ook een link naar de METS file beschikbaar. Deze bevat metadata over het proces van ingest.
* '''Import snippets''': Bevat de delen uit het ToPX bestand die van toepassing zijn op het betreffende inventarisnummer en de bestanden die daaraan gekoppeld zijn.

===Verwijderen van de DIP metadata uit Memorix Archieven===
Het is mogelijk om alle bestanddelen die bij een DIP upload zijn aangemaakt in één keer te verwijderen uit Memorix Archieven.
Ga hiervoor naar in het menu naar Beheer --> Bulk Acties --> Bestanddelen Verwijderen.
In het veld "Toepassen op DIP" kunt u de naam of de uuid van de betreffende DIP invoeren. Tijdens het typen verschijnt een drop-down box met DIP's die overeenkomen met de zoekcriteria. Het is ook mogelijk om een DIP te selecteren uit een lijst door te klikken op het knopje achter het veld.
Als u de juiste DIP heeft geselecteerd, klikt u op Bestanddelen Verwijderen.

'''Let op''': deze actie kan niet ongedaan worden. Alle bestanddelen die aangemaakt zijn tijdens het importeren van de DIP zullen definitief verwijderd worden.

De bestanden in het DAM worden niet verwijderd bij deze actie. Deze kunt u met de hand uit het DAM verwijderen, door de map met de betreffende DIP weg te gooien. In de paragraaf [[#De DIP bestanden in het DAM]] kunt u lezen hoe u de bestanden van een DIP kan vinden in het DAM.

===De DIP bestanden in het DAM===
Memorix Archieven plaatst de bestanden uit de DIP in het DAM van Memorix Maior. De bestanden worden doorgaans geplaatst in een aparte storage met de naam e-depot, met daaronder een map DIP Uploads.
In de map DIP Uploads wordt voor elke DIP een map aangemaakt met de naam en de uuid van de DIP.

===Presentatie op de Website===
Bestanddelen die zijn geïmporteerd vanuit Archivematica, worden op dezelfde manier gepresenteerd als bestanden die met de hand koppelt in het DAM. Na het indexeren van het archief, worden deze automatisch zichtbaar op de website (voor openbare bestanddelen).

Bepaalde afbeeldingen (JPEG en TIFF) en PDF bestanden worden op de website getoond in een viewer. Andere bestandsformaten worden niet in een viewer getoond, maar kunnen wel worden gedownload door de bezoeker.

===Mapping van ToPX naar EAD/Memorix Archieven===
''Note: for mapping ToPX to EAD/Memorix Archives, the latest version of ToPX is used: [https://www.nationaalarchief.nl/archiveren/kennisbank/metadata-en-het-e-depot v2.3], for which the Schema can be found [https://www.nationaalarchief.nl/sites/default/files/field-file/ToPX-2.3_2.xsd here].''
====Aggregatieniveau: Archief (EN: Fonds)====
* A fonds shoud be created manually in Memorix Archives before the ingest in Archivematica.
* This fonds has three required fields:
** Identificatiekenmerk
** Titel
** Datering
* The element <identificatiekenmerk> of the Fonds in ToPX should have this format:
** <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<fonds number></code>
** The last part is extracted as the Fonds number. This should match the Identificatiekenmerk of the fonds created in Memorix Archives.
* The element <naam> of the Archief in ToPX is ignored. But it makes sense to use the same name when creating the fonds in Memorix Archives.
* Each ingest will contain 1 or more files from only 1 fonds
* The element <classification> in ToPX is ignored at fonds level

====Aggregatieniveau: Serie====
* Not used

====Aggregatieniveau: Dossier: filegroup====
* The Aggregatieniveau “dossier" in ToPX is mapped to Filegroups in Memorix Archives
* ToPX element <identificatiekenmerk> is mapped to the field Range of the filegroup
** In ToPX it is formatted like: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number></code>. Only the dossier number part is used for the Range of the filegroup
* ToPX element <naam>: title of the filegroup
* ToPX element: <classificatie>:
** May contain any type of classification.
** Imported into Scopecontent in MA in this format: <bron> <datum>: <classificatiecode> <omschrijving>
* ToPX element <omschrijving>: ScopeContent (Bereik en Inhoud)
* ToPX element <dekking> (with subfields <inTijd> en <inPlaats>): ignored
* ToPX element <externIdentificatiekenmerk>: Ignored
* ToPX element <taal>: Added to ScopeContent (Bereik en Inhoud) as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the start date of a filegroup (fileDate.from in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Creatie"
** and <aggregatieniveau> = “Dossier"
* For the end date of a filegroup (fileDate.to in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Afsluiting"
** and <aggregatieniveau> = “Dossier"
* ToPX element <relatie>
** Only hierarchical relations should be interpreted: typeRelatie=“Hierarchisch”. The hierarchy is always like this:
*** Dossier links to Fonds
*** Record links to Dossier
* ToPX element <context>. Can be an activity or an actor. Both are ignored.

====Accessibility of files and filegroups====
In Memorix Archives, a Public Restriction with Reason = "Niet Openbaar" is added in any of the following cases:
* An element /record/metadata/ToPX/aggregatie/openbaarheid/omschrijvingBeperkingen exists with value that is NOT equal to "Openbaar", OR
* An element /record/metadata/ToPX/aggregatie/gebruiksrechten/omschrijvingVoorwaarden/ exists with value that is NOT equal to "vrij te gebruiken”
The end date of the Public restriction will be:
* The content of /record/metadata/ToPX/aggregatie/openbaarheid/datumOfPeriode/ (can be a year or a whole date) of the <openbaarheid> element with value "Openbaar OR
* The content of /record/metadata/ToPX/aggregatie/gebruiksrechten/datumOfPeriode/ (can be a year or a whole date) of the <gebruiksrechten> element with value "Vrij te gebruiken”
In case both of the above exists, the end date that is the most distant from now should be used.

Besides the Public restriction, a note is added to the field Description control, for each <openbaarheid> element and for each <gebruiksrechten> element containing:
* Gebruiksrechten: <omschrijvingVoorwaarden> vanaf: <datumOfPeriode>
* Openbaarheid: <omschrijvingBeperkingen> vanaf: <datumOfPeriode>

The ToPX field Integriteit is added to the ScopeContent field in Memorix Archieven. A seperate line is added for each Integriteit element where the integrity is not “Integer":
* "Integriteit: <integriteit>”

Vertrouwelijkheid (Confidentiality): only applies to uitgeplaatste dossiers (closed files). We don't have those at this phase of the project. At this moment, ALL material is considered to be not confidential

====Aggregatieniveau Record (Item or file-in-a-filegroup)====
* ToPX element <identificatiekenmerk>:
** The Identificatiekenmerk will have this format: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number>-<file number></code>. Only the file number part is used for the filenumber. The file will be linked to the filegroup <dossiernummer>.
* ToPX element <naam>: title of the file
* ToPX element <classificatie>: does not occur at this level
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <plaats>: to be ignored
* ToPX element <dekking> and subelements <inTijd> and <inPlaats>: to be ignored
* ToPX element <externIdentificatiekenmer>: to be ignored
* ToPX elemtn <taal>: Added to scope content as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the date of a file in Memorix Archives, the following ToPX element are be used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = "Verzending" OR type=“Ontvangst
** in case both elements with type="Verzending" or type="Ontvangst" occur, the date within "Ontvangst" is used
** and <aggregatieniveau> = "Record"
* ToPX element <Relatie> (Only hierarchical relations are expected here: typeRelatie=“Hierarchisch”)
** Dossier always links to Fonds
** Record always links to Dossier
* ToPX element <context>: to be ignored
* ToPX element <vorm>: Vorm is expected only at Record level. Is ignored for now

====The Bestand element (the physical file)====
* ToPX element <identificatiekenmerk>
* ToPX element <aggregatieniveau>: always: Stuk
* ToPX element <naam>: title of the file (NOT filename):
** The naam of the file is ignored, since it will always be the same as the naam of the Record
* ToPX element Classificatie: ignored at this level
* ToPX element Omschrijving: ignored for now

All other elements will be ignored.

====Opslag van DIP bestanden in het DAM====

[[Category:E-depot]]

Koppeling tussen Archivematica en Memorix Archieven

2023-07-11T15:19:11Z

Picturae: /* Aggregatieniveau: Dossier: filegroup */

===DIP Upload===
Nadat een AIP is opgeslagen in het e-depot, wordt de DIP ge-upload naar Memorix Archieven. Dit gebeurt op basis van het standaard SWORD protocol.

In Memorix Archieven wordt de ToPX metadata gemapped naar EAD. Voor elk dossier in de ToPX wordt een verzamelbeschrijving aangemaakt, en voor elk record wordt een inventarisnummer gemaakt. De volledige mapping wordt in de volgende paragraaf beschreven.

===Het e-depot tabblad===
Verzamelbeschrijvingen en bestanddelen die via een DIP upload zijn aangemaakt, krijgen een extra tabblad. Deze is zichtbaar bij het bewerken van een verzamelbeschrijving of inventarisnummer.

. Het E-depot tabblad bevat de volgende gegevens:
* '''E-depot Files''': Download links voor de bestanden die gekoppeld zijn aan dit inventarisnummer. Hiermee wordt de DIP versie gedownload uit het DAM. Dit is dus geen download direct uit Archivematica.
* '''E-depot Links''': Bevat een link om de AIP bestanden te bekijken in het Dashboard van Archivematica. Hiervoor moet je ingelogd zijn in Archivematica. Er is ook een link naar de METS file beschikbaar. Deze bevat metadata over het proces van ingest.
* '''Import snippets''': Bevat de delen uit het ToPX bestand die van toepassing zijn op het betreffende inventarisnummer en de bestanden die daaraan gekoppeld zijn.

===Verwijderen van de DIP metadata uit Memorix Archieven===
Het is mogelijk om alle bestanddelen die bij een DIP upload zijn aangemaakt in één keer te verwijderen uit Memorix Archieven.
Ga hiervoor naar in het menu naar Beheer --> Bulk Acties --> Bestanddelen Verwijderen.
In het veld "Toepassen op DIP" kunt u de naam of de uuid van de betreffende DIP invoeren. Tijdens het typen verschijnt een drop-down box met DIP's die overeenkomen met de zoekcriteria. Het is ook mogelijk om een DIP te selecteren uit een lijst door te klikken op het knopje achter het veld.
Als u de juiste DIP heeft geselecteerd, klikt u op Bestanddelen Verwijderen.

'''Let op''': deze actie kan niet ongedaan worden. Alle bestanddelen die aangemaakt zijn tijdens het importeren van de DIP zullen definitief verwijderd worden.

De bestanden in het DAM worden niet verwijderd bij deze actie. Deze kunt u met de hand uit het DAM verwijderen, door de map met de betreffende DIP weg te gooien. In de paragraaf [[#De DIP bestanden in het DAM]] kunt u lezen hoe u de bestanden van een DIP kan vinden in het DAM.

===De DIP bestanden in het DAM===
Memorix Archieven plaatst de bestanden uit de DIP in het DAM van Memorix Maior. De bestanden worden doorgaans geplaatst in een aparte storage met de naam e-depot, met daaronder een map DIP Uploads.
In de map DIP Uploads wordt voor elke DIP een map aangemaakt met de naam en de uuid van de DIP.

===Presentatie op de Website===
Bestanddelen die zijn geïmporteerd vanuit Archivematica, worden op dezelfde manier gepresenteerd als bestanden die met de hand koppelt in het DAM. Na het indexeren van het archief, worden deze automatisch zichtbaar op de website (voor openbare bestanddelen).

Bepaalde afbeeldingen (JPEG en TIFF) en PDF bestanden worden op de website getoond in een viewer. Andere bestandsformaten worden niet in een viewer getoond, maar kunnen wel worden gedownload door de bezoeker.

===Mapping van ToPX naar EAD/Memorix Archieven===
''Note: for mapping ToPX to EAD/Memorix Archives, the latest version of ToPX is used: [https://www.nationaalarchief.nl/archiveren/kennisbank/metadata-en-het-e-depot v2.3], for which the Schema can be found [https://www.nationaalarchief.nl/sites/default/files/field-file/ToPX-2.3_2.xsd here].''
====Aggregatieniveau: Archief (EN: Fonds)====
* A fonds shoud be created manually in Memorix Archives before the ingest in Archivematica.
* This fonds has three required fields:
** Identificatiekenmerk
** Titel
** Datering
* The element <identificatiekenmerk> of the Fonds in ToPX should have this format:
** <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<fonds number></code>
** The last part is extracted as the Fonds number. This should match the Identificatiekenmerk of the fonds created in Memorix Archives.
* The element <naam> of the Archief in ToPX is ignored. But it makes sense to use the same name when creating the fonds in Memorix Archives.
* Each ingest will contain 1 or more files from only 1 fonds
* The element <classification> in ToPX is ignored at fonds level

====Aggregatieniveau: Serie====
* Not used

====Aggregatieniveau: Dossier: filegroup====
* The Aggregatieniveau “dossier" in ToPX is mapped to Filegroups in Memorix Archives
* ToPX element <identificatiekenmerk> is mapped to the field Range of the filegroup
** In ToPX it is formatted like: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number></code>. Only the dossier number part is used for the Range of the filegroup
* ToPX element <naam>: title of the filegroup
* ToPX element: <classificatie>:
** May contain any type of classification.
** Imported into Scopecontent in MA in this format: <bron> <datum>: <classificatiecode> <omschrijving>
* ToPX element <omschrijving>: ScopeContent (Bereik en Inhoud)
* ToPX element <dekking> (with subfields <inTijd> en <inPlaats>: ignored
* ToPX element <externIdentificatiekenmerk>: Ignored
* ToPX element <taal>: Added to ScopeContent (Bereik en Inhoud) as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the start date of a filegroup (fileDate.from in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Creatie"
** and <aggregatieniveau> = “Dossier"
* For the end date of a filegroup (fileDate.to in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Afsluiting"
** and <aggregatieniveau> = “Dossier"
* ToPX element <relatie>
** Only hierarchical relations should be interpreted: typeRelatie=“Hierarchisch”. The hierarchy is always like this:
*** Dossier links to Fonds
*** Record links to Dossier
* ToPX element <context>. Can be an activity or an actor. Both are ignored.

====Accessibility of files and filegroups====
In Memorix Archives, a Public Restriction with Reason = "Niet Openbaar" is added in any of the following cases:
* An element /record/metadata/ToPX/aggregatie/openbaarheid/omschrijvingBeperkingen exists with value that is NOT equal to "Openbaar", OR
* An element /record/metadata/ToPX/aggregatie/gebruiksrechten/omschrijvingVoorwaarden/ exists with value that is NOT equal to "vrij te gebruiken”
The end date of the Public restriction will be:
* The content of /record/metadata/ToPX/aggregatie/openbaarheid/datumOfPeriode/ (can be a year or a whole date) of the <openbaarheid> element with value "Openbaar OR
* The content of /record/metadata/ToPX/aggregatie/gebruiksrechten/datumOfPeriode/ (can be a year or a whole date) of the <gebruiksrechten> element with value "Vrij te gebruiken”
In case both of the above exists, the end date that is the most distant from now should be used.

Besides the Public restriction, a note is added to the field Description control, for each <openbaarheid> element and for each <gebruiksrechten> element containing:
* Gebruiksrechten: <omschrijvingVoorwaarden> vanaf: <datumOfPeriode>
* Openbaarheid: <omschrijvingBeperkingen> vanaf: <datumOfPeriode>

The ToPX field Integriteit is added to the ScopeContent field in Memorix Archieven. A seperate line is added for each Integriteit element where the integrity is not “Integer":
* "Integriteit: <integriteit>”

Vertrouwelijkheid (Confidentiality): only applies to uitgeplaatste dossiers (closed files). We don't have those at this phase of the project. At this moment, ALL material is considered to be not confidential

====Aggregatieniveau Record (Item or file-in-a-filegroup)====
* ToPX element <identificatiekenmerk>:
** The Identificatiekenmerk will have this format: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number>-<file number></code>. Only the file number part is used for the filenumber. The file will be linked to the filegroup <dossiernummer>.
* ToPX element <naam>: title of the file
* ToPX element <classificatie>: does not occur at this level
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <plaats>: to be ignored
* ToPX element <dekking> and subelements <inTijd> and <inPlaats>: to be ignored
* ToPX element <externIdentificatiekenmer>: to be ignored
* ToPX elemtn <taal>: Added to scope content as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the date of a file in Memorix Archives, the following ToPX element are be used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = "Verzending" OR type=“Ontvangst
** in case both elements with type="Verzending" or type="Ontvangst" occur, the date within "Ontvangst" is used
** and <aggregatieniveau> = "Record"
* ToPX element <Relatie> (Only hierarchical relations are expected here: typeRelatie=“Hierarchisch”)
** Dossier always links to Fonds
** Record always links to Dossier
* ToPX element <context>: to be ignored
* ToPX element <vorm>: Vorm is expected only at Record level. Is ignored for now

====The Bestand element (the physical file)====
* ToPX element <identificatiekenmerk>
* ToPX element <aggregatieniveau>: always: Stuk
* ToPX element <naam>: title of the file (NOT filename):
** The naam of the file is ignored, since it will always be the same as the naam of the Record
* ToPX element Classificatie: ignored at this level
* ToPX element Omschrijving: ignored for now

All other elements will be ignored.

====Opslag van DIP bestanden in het DAM====

[[Category:E-depot]]

Bestand:PicturaeDSHwiki.png

2023-06-27T09:39:47Z

Picturae:

Bestanden uploaden

2022-07-05T09:32:03Z

Picturae: /* Structuur van de aangeleverde bestanden */

===FTP uploads===
Bestanden die in het e-depot geplaatst moeten worden, moeten eerst worden geupload naar de Archivematica server. Dit gebeurt via FTP en kan gedaan worden met elke FTP client. De OpenSource applicatie [https://filezilla-project.org/ FileZilla] is een goede optie.

Bij oplevering heeft Picturae de inloggevens verstrekt waarmee u toegang heeft tot de FTP server.

De FTP omgeving bestaat in de meeste gevallen uit twee mappen:
* '''manual_ingest''': deze is bedoeld voor ingests die worden gestart via het dashboard
* '''automatic_ingest''': deze is bedoeld voor ingests die automatisch gestart worden. Zie hiervoor de paragraaf [[#Automatisch starten van een ingest]]

===Structuur van de aangeleverde bestanden===
De bestanden die worden geupload naar Archivematica, moeten voldoen aan de volgende eisen:
* Alle bestanden staan in één directory, zonder subdirectories
* In die directory staat één XML bestand. Dit is de RIP/ToPX metadata
* De ToPX metadata moet conform het [https://archives.memorix.nl/xsd/RIP_v0.3.xsd RIP v.03] schema zijn opgebouwd. Het RIP formaat is een dunne schil om [https://archives.memorix.nl/xsd/topx-2.3_0.xsd ToPX v2.3].
* Alle bestanden waarnaar in de ToPX wordt verwezen, moeten aanwezig zijn.
* De volgende tekens mogen niet worden gebruikt in de naam van een directory (dataset) of in de naam van de daarin geplaatste bestanden:

{| class="wikitable" style="margin:left"
|-
| / || Slash
|-
| \ || Backslash
|-
| ? || Vraagteken
|-
| % || Percentage teken
|-
| * || Asterisk of Ster
|-
| ' || Enkele aanhalingstekens
|-
| " || Dubbele aanhalingstekens
|-
| < || Kleiner dan teken
|-
| > || Groter dan teken
|-
| ( || Ronde haak openen
|-
| ) || Ronde haak sluiten
|-
| [ || Vierkante haak openen
|-
| ] || Vierkante haak sluiten
|-
| . || Punt
|-
| , || Komma
|-
| ; || Punt-Komma
|-
| : || Dubbele punt
|-
| || Spatie
|-
|}

* Zie verder de pagina [[Custom_microservices_van_Picturae|Custom Microservices]] voor een overzicht van controles die tijdens de Transfer worden uitgevoerd op de aangeleverde data.

===Automatisch starten van een ingest===
Bestanden die worden geüpload in de automatic_ingest directory, worden automatisch opgepakt door Archivematica. Het hele proces van Transfer en Ingest wordt doorlopen zonder tussenkomst van een gebruiker.
De AIP’s voor die gemeente kunnen worden opgeslagen in een aparte AIP Storage Location. De gemeente zou toegang kunnen krijgen tot die Storage Location via een [[CMIS_Server]] (met eigen credentials).
Dit kan in overleg met tussen Picturae en de archiefinstelling worden ingericht.

Na elke ingest, wordt de FTP queue geblokkeerd. Het idee daarachter is, dat elke automatische Ingest eerst gecontroleerd wordt, voordat de volgende uitgevoerd wordt.

Voor het bekijken of deblokkeren van de queue, is een webapplicatie beschikbaar. Bij het inrichten van de FTPWatch omgeving, zijn de gegevens hiervan deze verstrekt door Picturae.

Bestanden uploaden

2022-07-05T09:31:16Z

Picturae: /* Structuur van de aangeleverde bestanden */

===FTP uploads===
Bestanden die in het e-depot geplaatst moeten worden, moeten eerst worden geupload naar de Archivematica server. Dit gebeurt via FTP en kan gedaan worden met elke FTP client. De OpenSource applicatie [https://filezilla-project.org/ FileZilla] is een goede optie.

Bij oplevering heeft Picturae de inloggevens verstrekt waarmee u toegang heeft tot de FTP server.

De FTP omgeving bestaat in de meeste gevallen uit twee mappen:
* '''manual_ingest''': deze is bedoeld voor ingests die worden gestart via het dashboard
* '''automatic_ingest''': deze is bedoeld voor ingests die automatisch gestart worden. Zie hiervoor de paragraaf [[#Automatisch starten van een ingest]]

===Structuur van de aangeleverde bestanden===
De bestanden die worden geupload naar Archivematica, moeten voldoen aan de volgende eisen:
* Alle bestanden staan in één directory, zonder subdirectories
* In die directory staat één XML bestand. Dit is de RIP/ToPX metadata
* De ToPX metadata moet conform het [https://archives.memorix.nl/xsd/RIP_v0.3.xsd RIP v.03] schema zijn opgebouwd. Het RIP formaat is een dunne schil om [https://archives.memorix.nl/xsd/topx-2.3_0.xsd ToPX v2.3].
* Alle bestanden waarnaar in de ToPX wordt verwezen, moeten aanwezig zijn.
* De volgende tekens mogen niet worden gebruikt in de naam van een dataset of in de naam van de daarin geplaatste bestanden:

{| class="wikitable" style="margin:left"
|-
| / || Slash
|-
| \ || Backslash
|-
| ? || Vraagteken
|-
| % || Percentage teken
|-
| * || Asterisk of Ster
|-
| ' || Enkele aanhalingstekens
|-
| " || Dubbele aanhalingstekens
|-
| < || Kleiner dan teken
|-
| > || Groter dan teken
|-
| ( || Ronde haak openen
|-
| ) || Ronde haak sluiten
|-
| [ || Vierkante haak openen
|-
| ] || Vierkante haak sluiten
|-
| . || Punt
|-
| , || Komma
|-
| ; || Punt-Komma
|-
| : || Dubbele punt
|-
| || Spatie
|-
|}

* Zie verder de pagina [[Custom_microservices_van_Picturae|Custom Microservices]] voor een overzicht van controles die tijdens de Transfer worden uitgevoerd op de aangeleverde data.

===Automatisch starten van een ingest===
Bestanden die worden geüpload in de automatic_ingest directory, worden automatisch opgepakt door Archivematica. Het hele proces van Transfer en Ingest wordt doorlopen zonder tussenkomst van een gebruiker.
De AIP’s voor die gemeente kunnen worden opgeslagen in een aparte AIP Storage Location. De gemeente zou toegang kunnen krijgen tot die Storage Location via een [[CMIS_Server]] (met eigen credentials).
Dit kan in overleg met tussen Picturae en de archiefinstelling worden ingericht.

Na elke ingest, wordt de FTP queue geblokkeerd. Het idee daarachter is, dat elke automatische Ingest eerst gecontroleerd wordt, voordat de volgende uitgevoerd wordt.

Voor het bekijken of deblokkeren van de queue, is een webapplicatie beschikbaar. Bij het inrichten van de FTPWatch omgeving, zijn de gegevens hiervan deze verstrekt door Picturae.

Bestand:CheckToPXHierarchicalRelations.pdf

2022-05-03T07:42:49Z

Picturae:

CMIS Server

2022-05-03T07:35:01Z

Picturae:

Picturae heeft een CMIS server ontwikkeld, waarmee een Document Management Systeem toegang kan krijgen tot een specifieke AIP storage location. Dit kan bijvoorbeeld gebruikt worden door een gemeente om vanuit hun DMS AIP's te bekijken en bestanden te downloaden.

De Engelstalige handleiding van de CMIS server kunt u hier vinden: [[:Media:UserManual_CMIS_Server.pdf|CMIS server]].

De CMIS server is een technische toepassing, waarmee systemen met elkaar kunnen praten. Om deze te testen, kunt u gebruik maken van de open source toepassing CMIS Workbench. Dit wordt ook beschreven in de handleiding.

De URL en de login gegevens waarmee verbinding gemaakt kan worden met de CMIS server, worden verstrekt door Picturae.

===Downloaden van een bestand op basis van het identificatiekenmerk uit de ToPX metadata===
Met de CMIS server kunnen alle AIP's worden bekeken en kunnen bestanden (individueel of voor de gehele AIP) worden gedownload.
Vaak wil een gemeente een enkel bestand kunnen downloaden op basis van het identificatiekenmerk uit de ToPX. Dit identificatiekenmerk hoeft niet gelijk te zijn aan de bestandsnaam. Om toch het juiste bestand te kunnen vinden, heeft Picturae een feature ingebouwd die op basis van het ToPX identificatiekenmerk van het bestand het juiste bestand download. De API call heeft de volgende opbouw:

<code>https://<tenant>-cmis.edepot.picturae.com/idmark/<identificatiekenmerk>/download</code>

De <tenant> code staat voor de klantcode bestaande uit 3 karakters, die u ook gebruikt om in te loggen op Memorix.
Het <identificatiekenmerk> staat voor het identificatiekenmerk van het bestand uit ToPX.

Als u deze link opent in een browser, wordt u gevraagd om een gebruikersnaam en wachtwoord. Als deze feature voor u is geconfigureerd, heeft u deze gegevens ontvangen van Picturae.
Gebruik dus de CMIS login gegevens van de gemeente waarvan u het bestand op wilt halen.

N.B.: dit werkt alleen bij ongecomprimeerd opgeslagen AIP's.

====Identificatiekenmerk moet uniek zijn binnen de AIP storage location====
Om een bestand te kunnen downloaden op basis van het identificatiekenmerk uit de ToPX, moet dit kenmerk uniek zijn op elke AIP Storage Location. De microservice Validate Identificatiekenmerk controleert hierop. Om deze controle uit te kunnen voeren, worden bij het opslaan van een AIP de identificatiekenmerken van alle bestanden uit die AIP opgeslagen in een database. Bij elke transfer wordt gecontroleerd of de identificatiekenmerken van de nieuwe bestanden niet reeds voorkomen in die database. Zie ook de beschrijving van de microservice op de pagina [[Custom_microservices|Custom microservices]].

CMIS Server

2022-05-03T07:30:30Z

Picturae: /* Downloaden van een bestand op basis van het identificatiekenmerk uit de ToPX metadata */

Picturae heeft een CMIS server ontwikkeld, waarmee een Document Management Systeem toegang kan krijgen tot een specifieke AIP storage location. Dit kan bijvoorbeeld gebruikt worden door een gemeente om vanuit hun DMS AIP's te bekijken en bestanden te downloaden.

De Engelstalige handleiding van de CMIS server kunt u hier vinden: [https://picturae.com/images/memorix_archieven_handleidingen/User_Manual_CMIS_Server.pdf CMIS server].

De CMIS server is een technische toepassing, waarmee systemen met elkaar kunnen praten. Om deze te testen, kunt u gebruik maken van de open source toepassing CMIS Workbench. Dit wordt ook beschreven in de handleiding.

De URL en de login gegevens waarmee verbinding gemaakt kan worden met de CMIS server, worden verstrekt door Picturae.

===Downloaden van een bestand op basis van het identificatiekenmerk uit de ToPX metadata===
Met de CMIS server kunnen alle AIP's worden bekeken en kunnen bestanden (individueel of voor de gehele AIP) worden gedownload.
Vaak wil een gemeente een enkel bestand kunnen downloaden op basis van het identificatiekenmerk uit de ToPX. Dit identificatiekenmerk hoeft niet gelijk te zijn aan de bestandsnaam. Om toch het juiste bestand te kunnen vinden, heeft Picturae een feature ingebouwd die op basis van het ToPX identificatiekenmerk van het bestand het juiste bestand download. De API call heeft de volgende opbouw:

<code>https://<tenant>-cmis.edepot.picturae.com/idmark/<identificatiekenmerk>/download</code>

De <tenant> code staat voor de klantcode bestaande uit 3 karakters, die u ook gebruikt om in te loggen op Memorix.
Het <identificatiekenmerk> staat voor het identificatiekenmerk van het bestand uit ToPX.

Als u deze link opent in een browser, wordt u gevraagd om een gebruikersnaam en wachtwoord. Als deze feature voor u is geconfigureerd, heeft u deze gegevens ontvangen van Picturae.
Gebruik dus de CMIS login gegevens van de gemeente waarvan u het bestand op wilt halen.

N.B.: dit werkt alleen bij ongecomprimeerd opgeslagen AIP's.

====Identificatiekenmerk moet uniek zijn binnen de AIP storage location====
Om een bestand te kunnen downloaden op basis van het identificatiekenmerk uit de ToPX, moet dit kenmerk uniek zijn op elke AIP Storage Location. De microservice Validate Identificatiekenmerk controleert hierop. Om deze controle uit te kunnen voeren, worden bij het opslaan van een AIP de identificatiekenmerken van alle bestanden uit die AIP opgeslagen in een database. Bij elke transfer wordt gecontroleerd of de identificatiekenmerken van de nieuwe bestanden niet reeds voorkomen in die database. Zie ook de beschrijving van de microservice op de pagina [[Custom_microservices|Custom microservices]].

Koppeling tussen Archivematica en Memorix Archieven

2022-03-07T09:13:04Z

Picturae: /* Accessibility of files and filegroups */

===DIP Upload===
Nadat een AIP is opgeslagen in het e-depot, wordt de DIP ge-upload naar Memorix Archieven. Dit gebeurt op basis van het standaard SWORD protocol.

In Memorix Archieven wordt de ToPX metadata gemapped naar EAD. Voor elk dossier in de ToPX wordt een verzamelbeschrijving aangemaakt, en voor elk record wordt een inventarisnummer gemaakt. De volledige mapping wordt in de volgende paragraaf beschreven.

===Het e-depot tabblad===
Verzamelbeschrijvingen en bestanddelen die via een DIP upload zijn aangemaakt, krijgen een extra tabblad. Deze is zichtbaar bij het bewerken van een verzamelbeschrijving of inventarisnummer.

. Het E-depot tabblad bevat de volgende gegevens:
* '''E-depot Files''': Download links voor de bestanden die gekoppeld zijn aan dit inventarisnummer. Hiermee wordt de DIP versie gedownload uit het DAM. Dit is dus geen download direct uit Archivematica.
* '''E-depot Links''': Bevat een link om de AIP bestanden te bekijken in het Dashboard van Archivematica. Hiervoor moet je ingelogd zijn in Archivematica. Er is ook een link naar de METS file beschikbaar. Deze bevat metadata over het proces van ingest.
* '''Import snippets''': Bevat de delen uit het ToPX bestand die van toepassing zijn op het betreffende inventarisnummer en de bestanden die daaraan gekoppeld zijn.

===Verwijderen van de DIP metadata uit Memorix Archieven===
Het is mogelijk om alle bestanddelen die bij een DIP upload zijn aangemaakt in één keer te verwijderen uit Memorix Archieven.
Ga hiervoor naar in het menu naar Beheer --> Bulk Acties --> Bestanddelen Verwijderen.
In het veld "Toepassen op DIP" kunt u de naam of de uuid van de betreffende DIP invoeren. Tijdens het typen verschijnt een drop-down box met DIP's die overeenkomen met de zoekcriteria. Het is ook mogelijk om een DIP te selecteren uit een lijst door te klikken op het knopje achter het veld.
Als u de juiste DIP heeft geselecteerd, klikt u op Bestanddelen Verwijderen.

'''Let op''': deze actie kan niet ongedaan worden. Alle bestanddelen die aangemaakt zijn tijdens het importeren van de DIP zullen definitief verwijderd worden.

De bestanden in het DAM worden niet verwijderd bij deze actie. Deze kunt u met de hand uit het DAM verwijderen, door de map met de betreffende DIP weg te gooien. In de paragraaf [[#De DIP bestanden in het DAM]] kunt u lezen hoe u de bestanden van een DIP kan vinden in het DAM.

===De DIP bestanden in het DAM===
Memorix Archieven plaatst de bestanden uit de DIP in het DAM van Memorix Maior. De bestanden worden doorgaans geplaatst in een aparte storage met de naam e-depot, met daaronder een map DIP Uploads.
In de map DIP Uploads wordt voor elke DIP een map aangemaakt met de naam en de uuid van de DIP.

===Presentatie op de Website===
Bestanddelen die zijn geïmporteerd vanuit Archivematica, worden op dezelfde manier gepresenteerd als bestanden die met de hand koppelt in het DAM. Na het indexeren van het archief, worden deze automatisch zichtbaar op de website (voor openbare bestanddelen).

Bepaalde afbeeldingen (JPEG en TIFF) en PDF bestanden worden op de website getoond in een viewer. Andere bestandsformaten worden niet in een viewer getoond, maar kunnen wel worden gedownload door de bezoeker.

===Mapping van ToPX naar EAD/Memorix Archieven===
''Note: for mapping ToPX to EAD/Memorix Archives, the latest version of ToPX is used: [https://www.nationaalarchief.nl/archiveren/kennisbank/metadata-en-het-e-depot v2.3], for which the Schema can be found [https://www.nationaalarchief.nl/sites/default/files/field-file/ToPX-2.3_2.xsd here].''
====Aggregatieniveau: Archief (EN: Fonds)====
* A fonds shoud be created manually in Memorix Archives before the ingest in Archivematica.
* This fonds has three required fields:
** Identificatiekenmerk
** Titel
** Datering
* The element <identificatiekenmerk> of the Fonds in ToPX should have this format:
** <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<fonds number></code>
** The last part is extracted as the Fonds number. This should match the Identificatiekenmerk of the fonds created in Memorix Archives.
* The element <naam> of the Archief in ToPX is ignored. But it makes sense to use the same name when creating the fonds in Memorix Archives.
* Each ingest will contain 1 or more files from only 1 fonds
* The element <classification> in ToPX is ignored at fonds level

====Aggregatieniveau: Serie====
* Not used

====Aggregatieniveau: Dossier: filegroup====
* The Aggregatieniveau “dossier" in ToPX is mapped to Filegroups in Memorix Archives
* ToPX element <identificatiekenmerk> is mapped to the field Range of the filegroup
** In ToPX it is formatted like: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number></code>. Only the dossier number part is used for the Range of the filegroup
* ToPX element <naam>: title of the filegroup
* ToPX element: <classificatie>:
** May contain any type of classification.
** Imported into Scopecontent in MA in this format: <bron> <datum>: <classificatiecode> <omschrijving>
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <dekking> (with subfields <inTijd> en <inPlaats>: ignored
* ToPX element <externIdentificatiekenmer>: Ignored
* ToPX element <taal>: Added to ScopeContent (Bereik en Inhoud) as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the start date of a filegroup (fileDate.from in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Creatie"
** and <aggregatieniveau> = “Dossier"
* For the end date of a filegroup (fileDate.to in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Afsluiting"
** and <aggregatieniveau> = “Dossier"
* ToPX element <relatie>
** Only hierarchical relations should be interpreted: typeRelatie=“Hierarchisch”. The hierarchy is always like this:
*** Dossier links to Fonds
*** Record links to Dossier
* ToPX element <context>. Can be an activity or an actor. Both are ignored.

====Accessibility of files and filegroups====
In Memorix Archives, a Public Restriction with Reason = "Niet Openbaar" is added in any of the following cases:
* An element /record/metadata/ToPX/aggregatie/openbaarheid/omschrijvingBeperkingen exists with value that is NOT equal to "Openbaar", OR
* An element /record/metadata/ToPX/aggregatie/gebruiksrechten/omschrijvingVoorwaarden/ exists with value that is NOT equal to "vrij te gebruiken”
The end date of the Public restriction will be:
* The content of /record/metadata/ToPX/aggregatie/openbaarheid/datumOfPeriode/ (can be a year or a whole date) of the <openbaarheid> element with value "Openbaar OR
* The content of /record/metadata/ToPX/aggregatie/gebruiksrechten/datumOfPeriode/ (can be a year or a whole date) of the <gebruiksrechten> element with value "Vrij te gebruiken”
In case both of the above exists, the end date that is the most distant from now should be used.

Besides the Public restriction, a note is added to the field Description control, for each <openbaarheid> element and for each <gebruiksrechten> element containing:
* Gebruiksrechten: <omschrijvingVoorwaarden> vanaf: <datumOfPeriode>
* Openbaarheid: <omschrijvingBeperkingen> vanaf: <datumOfPeriode>

The ToPX field Integriteit is added to the ScopeContent field in Memorix Archieven. A seperate line is added for each Integriteit element where the integrity is not “Integer":
* "Integriteit: <integriteit>”

Vertrouwelijkheid (Confidentiality): only applies to uitgeplaatste dossiers (closed files). We don't have those at this phase of the project. At this moment, ALL material is considered to be not confidential

====Aggregatieniveau Record (Item or file-in-a-filegroup)====
* ToPX element <identificatiekenmerk>:
** The Identificatiekenmerk will have this format: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number>-<file number></code>. Only the file number part is used for the filenumber. The file will be linked to the filegroup <dossiernummer>.
* ToPX element <naam>: title of the file
* ToPX element <classificatie>: does not occur at this level
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <plaats>: to be ignored
* ToPX element <dekking> and subelements <inTijd> and <inPlaats>: to be ignored
* ToPX element <externIdentificatiekenmer>: to be ignored
* ToPX elemtn <taal>: Added to scope content as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the date of a file in Memorix Archives, the following ToPX element are be used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = "Verzending" OR type=“Ontvangst
** in case both elements with type="Verzending" or type="Ontvangst" occur, the date within "Ontvangst" is used
** and <aggregatieniveau> = "Record"
* ToPX element <Relatie> (Only hierarchical relations are expected here: typeRelatie=“Hierarchisch”)
** Dossier always links to Fonds
** Record always links to Dossier
* ToPX element <context>: to be ignored
* ToPX element <vorm>: Vorm is expected only at Record level. Is ignored for now

====The Bestand element (the physical file)====
* ToPX element <identificatiekenmerk>
* ToPX element <aggregatieniveau>: always: Stuk
* ToPX element <naam>: title of the file (NOT filename):
** The naam of the file is ignored, since it will always be the same as the naam of the Record
* ToPX element Classificatie: ignored at this level
* ToPX element Omschrijving: ignored for now

All other elements will be ignored.

====Opslag van DIP bestanden in het DAM====

[[Category:E-depot]]

Custom microservices

2021-02-19T12:12:46Z

Picturae: /* Validate Identificatiekenmerk */

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [[:Media:validateToPX.pdf|validateToPX.pdf]]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [[:Media:checkToPXHierarchicalRelations.pdf|checkToPXHierarchicalRelations.pdf]]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [[Media:checkDIPMemorixArchives.pdf|checkDIPMemorixArchives.pdf]]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [[:Media:checkTopXFileValidity.pdf|checkTopXFileValidity.pdf]]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [[:Media:checkToPXChecksums.pdf|checkToPXChecksums.pdf]]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [[:Media:checkToPXDuplicateId.pdf|checkToPXDuplicateId.pdf]]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [[:Media:ValidateIdentificatiekenmerk.pdf|ValidateIdentificatiekenmerk.pdf]]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Custom microservices

2021-02-19T12:12:13Z

Picturae: /* Validate ToPX duplicate id */

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [[:Media:validateToPX.pdf|validateToPX.pdf]]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [[:Media:checkToPXHierarchicalRelations.pdf|checkToPXHierarchicalRelations.pdf]]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [[Media:checkDIPMemorixArchives.pdf|checkDIPMemorixArchives.pdf]]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [[:Media:checkTopXFileValidity.pdf|checkTopXFileValidity.pdf]]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [[:Media:checkToPXChecksums.pdf|checkToPXChecksums.pdf]]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [[:Media:checkToPXDuplicateId.pdf|checkToPXDuplicateId.pdf]]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Custom microservices

2021-02-19T12:11:34Z

Picturae: /* Validate files checksums with ToPX */

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [[:Media:validateToPX.pdf|validateToPX.pdf]]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [[:Media:checkToPXHierarchicalRelations.pdf|checkToPXHierarchicalRelations.pdf]]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [[Media:checkDIPMemorixArchives.pdf|checkDIPMemorixArchives.pdf]]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [[:Media:checkTopXFileValidity.pdf|checkTopXFileValidity.pdf]]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [[:Media:checkToPXChecksums.pdf|checkToPXChecksums.pdf]]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Custom microservices

2021-02-19T12:08:27Z

Picturae: /* Validate RIP/ToPX package contents */

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [[:Media:validateToPX.pdf|validateToPX.pdf]]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [[:Media:checkToPXHierarchicalRelations.pdf|checkToPXHierarchicalRelations.pdf]]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [[Media:checkDIPMemorixArchives.pdf|checkDIPMemorixArchives.pdf]]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [[:Media:checkTopXFileValidity.pdf|checkTopXFileValidity.pdf]]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Custom microservices

2021-02-19T12:07:33Z

Picturae: /* Validate RIP/ToPX against Memorix Archives */

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [[:Media:validateToPX.pdf|validateToPX.pdf]]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [[:Media:checkToPXHierarchicalRelations.pdf|checkToPXHierarchicalRelations.pdf]]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [[Media:checkDIPMemorixArchives.pdf|checkDIPMemorixArchives.pdf]]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Custom microservices

2021-02-19T12:05:43Z

Picturae: /* Validate ToPX hierarchical relations */

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [[:Media:validateToPX.pdf|validateToPX.pdf]]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [[:Media:checkToPXHierarchicalRelations.pdf|checkToPXHierarchicalRelations.pdf]]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkDIPMemorixArchives.pdf checkDIPMemorixArchives.pdf]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Custom microservices

2021-02-19T12:04:38Z

Picturae: /* Validate RIP/ToPX against schemas */

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [[:Media:validateToPX.pdf|validateToPX.pdf]]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXHierarchicalRelations.pdf checkToPXHierarchicalRelations.pdf]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkDIPMemorixArchives.pdf checkDIPMemorixArchives.pdf]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Custom microservices

2021-02-19T12:02:50Z

Picturae: /* Validate RIP/ToPX against schemas */

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [[Media:validateToPX.pdf]]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXHierarchicalRelations.pdf checkToPXHierarchicalRelations.pdf]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkDIPMemorixArchives.pdf checkDIPMemorixArchives.pdf]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Custom microservices

2021-02-19T12:02:37Z

Picturae: /* Validate RIP/ToPX against schemas */

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [[Media:validateToPX.pdf:validateToPX.pdf]]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXHierarchicalRelations.pdf checkToPXHierarchicalRelations.pdf]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkDIPMemorixArchives.pdf checkDIPMemorixArchives.pdf]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Custom microservices

2021-02-19T12:02:24Z

Picturae: /* Validate RIP/ToPX against schemas */

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [[Media:validateToPX.pdf validateToPX.pdf]]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXHierarchicalRelations.pdf checkToPXHierarchicalRelations.pdf]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkDIPMemorixArchives.pdf checkDIPMemorixArchives.pdf]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Custom microservices

2021-02-19T12:01:59Z

Picturae: /* Validate RIP/ToPX against schemas */

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [[Media:validateToPX.pdf]]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXHierarchicalRelations.pdf checkToPXHierarchicalRelations.pdf]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkDIPMemorixArchives.pdf checkDIPMemorixArchives.pdf]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Custom microservices

2021-02-19T11:59:33Z

Picturae: /* Validate RIP/ToPX against schemas */

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [[validateToPX.pdf]]

[[Media:validateToPX.pdf]]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXHierarchicalRelations.pdf checkToPXHierarchicalRelations.pdf]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkDIPMemorixArchives.pdf checkDIPMemorixArchives.pdf]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Custom microservices

2021-02-19T11:56:54Z

Picturae: /* Validate RIP/ToPX against schemas */

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/validateToPX.pdf validateToPX.pdf]

[[Media:validateToPX.pdf]]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXHierarchicalRelations.pdf checkToPXHierarchicalRelations.pdf]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkDIPMemorixArchives.pdf checkDIPMemorixArchives.pdf]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Bestand:ValidateToPX.pdf

2021-02-19T11:53:35Z

Picturae: Picturae uploaded a new version of "File:ValidateToPX.pdf"

Bestand:ValidateIdentificatiekenmerk.pdf

2021-02-19T11:53:24Z

Picturae:

Bestand:UploadDIPMemorixArchives.pdf

2021-02-19T11:53:14Z

Picturae:

Bestand:CheckTopXFileValidity.pdf

2021-02-19T11:53:05Z

Picturae:

Bestand:CheckToPXDuplicateId.pdf

2021-02-19T11:52:56Z

Picturae:

Bestand:CheckToPXChecksums.pdf

2021-02-19T11:52:46Z

Picturae:

Bestand:CheckDIPMemorixArchives.pdf

2021-02-19T11:52:36Z

Picturae:

Bestand:ValidateToPX.pdf

2021-02-19T11:52:24Z

Picturae:

Bestand:Nietonline.jpg

2021-02-19T11:38:00Z

Picturae:

Koppeling tussen Archivematica en Memorix Archieven

2021-01-11T10:41:46Z

Picturae: /* Accessibility of files and filegroups */

===DIP Upload===
Nadat een AIP is opgeslagen in het e-depot, wordt de DIP ge-upload naar Memorix Archieven. Dit gebeurt op basis van het standaard SWORD protocol.

In Memorix Archieven wordt de ToPX metadata gemapped naar EAD. Voor elk dossier in de ToPX wordt een verzamelbeschrijving aangemaakt, en voor elk record wordt een inventarisnummer gemaakt. De volledige mapping wordt in de volgende paragraaf beschreven.

===Het e-depot tabblad===
Verzamelbeschrijvingen en bestanddelen die via een DIP upload zijn aangemaakt, krijgen een extra tabblad. Deze is zichtbaar bij het bewerken van een verzamelbeschrijving of inventarisnummer.

. Het E-depot tabblad bevat de volgende gegevens:
* '''E-depot Files''': Download links voor de bestanden die gekoppeld zijn aan dit inventarisnummer. Hiermee wordt de DIP versie gedownload uit het DAM. Dit is dus geen download direct uit Archivematica.
* '''E-depot Links''': Bevat een link om de AIP bestanden te bekijken in het Dashboard van Archivematica. Hiervoor moet je ingelogd zijn in Archivematica. Er is ook een link naar de METS file beschikbaar. Deze bevat metadata over het proces van ingest.
* '''Import snippets''': Bevat de delen uit het ToPX bestand die van toepassing zijn op het betreffende inventarisnummer en de bestanden die daaraan gekoppeld zijn.

===Verwijderen van de DIP metadata uit Memorix Archieven===
Het is mogelijk om alle bestanddelen die bij een DIP upload zijn aangemaakt in één keer te verwijderen uit Memorix Archieven.
Ga hiervoor naar in het menu naar Beheer --> Bulk Acties --> Bestanddelen Verwijderen.
In het veld "Toepassen op DIP" kunt u de naam of de uuid van de betreffende DIP invoeren. Tijdens het typen verschijnt een drop-down box met DIP's die overeenkomen met de zoekcriteria. Het is ook mogelijk om een DIP te selecteren uit een lijst door te klikken op het knopje achter het veld.
Als u de juiste DIP heeft geselecteerd, klikt u op Bestanddelen Verwijderen.

'''Let op''': deze actie kan niet ongedaan worden. Alle bestanddelen die aangemaakt zijn tijdens het importeren van de DIP zullen definitief verwijderd worden.

De bestanden in het DAM worden niet verwijderd bij deze actie. Deze kunt u met de hand uit het DAM verwijderen, door de map met de betreffende DIP weg te gooien. In de paragraaf [[#De DIP bestanden in het DAM]] kunt u lezen hoe u de bestanden van een DIP kan vinden in het DAM.

===De DIP bestanden in het DAM===
Memorix Archieven plaatst de bestanden uit de DIP in het DAM van Memorix Maior. De bestanden worden doorgaans geplaatst in een aparte storage met de naam e-depot, met daaronder een map DIP Uploads.
In de map DIP Uploads wordt voor elke DIP een map aangemaakt met de naam en de uuid van de DIP.

===Presentatie op de Website===
Bestanddelen die zijn geïmporteerd vanuit Archivematica, worden op dezelfde manier gepresenteerd als bestanden die met de hand koppelt in het DAM. Na het indexeren van het archief, worden deze automatisch zichtbaar op de website (voor openbare bestanddelen).

Bepaalde afbeeldingen (JPEG en TIFF) en PDF bestanden worden op de website getoond in een viewer. Andere bestandsformaten worden niet in een viewer getoond, maar kunnen wel worden gedownload door de bezoeker.

===Mapping van ToPX naar EAD/Memorix Archieven===
''Note: for mapping ToPX to EAD/Memorix Archives, the latest version of ToPX is used: [https://www.nationaalarchief.nl/archiveren/kennisbank/metadata-en-het-e-depot v2.3], for which the Schema can be found [https://www.nationaalarchief.nl/sites/default/files/field-file/ToPX-2.3_2.xsd here].''
====Aggregatieniveau: Archief (EN: Fonds)====
* A fonds shoud be created manually in Memorix Archives before the ingest in Archivematica.
* This fonds has three required fields:
** Identificatiekenmerk
** Titel
** Datering
* The element <identificatiekenmerk> of the Fonds in ToPX should have this format:
** <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<fonds number></code>
** The last part is extracted as the Fonds number. This should match the Identificatiekenmerk of the fonds created in Memorix Archives.
* The element <naam> of the Archief in ToPX is ignored. But it makes sense to use the same name when creating the fonds in Memorix Archives.
* Each ingest will contain 1 or more files from only 1 fonds
* The element <classification> in ToPX is ignored at fonds level

====Aggregatieniveau: Serie====
* Not used

====Aggregatieniveau: Dossier: filegroup====
* The Aggregatieniveau “dossier" in ToPX is mapped to Filegroups in Memorix Archives
* ToPX element <identificatiekenmerk> is mapped to the field Range of the filegroup
** In ToPX it is formatted like: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number></code>. Only the dossier number part is used for the Range of the filegroup
* ToPX element <naam>: title of the filegroup
* ToPX element: <classificatie>:
** May contain any type of classification.
** Imported into Scopecontent in MA in this format: <bron> <datum>: <classificatiecode> <omschrijving>
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <dekking> (with subfields <inTijd> en <inPlaats>: ignored
* ToPX element <externIdentificatiekenmer>: Ignored
* ToPX element <taal>: Added to ScopeContent (Bereik en Inhoud) as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the start date of a filegroup (fileDate.from in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Creatie"
** and <aggregatieniveau> = “Dossier"
* For the end date of a filegroup (fileDate.to in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Afsluiting"
** and <aggregatieniveau> = “Dossier"
* ToPX element <relatie>
** Only hierarchical relations should be interpreted: typeRelatie=“Hierarchisch”. The hierarchy is always like this:
*** Dossier links to Fonds
*** Record links to Dossier
* ToPX element <context>. Can be an activity or an actor. Both are ignored.

====Accessibility of files and filegroups====
In Memorix Archives, a Public Restriction with Reason = "Niet Openbaar" is added in any of the following cases:
* An element /record/metadata/ToPX/aggregatie/openbaarheid/omschrijvingBeperkingen exists with value that is NOT equal to "Openbaar", OR
* An element /record/metadata/ToPX/aggregatie/gebruiksrechten/omschrijvingVoorwaarden/ exists with value that is NOT equal to "vrij te gebruiken”
The end date of the Public restriction will be:
* The content of /record/metadata/ToPX/aggregatie/openbaarheid/datumOfPeriode/ (can be a year or a whole date) of the <openbaarheid> element with value "Openbaar OR
* The content of /record/metadata/ToPX/aggregatie/gebruiksrechten/datumOfPeriode/ (can be a year or a whole date) of the <gebruiksrechten> element with value "Vrij te gebruiker”
In case both of the above exists, the end date that is the most distant from now should be used.

Besides the Public restriction, a note is added to the field Description control, for each <openbaarheid> element and for each <gebruiksrechten> element containing:
* Gebruiksrechten: <omschrijvingVoorwaarden> vanaf: <datumOfPeriode>
* Openbaarheid: <omschrijvingBeperkingen> vanaf: <datumOfPeriode>

The ToPX field Integriteit is added to the ScopeContent field in Memorix Archieven. A seperate line is added for each Integriteit element where the integrity is not “Integer":
* "Integriteit: <integriteit>”

Vertrouwelijkheid (Confidentiality): only applies to uitgeplaatste dossiers (closed files). We don't have those at this phase of the project. At this moment, ALL material is considered to be not confidential

====Aggregatieniveau Record (Item or file-in-a-filegroup)====
* ToPX element <identificatiekenmerk>:
** The Identificatiekenmerk will have this format: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number>-<file number></code>. Only the file number part is used for the filenumber. The file will be linked to the filegroup <dossiernummer>.
* ToPX element <naam>: title of the file
* ToPX element <classificatie>: does not occur at this level
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <plaats>: to be ignored
* ToPX element <dekking> and subelements <inTijd> and <inPlaats>: to be ignored
* ToPX element <externIdentificatiekenmer>: to be ignored
* ToPX elemtn <taal>: Added to scope content as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the date of a file in Memorix Archives, the following ToPX element are be used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = "Verzending" OR type=“Ontvangst
** in case both elements with type="Verzending" or type="Ontvangst" occur, the date within "Ontvangst" is used
** and <aggregatieniveau> = "Record"
* ToPX element <Relatie> (Only hierarchical relations are expected here: typeRelatie=“Hierarchisch”)
** Dossier always links to Fonds
** Record always links to Dossier
* ToPX element <context>: to be ignored
* ToPX element <vorm>: Vorm is expected only at Record level. Is ignored for now

====The Bestand element (the physical file)====
* ToPX element <identificatiekenmerk>
* ToPX element <aggregatieniveau>: always: Stuk
* ToPX element <naam>: title of the file (NOT filename):
** The naam of the file is ignored, since it will always be the same as the naam of the Record
* ToPX element Classificatie: ignored at this level
* ToPX element Omschrijving: ignored for now

All other elements will be ignored.

====Opslag van DIP bestanden in het DAM====

[[Category:E-depot]]

Koppeling tussen Archivematica en Memorix Archieven

2020-08-28T09:23:11Z

Picturae: /* Mapping van ToPX naar EAD/Memorix Archieven */

===DIP Upload===
Nadat een AIP is opgeslagen in het e-depot, wordt de DIP ge-upload naar Memorix Archieven. Dit gebeurt op basis van het standaard SWORD protocol.

In Memorix Archieven wordt de ToPX metadata gemapped naar EAD. Voor elk dossier in de ToPX wordt een verzamelbeschrijving aangemaakt, en voor elk record wordt een inventarisnummer gemaakt. De volledige mapping wordt in de volgende paragraaf beschreven.

===Het e-depot tabblad===
Verzamelbeschrijvingen en bestanddelen die via een DIP upload zijn aangemaakt, krijgen een extra tabblad. Deze is zichtbaar bij het bewerken van een verzamelbeschrijving of inventarisnummer.

. Het E-depot tabblad bevat de volgende gegevens:
* '''E-depot Files''': Download links voor de bestanden die gekoppeld zijn aan dit inventarisnummer. Hiermee wordt de DIP versie gedownload uit het DAM. Dit is dus geen download direct uit Archivematica.
* '''E-depot Links''': Bevat een link om de AIP bestanden te bekijken in het Dashboard van Archivematica. Hiervoor moet je ingelogd zijn in Archivematica. Er is ook een link naar de METS file beschikbaar. Deze bevat metadata over het proces van ingest.
* '''Import snippets''': Bevat de delen uit het ToPX bestand die van toepassing zijn op het betreffende inventarisnummer en de bestanden die daaraan gekoppeld zijn.

===Verwijderen van de DIP metadata uit Memorix Archieven===
Het is mogelijk om alle bestanddelen die bij een DIP upload zijn aangemaakt in één keer te verwijderen uit Memorix Archieven.
Ga hiervoor naar in het menu naar Beheer --> Bulk Acties --> Bestanddelen Verwijderen.
In het veld "Toepassen op DIP" kunt u de naam of de uuid van de betreffende DIP invoeren. Tijdens het typen verschijnt een drop-down box met DIP's die overeenkomen met de zoekcriteria. Het is ook mogelijk om een DIP te selecteren uit een lijst door te klikken op het knopje achter het veld.
Als u de juiste DIP heeft geselecteerd, klikt u op Bestanddelen Verwijderen.

'''Let op''': deze actie kan niet ongedaan worden. Alle bestanddelen die aangemaakt zijn tijdens het importeren van de DIP zullen definitief verwijderd worden.

De bestanden in het DAM worden niet verwijderd bij deze actie. Deze kunt u met de hand uit het DAM verwijderen, door de map met de betreffende DIP weg te gooien. In de paragraaf [[#De DIP bestanden in het DAM]] kunt u lezen hoe u de bestanden van een DIP kan vinden in het DAM.

===De DIP bestanden in het DAM===
Memorix Archieven plaatst de bestanden uit de DIP in het DAM van Memorix Maior. De bestanden worden doorgaans geplaatst in een aparte storage met de naam e-depot, met daaronder een map DIP Uploads.
In de map DIP Uploads wordt voor elke DIP een map aangemaakt met de naam en de uuid van de DIP.

===Presentatie op de Website===
Bestanddelen die zijn geïmporteerd vanuit Archivematica, worden op dezelfde manier gepresenteerd als bestanden die met de hand koppelt in het DAM. Na het indexeren van het archief, worden deze automatisch zichtbaar op de website (voor openbare bestanddelen).

Bepaalde afbeeldingen (JPEG en TIFF) en PDF bestanden worden op de website getoond in een viewer. Andere bestandsformaten worden niet in een viewer getoond, maar kunnen wel worden gedownload door de bezoeker.

===Mapping van ToPX naar EAD/Memorix Archieven===
''Note: for mapping ToPX to EAD/Memorix Archives, the latest version of ToPX is used: [https://www.nationaalarchief.nl/archiveren/kennisbank/metadata-en-het-e-depot v2.3], for which the Schema can be found [https://www.nationaalarchief.nl/sites/default/files/field-file/ToPX-2.3_2.xsd here].''
====Aggregatieniveau: Archief (EN: Fonds)====
* A fonds shoud be created manually in Memorix Archives before the ingest in Archivematica.
* This fonds has three required fields:
** Identificatiekenmerk
** Titel
** Datering
* The element <identificatiekenmerk> of the Fonds in ToPX should have this format:
** <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<fonds number></code>
** The last part is extracted as the Fonds number. This should match the Identificatiekenmerk of the fonds created in Memorix Archives.
* The element <naam> of the Archief in ToPX is ignored. But it makes sense to use the same name when creating the fonds in Memorix Archives.
* Each ingest will contain 1 or more files from only 1 fonds
* The element <classification> in ToPX is ignored at fonds level

====Aggregatieniveau: Serie====
* Not used

====Aggregatieniveau: Dossier: filegroup====
* The Aggregatieniveau “dossier" in ToPX is mapped to Filegroups in Memorix Archives
* ToPX element <identificatiekenmerk> is mapped to the field Range of the filegroup
** In ToPX it is formatted like: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number></code>. Only the dossier number part is used for the Range of the filegroup
* ToPX element <naam>: title of the filegroup
* ToPX element: <classificatie>:
** May contain any type of classification.
** Imported into Scopecontent in MA in this format: <bron> <datum>: <classificatiecode> <omschrijving>
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <dekking> (with subfields <inTijd> en <inPlaats>: ignored
* ToPX element <externIdentificatiekenmer>: Ignored
* ToPX element <taal>: Added to ScopeContent (Bereik en Inhoud) as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the start date of a filegroup (fileDate.from in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Creatie"
** and <aggregatieniveau> = “Dossier"
* For the end date of a filegroup (fileDate.to in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Afsluiting"
** and <aggregatieniveau> = “Dossier"
* ToPX element <relatie>
** Only hierarchical relations should be interpreted: typeRelatie=“Hierarchisch”. The hierarchy is always like this:
*** Dossier links to Fonds
*** Record links to Dossier
* ToPX element <context>. Can be an activity or an actor. Both are ignored.

====Accessibility of files and filegroups====
In Memorix Archives, a Public Restriction with Reason = "Niet Openbaar" is added in any of the following cases:
* An element /record/metadata/ToPX/aggregatie/openbaarheid/omschrijvingBeperkingen exists with value that is NOT equal to "Openbaar", OR
* An element /record/metadata/ToPX/aggregatie/gebruiksrechten/omschrijvingVoorwaarden/ exists with value that is NOT equal to "vrij te gebruiken”
The end date of the Public restriction will be:
* The content of /record/metadata/ToPX/aggregatie/openbaarheid/datumOfPeriode/ (can be a year or a whole date) of the <openbaarheid> element with value "Openbaar OR
* The content of /record/metadata/ToPX/aggregatie/gebruiksrechten/datumOfPeriode/ (can be a year or a whole date) of the <gebruiksrechten> element with value "Vrij te gebruiker”
In case both of the above exists, the end date that is the most distant from now should be used.

Besides the Public restriction, a note is added to the field Description control, for each <openbaarheid> element and for each <gebruiksrechten> element containing:
* Gebruiksrechten: <omschrijvingVoorwaarden> vanaf: <datumOfPeriode>
* Openbaarheid: <omschrijvingBeperkingen> vanaf: <datumOfPeriode>

The ToPX field Integriteit is added to the ScopeContent field in Memorix Archieven. A seperate line is added for each Integriteit element where the integrity is not “Integer":
* "Integriteit: <integriteit>”

Vertrouwelijkheid (Confidentiality): only applies to uitgeplaatste dossiers (closed files). We don't have those at this phase of the project. At this moment, ALL material is consiedere to be not confidential

====Aggregatieniveau Record (Item or file-in-a-filegroup)====
* ToPX element <identificatiekenmerk>:
** The Identificatiekenmerk will have this format: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number>-<file number></code>. Only the file number part is used for the filenumber. The file will be linked to the filegroup <dossiernummer>.
* ToPX element <naam>: title of the file
* ToPX element <classificatie>: does not occur at this level
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <plaats>: to be ignored
* ToPX element <dekking> and subelements <inTijd> and <inPlaats>: to be ignored
* ToPX element <externIdentificatiekenmer>: to be ignored
* ToPX elemtn <taal>: Added to scope content as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the date of a file in Memorix Archives, the following ToPX element are be used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = "Verzending" OR type=“Ontvangst
** in case both elements with type="Verzending" or type="Ontvangst" occur, the date within "Ontvangst" is used
** and <aggregatieniveau> = "Record"
* ToPX element <Relatie> (Only hierarchical relations are expected here: typeRelatie=“Hierarchisch”)
** Dossier always links to Fonds
** Record always links to Dossier
* ToPX element <context>: to be ignored
* ToPX element <vorm>: Vorm is expected only at Record level. Is ignored for now

====The Bestand element (the physical file)====
* ToPX element <identificatiekenmerk>
* ToPX element <aggregatieniveau>: always: Stuk
* ToPX element <naam>: title of the file (NOT filename):
** The naam of the file is ignored, since it will always be the same as the naam of the Record
* ToPX element Classificatie: ignored at this level
* ToPX element Omschrijving: ignored for now

All other elements will be ignored.

====Opslag van DIP bestanden in het DAM====

[[Category:E-depot]]

Archivematica

2019-11-20T14:09:13Z

Picturae:

Picturae biedt voor haar klanten een e-depot oplossing op basis van Archivematica en Memorix Archieven.

Archivematica is een web-based, op open standaarden gebaseerde, open-source toepassing waarmee uw instelling langdurige toegang tot betrouwbare en authentieke digitale content kan realiseren. Archivematica is ontwikkeld door Artefactual, en kent wereldwijd vele gebruikers.

===Archivematica Handleiding===
De (Engelstalige) handleiding is te vinden op de website van Artefactual: [https://www.archivematica.org/en/docs/archivematica-1.9/ https://www.archivematica.org/en/docs/archivematica-1.9/]

===Archivematica forum===
Archivematica is een open source applicatie met een grote community. Heeft u een vraag over de werking van de software? Grote kans dat iemand anders diezelfde vraag ook al eens heeft gesteld. Op het Archivematica Forum kunt u in contact komen met andere Archivematica gebruikers over de hele wereld en kennis en ervaring delen met anderen. Het Forum kunt u vinden op: https://groups.google.com/forum/?fromgroups#!forum/archivematica

===Archivematica roadmap===
Archivematica wordt ontwikkeld door Artefactual. Het is een open source toepassing. Dat wil zeggen dat de broncode openbaar is. Iedereen die dat wil (en kan), kan de applicatie downloaden, installeren en aanpassen naar eigen wens. Artefactual houdt de regie over de officiële releases. Zij zorgen ervoor dat die goed getest en veilig zijn. Als een andere partij een aanpassing doet, bepaald Artefactual of die aanpassing in een volgende officiële release wordt meegenomen.
Gebruikers van Archivematica kunnen tegen betaling nieuwe functionaliteiten laten ontwikkelen. Alle geplande aanpassingen aan Archivematica zijn hier te vinden, inclusief de status en voor welke release ze gepland zijn: https://trello.com/b/aB72IgiX/archivematica-roadmap.

===Nieuwe gebruikers aanmaken voor het Archivematica Dashboard===
Bij oplevering van uw Archivematica heeft u accountgegevens ontvangen voor één of meerdere gebruikers.
Het is niet mogelijk om zelf nieuwe gebruikers aan te maken in het dashboard.
Als u toch nieuwe gebruiker wil toevoegen aan het dashboard, kunt u een verzoek hiervoor indienen bij de helpdesk van Picturae, via https://maior.memorix.nl

Koppeling tussen Archivematica en Memorix Archieven

2019-11-18T21:12:00Z

Picturae: /* Aggregatieniveau: Archief (EN: Fonds) */

===DIP Upload===
Nadat een AIP is opgeslagen in het e-depot, wordt de DIP ge-upload naar Memorix Archieven. Dit gebeurt op basis van het standaard SWORD protocol.

In Memorix Archieven wordt de ToPX metadata gemapped naar EAD. Voor elk dossier in de ToPX wordt een verzamelbeschrijving aangemaakt, en voor elk record wordt een inventarisnummer gemaakt. De volledige mapping wordt in de volgende paragraaf beschreven.

===Het e-depot tabblad===
Verzamelbeschrijvingen en bestanddelen die via een DIP upload zijn aangemaakt, krijgen een extra tabblad. Deze is zichtbaar bij het bewerken van een verzamelbeschrijving of inventarisnummer.

. Het E-depot tabblad bevat de volgende gegevens:
* '''E-depot Files''': Download links voor de bestanden die gekoppeld zijn aan dit inventarisnummer. Hiermee wordt de DIP versie gedownload uit het DAM. Dit is dus geen download direct uit Archivematica.
* '''E-depot Links''': Bevat een link om de AIP bestanden te bekijken in het Dashboard van Archivematica. Hiervoor moet je ingelogd zijn in Archivematica. Er is ook een link naar de METS file beschikbaar. Deze bevat metadata over het proces van ingest.
* '''Import snippets''': Bevat de delen uit het ToPX bestand die van toepassing zijn op het betreffende inventarisnummer en de bestanden die daaraan gekoppeld zijn.

===Verwijderen van de DIP metadata uit Memorix Archieven===
Het is mogelijk om alle bestanddelen die bij een DIP upload zijn aangemaakt in één keer te verwijderen uit Memorix Archieven.
Ga hiervoor naar in het menu naar Beheer --> Bulk Acties --> Bestanddelen Verwijderen.
In het veld "Toepassen op DIP" kunt u de naam of de uuid van de betreffende DIP invoeren. Tijdens het typen verschijnt een drop-down box met DIP's die overeenkomen met de zoekcriteria. Het is ook mogelijk om een DIP te selecteren uit een lijst door te klikken op het knopje achter het veld.
Als u de juiste DIP heeft geselecteerd, klikt u op Bestanddelen Verwijderen.

'''Let op''': deze actie kan niet ongedaan worden. Alle bestanddelen die aangemaakt zijn tijdens het importeren van de DIP zullen definitief verwijderd worden.

De bestanden in het DAM worden niet verwijderd bij deze actie. Deze kunt u met de hand uit het DAM verwijderen, door de map met de betreffende DIP weg te gooien. In de paragraaf [[#De DIP bestanden in het DAM]] kunt u lezen hoe u de bestanden van een DIP kan vinden in het DAM.

===De DIP bestanden in het DAM===
Memorix Archieven plaatst de bestanden uit de DIP in het DAM van Memorix Maior. De bestanden worden doorgaans geplaatst in een aparte storage met de naam e-depot, met daaronder een map DIP Uploads.
In de map DIP Uploads wordt voor elke DIP een map aangemaakt met de naam en de uuid van de DIP.

===Presentatie op de Website===
Bestanddelen die zijn geïmporteerd vanuit Archivematica, worden op dezelfde manier gepresenteerd als bestanden die met de hand koppelt in het DAM. Na het indexeren van het archief, worden deze automatisch zichtbaar op de website (voor openbare bestanddelen).

Bepaalde afbeeldingen (JPEG en TIFF) en PDF bestanden worden op de website getoond in een viewer. Andere bestandsformaten worden niet in een viewer getoond, maar kunnen wel worden gedownload door de bezoeker.

===Mapping van ToPX naar EAD/Memorix Archieven===
''Note: for mapping ToPX to EAD/Memorix Archives, the latest version of ToPX is used: [https://www.nationaalarchief.nl/archiveren/kennisbank/metadata-en-het-e-depot v2.3], for which the Schema can be found [https://www.nationaalarchief.nl/sites/default/files/field-file/topx-2.3_1.xsd here].''
====Aggregatieniveau: Archief (EN: Fonds)====
* A fonds shoud be created manually in Memorix Archives before the ingest in Archivematica.
* This fonds has three required fields:
** Identificatiekenmerk
** Titel
** Datering
* The element <identificatiekenmerk> of the Fonds in ToPX should have this format:
** <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<fonds number></code>
** The last part is extracted as the Fonds number. This should match the Identificatiekenmerk of the fonds created in Memorix Archives.
* The element <naam> of the Archief in ToPX is ignored. But it makes sense to use the same name when creating the fonds in Memorix Archives.
* Each ingest will contain 1 or more files from only 1 fonds
* The element <classification> in ToPX is ignored at fonds level

====Aggregatieniveau: Serie====
* Not used

====Aggregatieniveau: Dossier: filegroup====
* The Aggregatieniveau “dossier" in ToPX is mapped to Filegroups in Memorix Archives
* ToPX element <identificatiekenmerk> is mapped to the field Range of the filegroup
** In ToPX it is formatted like: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number></code>. Only the dossier number part is used for the Range of the filegroup
* ToPX element <naam>: title of the filegroup
* ToPX element: <classificatie>:
** May contain any type of classification.
** Imported into Scopecontent in MA in this format: <bron> <datum>: <classificatiecode> <omschrijving>
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <dekking> (with subfields <inTijd> en <inPlaats>: ignored
* ToPX element <externIdentificatiekenmer>: Ignored
* ToPX element <taal>: Added to ScopeContent (Bereik en Inhoud) as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the start date of a filegroup (fileDate.from in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Creatie"
** and <aggregatieniveau> = “Dossier"
* For the end date of a filegroup (fileDate.to in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Afsluiting"
** and <aggregatieniveau> = “Dossier"
* ToPX element <relatie>
** Only hierarchical relations should be interpreted: typeRelatie=“Hierarchisch”. The hierarchy is always like this:
*** Dossier links to Fonds
*** Record links to Dossier
* ToPX element <context>. Can be an activity or an actor. Both are ignored.

====Accessibility of files and filegroups====
In Memorix Archives, a Public Restriction with Reason = "Niet Openbaar" is added in any of the following cases:
* An element /record/metadata/ToPX/aggregatie/openbaarheid/omschrijvingBeperkingen exists with value that is NOT equal to "Openbaar", OR
* An element /record/metadata/ToPX/aggregatie/gebruiksrechten/omschrijvingVoorwaarden/ exists with value that is NOT equal to "vrij te gebruiken”
The end date of the Public restriction will be:
* The content of /record/metadata/ToPX/aggregatie/openbaarheid/datumOfPeriode/ (can be a year or a whole date) of the <openbaarheid> element with value "Openbaar OR
* The content of /record/metadata/ToPX/aggregatie/gebruiksrechten/datumOfPeriode/ (can be a year or a whole date) of the <gebruiksrechten> element with value "Vrij te gebruiker”
In case both of the above exists, the end date that is the most distant from now should be used.

Besides the Public restriction, a note is added to the field Description control, for each <openbaarheid> element and for each <gebruiksrechten> element containing:
* Gebruiksrechten: <omschrijvingVoorwaarden> vanaf: <datumOfPeriode>
* Openbaarheid: <omschrijvingBeperkingen> vanaf: <datumOfPeriode>

The ToPX field Integriteit is added to the ScopeContent field in Memorix Archieven. A seperate line is added for each Integriteit element where the integrity is not “Integer":
* "Integriteit: <integriteit>”

Vertrouwelijkheid (Confidentiality): only applies to uitgeplaatste dossiers (closed files). We don't have those at this phase of the project. At this moment, ALL material is consiedere to be not confidential

====Aggregatieniveau Record (Item or file-in-a-filegroup)====
* ToPX element <identificatiekenmerk>:
** The Identificatiekenmerk will have this format: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number>-<file number></code>. Only the file number part is used for the filenumber. The file will be linked to the filegroup <dossiernummer>.
* ToPX element <naam>: title of the file
* ToPX element <classificatie>: does not occur at this level
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <plaats>: to be ignored
* ToPX element <dekking> and subelements <inTijd> and <inPlaats>: to be ignored
* ToPX element <externIdentificatiekenmer>: to be ignored
* ToPX elemtn <taal>: Added to scope content as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the date of a file in Memorix Archives, the following ToPX element are be used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = "Verzending" OR type=“Ontvangst
** in case both elements with type="Verzending" or type="Ontvangst" occur, the date within "Ontvangst" is used
** and <aggregatieniveau> = "Record"
* ToPX element <Relatie> (Only hierarchical relations are expected here: typeRelatie=“Hierarchisch”)
** Dossier always links to Fonds
** Record always links to Dossier
* ToPX element <context>: to be ignored
* ToPX element <vorm>: Vorm is expected only at Record level. Is ignored for now

====The Bestand element (the physical file)====
* ToPX element <identificatiekenmerk>
* ToPX element <aggregatieniveau>: always: Stuk
* ToPX element <naam>: title of the file (NOT filename):
** The naam of the file is ignored, since it will always be the same as the naam of the Record
* ToPX element Classificatie: ignored at this level
* ToPX element Omschrijving: ignored for now

All other elements will be ignored.

====Opslag van DIP bestanden in het DAM====

[[Category:E-depot]]

Toegestane bestandsformaten

2019-11-05T15:18:33Z

Picturae:

In overleg met onze Archivematica gebruikers, hanteren we een lijst met toegestane bestandsformaten. Hieronder vind je die lijst. Als tijdens de Transfer een ander formaat wordt herkend, zal deze afbreken op de microservice Identify File Format. Door te klikken op het tandwieltje achter die microservice, kun je zien welke niet-toegestane formaten herkend zijn in deze Transfer.

Het wijzigen van de lijst is alleen mogelijk in afstemming met Picturae.

{| class="wikitable"

! Format Version !!Pronom !!Status
|-
| Acrobat PDF 1.7 ||fmt/276 ||Enabled
|-
| Acrobat PDF/A 1a. ||fmt/95 ||Enabled
|-
| Acrobat PDF/A 1b. ||fmt/354 ||Enabled
|-
| Acrobat PDF/A 2a ||fmt/476 ||Enabled
|-
| Acrobat PDF/A 2b ||fmt/477 ||Enabled
|-
| Acrobat PDF/A 2u ||fmt/478 ||Enabled
|-
| Acrobat PDF/A 3a ||fmt/479 ||Enabled
|-
| Acrobat PDF/A 3b ||fmt/480 ||Enabled
|-
| Acrobat PDF/A 3u ||fmt/481 ||Enabled
|-
| Adobe Illustrator v3.0/3.2. ||fmt/418 ||Enabled
|-
| Adobe Illustrator v4.0. ||fmt/419 ||Enabled
|-
| BIFF 8 & 8X Workbook (generic) 8X ||fmt/62 ||Enabled
|-
| Broadcast WAVE 0 ||fmt/1 ||Enabled
|-
| Broadcast WAVE 1 ||fmt/2 ||Enabled
|-
| Broadcast WAVE 2 ||fmt/527 ||Enabled
|-
| BWAVE MPEG 0 ||fmt/706 ||Enabled
|-
| BWAVE MPEG 1 ||fmt/707 ||Enabled
|-
| BWAVE MPEG 2 ||fmt/708 ||Enabled
|-
| BWAVE PCM 0 ||fmt/703 ||Enabled
|-
| BWAVE PCM 1 ||fmt/704 ||Enabled
|-
| BWAVE PCM 2 ||fmt/705 ||Enabled
|-
| BWAVE WAVEFORMATEXTENSIBLE 0 ||fmt/709 ||Enabled
|-
| BWAVE WAVEFORMATEXTENSIBLE 1 ||fmt/710 ||Enabled
|-
| BWAVE WAVEFORMATEXTENSIBLE 2 ||fmt/711 ||Enabled
|-
| Comma Separated Values ||x-fmt/18 ||Enabled
|-
| EPS 1.2 ||fmt/122 ||Enabled
|-
| EPS 2.0 ||fmt/123 ||Enabled
|-
| EPS 3 ||fmt/124 ||Enabled
|-
| Excel 97 Workbook 8 ||fmt/61 ||Enabled
|-
| Excel for Windows 2007+. ||fmt/214 ||Enabled
|-
| Exchangeable Image File Format (Audio) 2.0 ||x-fmt/397||Enabled
|-
| Exchangeable Image File Format (Audio) 2.1 ||x-fmt/389||Enabled
|-
| Exchangeable Image File Format (Audio) 2.2 ||x-fmt/396||Enabled
|-
| Exchangeable Image File Format (Uncompressed) 2.0||x-fmt/399||Enabled
|-
| Exchangeable Image File Format (Uncompressed) 2.1||x-fmt/388||Enabled
|-
| Exchangeable Image File Format (Uncompressed) 2.2||x-fmt/387||Enabled
|-
| Generic MKV ||fmt/569 ||Enabled
|-
| Generic MXF ||fmt/200 ||Enabled
|-
| Geographic Tagged Image File Format (GeoTIFF) ||fmt/155 ||Enabled
|-
| JP2 (JPEG 2000 part 1) ||x-fmt/392||Enabled
|-
| JPEG 1.00 ||fmt/42 ||Enabled
|-
| JPEG 1.01 ||fmt/43 ||Enabled
|-
| JPEG 1.02 ||fmt/44 ||Enabled
|-
| JPEG 2000 with Extensions ||fmt/151 ||Enabled
|-
| MBOX ||fmt/720 ||Enabled
|-
| Microsoft Excel for Macintosh 2001 ||fmt/175 ||Enabled
|-
| Microsoft Excel for Macintosh 2002 ||fmt/176 ||Enabled
|-
| Microsoft Excel for Macintosh 2004 ||fmt/177 ||Enabled
|-
| Microsoft Office Encrypted Document 2007+ 2007+ ||fmt/494 ||Enabled
|-
| Microsoft Word (Generic) 6.0-2003 ||fmt/609 ||Enabled
|-
| Microsoft Word Document 97-2003 97-2003 ||fmt/40 ||Enabled
|-
| Microsoft Word for Windows 2007+ 2007+ ||fmt/412 ||Enabled
|-
| Microsoft Works Database for Windows 4.5 ||fmt/249 ||Enabled
|-
| Microsoft Works Word Processor Windows 4.0a ||fmt/248 ||Enabled
|-
| MIME Email 1.0 ||fmt/950 ||Enabled
|-
| MPEG 1/2 Audio Layer 3 ||fmt/134 ||Enabled
|-
| MPEG-4 Video ||fmt/199 ||Enabled
|-
| MXF OP-ATOM ||fmt/791 ||Enabled
|-
| MXF OP1b ||fmt/783 ||Enabled
|-
| MXF OP1c ||fmt/784 ||Enabled
|-
| MXF OP2a ||fmt/785 ||Enabled
|-
| MXF OP2b ||fmt/786 ||Enabled
|-
| MXF OP2c ||fmt/787 ||Enabled
|-
| MXF OP3a ||fmt/788 ||Enabled
|-
| MXF OP3b ||fmt/789 ||Enabled
|-
| MXF OP3c ||fmt/790 ||Enabled
|-
| ODP 1.0 ||fmt/138 ||Enabled
|-
| ODP 1.1 ||fmt/292 ||Enabled
|-
| ODP 1.2 ||fmt/293 ||Enabled
|-
| ODS 1.0 ||fmt/137 ||Enabled
|-
| ODS 1.1 ||fmt/294 ||Enabled
|-
| ODS 1.2 ||fmt/295 ||Enabled
|-
| ODT 1.0 ||fmt/136 ||Enabled
|-
| ODT 1.1 ||fmt/290 ||Enabled
|-
| ODT 1.2 ||fmt/291 ||Enabled
|-
| Outlook Express Mail Message ||fmt/278 ||Enabled
|-
| Outlook Message Format 97-2003 ||x-fmt/430||Enabled
|-
| PNG 1.0 ||fmt/11 ||Enabled
|-
| PNG 1.1 ||fmt/12 ||Enabled
|-
| PNG 1.2 ||fmt/13 ||Enabled
|-
| Powerpoint 97-2002 97-2002 ||fmt/126 ||Enabled
|-
| Powerpoint for Windows 2007+ ||fmt/215 ||Enabled
|-
| Raw JPEG Stream ||fmt/41 ||Enabled
|-
| RF64 ||fmt/712 ||Enabled
|-
| RF64 MBWF ||fmt/713 ||Enabled
|-
| Scalable Vector Graphics 1.0 ||fmt/91 ||Enabled
|-
| Scalable Vector Graphics 1.1 ||fmt/92 ||Enabled
|-
| Scalable Vector Graphics 1.2 ||fmt/413 ||Enabled
|-
| Sonic Foundry WAVE 64 None ||fmt/951 ||Enabled
|-
| TIFF ||fmt/353 ||Enabled
|-
| TIFF for Electronic Photography (TIFF/EP) ||fmt/154 ||Enabled
|-
| TIFF for Image Technology (TIFF/IT) ||fmt/153 ||Enabled
|-
| TIFF for Internet Fax (TIFF-FX) ||fmt/156 ||Enabled
|-
| Waveform Audio (PCMWAVEFORMAT) ||fmt/141 ||Enabled
|-
| Waveform Audio ||fmt/6 ||Enabled
|-
| Waveform Audio (WAVEFORMATEX) ||fmt/142 ||Enabled
|-
| Waveform Audio (WAVEFORMATEXTENSIBLE) ||fmt/143 ||Enabled
|-
| XML 1.0 ||fmt/101 ||Enabled
|-

|}

Toegestane bestandsformaten

2019-11-05T15:18:02Z

Picturae:

In overleg met onze Archivematica gebruikers, hanteren we een lijst met toegestane bestandsformaten. Hieronder vind je die lijst. Als tijdens de Transfer een ander formaat wordt herkend, zal deze afbreken op de microservice Identify File Format. Door te klikken op het tandwieltje achter die microservice, kun je zien welke niet-toegestane formaten herkend zijn in deze Transfer.

Het wijzigen van de lijst is alleen mogelijk in afstemming met Picturae.

{| class="wikitable"

! Format Version !!Pronom !!Status
|-
| Acrobat PDF 1.7 ||fmt/276 ||Enabled
|-
| Acrobat PDF/A 1a. ||fmt/95 ||Enabled
|-
| Acrobat PDF/A 1b. ||fmt/354 ||Enabled
|-
| Acrobat PDF/A 2a ||fmt/476 ||Enabled
|-
| Acrobat PDF/A 2b ||fmt/477 ||Enabled
|-
| Acrobat PDF/A 2u ||fmt/478 ||Enabled
|-
| Acrobat PDF/A 3a ||fmt/479 ||Enabled
|-
| Acrobat PDF/A 3b ||fmt/480 ||Enabled
|-
| Acrobat PDF/A 3u ||fmt/481 ||Enabled
|-
| Adobe Illustrator v3.0/3.2. ||fmt/418 ||Enabled
|-
| Adobe Illustrator v4.0. ||fmt/419 ||Enabled
|-
| BIFF 8 & 8X Workbook (generic) 8X ||fmt/62 ||Enabled
|-
| Broadcast WAVE 0 ||fmt/1 ||Enabled
|-
| Broadcast WAVE 1 ||fmt/2 ||Enabled
|-
| Broadcast WAVE 2 ||fmt/527 ||Enabled
|-
| BWAVE MPEG 0 ||fmt/706 ||Enabled
|-
| BWAVE MPEG 1 ||fmt/707 ||Enabled
|-
| BWAVE MPEG 2 ||fmt/708 ||Enabled
|-
| BWAVE PCM 0 ||fmt/703 ||Enabled
|-
| BWAVE PCM 1 ||fmt/704 ||Enabled
|-
| BWAVE PCM 2 ||fmt/705 ||Enabled
|-
| BWAVE WAVEFORMATEXTENSIBLE 0 ||fmt/709 ||Enabled
|-
| BWAVE WAVEFORMATEXTENSIBLE 1 ||fmt/710 ||Enabled
|-
| BWAVE WAVEFORMATEXTENSIBLE 2 ||fmt/711 ||Enabled
|-
| Comma Separated Values ||x-fmt/18 ||Enabled
|-
| EPS 1.2 ||fmt/122 ||Enabled
|-
| EPS 2.0 ||fmt/123 ||Enabled
|-
| EPS 3 ||fmt/124 ||Enabled
|-
| Excel 97 Workbook 8 ||fmt/61 ||Enabled
|-
| Excel for Windows 2007+. ||fmt/214 ||Enabled
|-
| Exchangeable Image File Format (Audio) 2.0 ||x-fmt/397||Enabled
|-
| Exchangeable Image File Format (Audio) 2.1 ||x-fmt/389||Enabled
|-
| Exchangeable Image File Format (Audio) 2.2 ||x-fmt/396||Enabled
|-
| Exchangeable Image File Format (Uncompressed) 2.0||x-fmt/399||Enabled
|-
| Exchangeable Image File Format (Uncompressed) 2.1||x-fmt/388||Enabled
|-
| Exchangeable Image File Format (Uncompressed) 2.2||x-fmt/387||Enabled
|-
| Generic MKV ||fmt/569 ||Enabled
|-
| Generic MXF ||fmt/200 ||Enabled
|-
| Geographic Tagged Image File Format (GeoTIFF) ||fmt/155 ||Enabled
|-
| JP2 (JPEG 2000 part 1) ||x-fmt/392||Enabled
|-
| JPEG 1.00 ||fmt/42 ||Enabled
|-
| JPEG 1.01 ||fmt/43 ||Enabled
|-
| JPEG 1.02 ||fmt/44 ||Enabled
|-
| JPEG 2000 with Extensions ||fmt/151 ||Enabled
|-
| MBOX ||fmt/720 ||Enabled
|-
| Microsoft Excel for Macintosh 2001 ||fmt/175 ||Enabled
|-
| Microsoft Excel for Macintosh 2002 ||fmt/176 ||Enabled
|-
| Microsoft Excel for Macintosh 2004 ||fmt/177 ||Enabled
|-
| Microsoft Office Encrypted Document 2007+ 2007+ ||fmt/494 ||Enabled
|-
| Microsoft Word (Generic) 6.0-2003 ||fmt/609 ||Enabled
|-
| Microsoft Word Document 97-2003 97-2003 ||fmt/40 ||Enabled
|-
| Microsoft Word for Windows 2007+ 2007+ ||fmt/412 ||Enabled
|-
| Microsoft Works Database for Windows 4.5 ||fmt/249 ||Enabled
|-
| Microsoft Works Word Processor Windows 4.0a ||fmt/248 ||Enabled
|-
| MIME Email 1.0 ||fmt/950 ||Enabled
|-
| MPEG 1/2 Audio Layer 3 ||fmt/134 ||Enabled
|-
| MPEG-4 Video ||fmt/199 ||Enabled
|-
| MXF OP-ATOM ||fmt/791 ||Enabled
|-
| MXF OP1b ||fmt/783 ||Enabled
|-
| MXF OP1c ||fmt/784 ||Enabled
|-
| MXF OP2a ||fmt/785 ||Enabled
|-
| MXF OP2b ||fmt/786 ||Enabled
|-
| MXF OP2c ||fmt/787 ||Enabled
|-
| MXF OP3a ||fmt/788 ||Enabled
|-
| MXF OP3b ||fmt/789 ||Enabled
|-
| MXF OP3c ||fmt/790 ||Enabled
|-
| ODP 1.0 ||fmt/138 ||Enabled
|-
| ODP 1.1 ||fmt/292 ||Enabled
|-
| ODP 1.2 ||fmt/293 ||Enabled
|-
| ODS 1.0 ||fmt/137 ||Enabled
|-
| ODS 1.1 ||fmt/294 ||Enabled
|-
| ODS 1.2 ||fmt/295 ||Enabled
|-
| ODT 1.0 ||fmt/136 ||Enabled
|-
| ODT 1.1 ||fmt/290 ||Enabled
|-
| ODT 1.2 ||fmt/291 ||Enabled
|-
| Outlook Express Mail Message ||fmt/278 ||Enabled
|-
| Outlook Message Format 97-2003 ||x-fmt/430||Enabled
|-
| PNG 1.0 ||fmt/11 ||Enabled
|-
| PNG 1.1 ||fmt/12 ||Enabled
|-
| PNG 1.2 ||fmt/13 ||Enabled
|-
| Powerpoint 97-2002 97-2002 ||fmt/126 ||Enabled
|-
| Powerpoint for Windows 2007+ ||fmt/215 ||Enabled
|-
| Raw JPEG Stream ||fmt/41 ||Enabled
|-
| RF64 ||fmt/712 ||Enabled
|-
| RF64 MBWF ||fmt/713 ||Enabled
|-
| Scalable Vector Graphics 1.0 ||fmt/91 ||Enabled
|-
| Scalable Vector Graphics 1.1 ||fmt/92 ||Enabled
|-
| Scalable Vector Graphics 1.2 ||fmt/413 ||Enabled
|-
| Sonic Foundry WAVE 64 None ||fmt/951 ||Enabled
|-
| TIFF ||fmt/353 ||Enabled
|-
| TIFF for Electronic Photography (TIFF/EP) ||fmt/154 ||Enabled
|-
| TIFF for Image Technology (TIFF/IT) ||fmt/153 ||Enabled
|-
| TIFF for Internet Fax (TIFF-FX) ||fmt/156 ||Enabled
|-
| Waveform Audio (Waveform Audio (PCMWAVEFORMAT)) ||fmt/141 ||Enabled
|-
| Waveform Audio ||fmt/6 ||Enabled
|-
| Waveform Audio (WAVEFORMATEX) ||fmt/142 ||Enabled
|-
| Waveform Audio (WAVEFORMATEXTENSIBLE) ||fmt/143 ||Enabled
|-
| XML 1.0 ||fmt/101 ||Enabled
|-

|}

Toegestane bestandsformaten

2019-11-05T15:12:59Z

Picturae:

In overleg met onze Archivematica gebruikers, hanteren we een lijst met toegestane bestandsformaten. Hieronder vind je die lijst. Als tijdens de Transfer een ander formaat wordt herkend, zal deze afbreken op de microservice Identify File Format. Door te klikken op het tandwieltje achter die microservice, kun je zien welke niet-toegestane formaten herkend zijn in deze Transfer.

Het wijzigen van de lijst is alleen mogelijk in afstemming met Picturae.

{| class="wikitable"

! Format Version !!Pronom !!Status
|-
| Acrobat PDF 1.7 ||fmt/276 ||Enabled
|-
| Acrobat PDF/A 1a. ||fmt/95 ||Enabled
|-
| Acrobat PDF/A 1b. ||fmt/354 ||Enabled
|-
| Acrobat PDF/A 2a ||fmt/476 ||Enabled
|-
| Acrobat PDF/A 2b ||fmt/477 ||Enabled
|-
| Acrobat PDF/A 2u ||fmt/478 ||Enabled
|-
| Acrobat PDF/A 3a ||fmt/479 ||Enabled
|-
| Acrobat PDF/A 3b ||fmt/480 ||Enabled
|-
| Acrobat PDF/A 3u ||fmt/481 ||Enabled
|-
| Adobe Illustrator v3.0/3.2. ||fmt/418 ||Enabled
|-
| Adobe Illustrator v4.0. ||fmt/419 ||Enabled
|-
| BIFF 8 & 8X Workbook (generic) 8X ||fmt/62 ||Enabled
|-
| Broadcast WAVE 0 ||fmt/1 ||Enabled
|-
| Broadcast WAVE 1 ||fmt/2 ||Enabled
|-
| Broadcast WAVE 2 ||fmt/527 ||Enabled
|-
| BWAVE MPEG 0 ||fmt/706 ||Enabled
|-
| BWAVE MPEG 1 ||fmt/707 ||Enabled
|-
| BWAVE MPEG 2 ||fmt/708 ||Enabled
|-
| BWAVE PCM 0 ||fmt/703 ||Enabled
|-
| BWAVE PCM 1 ||fmt/704 ||Enabled
|-
| BWAVE PCM 2 ||fmt/705 ||Enabled
|-
| BWAVE WAVEFORMATEXTENSIBLE 0 ||fmt/709 ||Enabled
|-
| BWAVE WAVEFORMATEXTENSIBLE 1 ||fmt/710 ||Enabled
|-
| BWAVE WAVEFORMATEXTENSIBLE 2 ||fmt/711 ||Enabled
|-
| Comma Separated Values ||x-fmt/18 ||Enabled
|-
| EPS 1.2 ||fmt/122 ||Enabled
|-
| EPS 2.0 ||fmt/123 ||Enabled
|-
| EPS 3 ||fmt/124 ||Enabled
|-
| Excel 97 Workbook 8 ||fmt/61 ||Enabled
|-
| Excel for Windows 2007+. ||fmt/214 ||Enabled
|-
| Exchangeable Image File Format (Audio) 2.0 ||x-fmt/397||Enabled
|-
| Exchangeable Image File Format (Audio) 2.1 ||x-fmt/389||Enabled
|-
| Exchangeable Image File Format (Audio) 2.2 ||x-fmt/396||Enabled
|-
| Exchangeable Image File Format (Uncompressed) 2.0||x-fmt/399||Enabled
|-
| Exchangeable Image File Format (Uncompressed) 2.1||x-fmt/388||Enabled
|-
| Exchangeable Image File Format (Uncompressed) 2.2||x-fmt/387||Enabled
|-
| Generic MKV ||fmt/569 ||Enabled
|-
| Generic MXF ||fmt/200 ||Enabled
|-
| Geographic Tagged Image File Format (GeoTIFF) ||fmt/155 ||Enabled
|-
| JP2 (JPEG 2000 part 1) ||x-fmt/392||Enabled
|-
| JPEG 1.00 ||fmt/42 ||Enabled
|-
| JPEG 1.01 ||fmt/43 ||Enabled
|-
| JPEG 1.02 ||fmt/44 ||Enabled
|-
| JPEG 2000 with Extensions ||fmt/151 ||Enabled
|-
| MBOX ||fmt/720 ||Enabled
|-
| Microsoft Excel for Macintosh 2001 ||fmt/175 ||Enabled
|-
| Microsoft Excel for Macintosh 2002 ||fmt/176 ||Enabled
|-
| Microsoft Excel for Macintosh 2004 ||fmt/177 ||Enabled
|-
| Microsoft Office Encrypted Document 2007+ 2007+ ||fmt/494 ||Enabled
|-
| Microsoft Word (Generic) 6.0-2003 ||fmt/609 ||Enabled
|-
| Microsoft Word Document 97-2003 97-2003 ||fmt/40 ||Enabled
|-
| Microsoft Word for Windows 2007+ 2007+ ||fmt/412 ||Enabled
|-
| Microsoft Works Database for Windows 4.5 ||fmt/249 ||Enabled
|-
| Microsoft Works Word Processor Windows 4.0a ||fmt/248 ||Enabled
|-
| MIME Email 1.0 ||fmt/950 ||Enabled
|-
| MPEG 1/2 Audio Layer 3 ||fmt/134 ||Enabled
|-
| MPEG-4 Video ||fmt/199 ||Enabled
|-
| MXF OP-ATOM ||fmt/791 ||Enabled
|-
| MXF OP1b ||fmt/783 ||Enabled
|-
| MXF OP1c ||fmt/784 ||Enabled
|-
| MXF OP2a ||fmt/785 ||Enabled
|-
| MXF OP2b ||fmt/786 ||Enabled
|-
| MXF OP2c ||fmt/787 ||Enabled
|-
| MXF OP3a ||fmt/788 ||Enabled
|-
| MXF OP3b ||fmt/789 ||Enabled
|-
| MXF OP3c ||fmt/790 ||Enabled
|-
| ODP 1.0 ||fmt/138 ||Enabled
|-
| ODP 1.1 ||fmt/292 ||Enabled
|-
| ODP 1.2 ||fmt/293 ||Enabled
|-
| ODS 1.0 ||fmt/137 ||Enabled
|-
| ODS 1.1 ||fmt/294 ||Enabled
|-
| ODS 1.2 ||fmt/295 ||Enabled
|-
| ODT 1.0 ||fmt/136 ||Enabled
|-
| ODT 1.1 ||fmt/290 ||Enabled
|-
| ODT 1.2 ||fmt/291 ||Enabled
|-
| Outlook Express Mail Message ||fmt/278 ||Enabled
|-
| Outlook Message Format 97-2003 ||x-fmt/430||Enabled
|-
| PNG 1.0 ||fmt/11 ||Enabled
|-
| PNG 1.1 ||fmt/12 ||Enabled
|-
| PNG 1.2 ||fmt/13 ||Enabled
|-
| Powerpoint 97-2002 97-2002 ||fmt/126 ||Enabled
|-
| Powerpoint for Windows 2007+ ||fmt/215 ||Enabled
|-
| Raw JPEG Stream ||fmt/41 ||Enabled
|-
| RF64 ||fmt/712 ||Enabled
|-
| RF64 MBWF ||fmt/713 ||Enabled
|-
| Scalable Vector Graphics 1.0 ||fmt/91 ||Enabled
|-
| Scalable Vector Graphics 1.1 ||fmt/92 ||Enabled
|-
| Scalable Vector Graphics 1.2 ||fmt/413 ||Enabled
|-
| Sonic Foundry WAVE 64 None ||fmt/951 ||Enabled
|-
| TIFF ||fmt/353 ||Enabled
|-
| TIFF for Electronic Photography (TIFF/EP) ||fmt/154 ||Enabled
|-
| TIFF for Image Technology (TIFF/IT) ||fmt/153 ||Enabled
|-
| TIFF for Internet Fax (TIFF-FX) ||fmt/156 ||Enabled
|-
| Waveform Audio ||fmt/141 ||Enabled
|-
| Waveform Audio ||fmt/6 ||Enabled
|-
| Waveform Audio (WAVEFORMATEX) ||fmt/142 ||Enabled
|-
| Waveform Audio (WAVEFORMATEXTENSIBLE) ||fmt/143 ||Enabled
|-
| XML 1.0 ||fmt/101 ||Enabled
|-

|}

Toegestane bestandsformaten

2019-11-05T15:09:52Z

Picturae:

In overleg met onze Archivematica gebruikers, hanteren we een lijst met toegestane bestandsformaten. Hieronder vind je die lijst. Als tijdens de Transfer een ander formaat wordt herkend, zal deze afbreken op de microservice Identify File Format. Door te klikken op het tandwieltje achter die microservice, kun je zien welke niet-toegestane formaten herkend zijn in deze Transfer.

Het wijzigen van de lijst is alleen mogelijk in afstemming met Picturae.

{| class="wikitable"

! Format Version !!Pronom !!Status
|-
| JPEG 1.00 ||fmt/42 ||Enabled
|-
| JPEG 1.01 ||fmt/43 ||Enabled
|-
| JPEG 1.02 ||fmt/44 ||Enabled
|-
| Raw JPEG Stream ||fmt/41 ||Enabled
|-
| PNG 1.1 ||fmt/12 ||Enabled
|-
| PNG 1.0 ||fmt/11 ||Enabled
|-
| PNG 1.2 ||fmt/13 ||Enabled
|-
| TIFF ||fmt/353 ||Enabled
|-
| TIFF for Electronic Photography (TIFF/EP) ||fmt/154 ||Enabled
|-
| TIFF for Image Technology (TIFF/IT) ||fmt/153 ||Enabled
|-
| TIFF for Internet Fax (TIFF-FX) ||fmt/156 ||Enabled
|-
| Geographic Tagged Image File Format (GeoTIFF) ||fmt/155 ||Enabled
|-
| Exchangeable Image File Format (Uncompressed) 2.0||x-fmt/399||Enabled
|-
| Exchangeable Image File Format (Uncompressed) 2.1||x-fmt/388||Enabled
|-
| Exchangeable Image File Format (Uncompressed) 2.2||x-fmt/387||Enabled
|-
| JP2 (JPEG 2000 part 1) ||x-fmt/392||Enabled
|-
| Acrobat PDF 1.7 ||fmt/276 ||Enabled
|-
| Acrobat PDF/A 1a. ||fmt/95 ||Enabled
|-
| Acrobat PDF/A 1b. ||fmt/354 ||Enabled
|-
| Adobe Illustrator v3.0/3.2. ||fmt/418 ||Enabled
|-
| Adobe Illustrator v4.0. ||fmt/419 ||Enabled
|-
| Acrobat PDF/A 2a ||fmt/476 ||Enabled
|-
| Acrobat PDF/A 2b ||fmt/477 ||Enabled
|-
| Acrobat PDF/A 2u ||fmt/478 ||Enabled
|-
| Acrobat PDF/A 3a ||fmt/479 ||Enabled
|-
| Acrobat PDF/A 3b ||fmt/480 ||Enabled
|-
| Acrobat PDF/A 3u ||fmt/481 ||Enabled
|-
| Comma Separated Values ||x-fmt/18 ||Enabled
|-
| Microsoft Word Document 97-2003 97-2003 ||fmt/40 ||Enabled
|-
| Microsoft Word for Windows 2007+ 2007+ ||fmt/412 ||Enabled
|-
| Microsoft Office Encrypted Document 2007+ 2007+ ||fmt/494 ||Enabled
|-
| MPEG 1/2 Audio Layer 3 ||fmt/134 ||Enabled
|-
| Waveform Audio ||fmt/6 ||Enabled
|-
| Broadcast WAVE 0 ||fmt/1 ||Enabled
|-
| Broadcast WAVE 1 ||fmt/2 ||Enabled
|-
| Broadcast WAVE 2 ||fmt/527 ||Enabled
|-
| Exchangeable Image File Format (Audio) 2.0 ||x-fmt/397||Enabled
|-
| Exchangeable Image File Format (Audio) 2.1 ||x-fmt/389||Enabled
|-
| Exchangeable Image File Format (Audio) 2.2 ||x-fmt/396||Enabled
|-
| Waveform Audio ||fmt/141 ||Enabled
|-
| Waveform Audio (WAVEFORMATEX) ||fmt/142 ||Enabled
|-
| XML 1.0 ||fmt/101 ||Enabled
|-
| Scalable Vector Graphics 1.0 ||fmt/91 ||Enabled
|-
| Scalable Vector Graphics 1.1 ||fmt/92 ||Enabled
|-
| Scalable Vector Graphics 1.2 ||fmt/413 ||Enabled
|-
| EPS 1.2 ||fmt/122 ||Enabled
|-
| EPS 2.0 ||fmt/123 ||Enabled
|-
| EPS 3 ||fmt/124 ||Enabled
|-
| MPEG-4 Video ||fmt/199 ||Enabled
|-
| Generic MXF ||fmt/200 ||Enabled
|-
| ODP 1.2 ||fmt/293 ||Enabled
|-
| ODP 1.1 ||fmt/292 ||Enabled
|-
| ODP 1.0 ||fmt/138 ||Enabled
|-
| ODS 1.2 ||fmt/295 ||Enabled
|-
| ODS 1.0 ||fmt/137 ||Enabled
|-
| ODS 1.1 ||fmt/294 ||Enabled
|-
| ODT 1.0 ||fmt/136 ||Enabled
|-
| ODT 1.1 ||fmt/290 ||Enabled
|-
| ODT 1.2 ||fmt/291 ||Enabled
|-
| Powerpoint 97-2002 97-2002 ||fmt/126 ||Enabled
|-
| Powerpoint for Windows 2007+ ||fmt/215 ||Enabled
|-
| Excel 97 Workbook 8 ||fmt/61 ||Enabled
|-
| Excel for Windows 2007+. ||fmt/214 ||Enabled
|-
| Generic MKV ||fmt/569 ||Enabled
|-
| BIFF 8 & 8X Workbook (generic) 8X ||fmt/62 ||Enabled
|-
| Waveform Audio (WAVEFORMATEXTENSIBLE) ||fmt/143 ||Enabled
|-
| JPEG 2000 with Extensions ||fmt/151 ||Enabled
|-
| Outlook Message Format 97-2003 ||x-fmt/430||Enabled
|-
| Microsoft Excel for Macintosh 2001 ||fmt/175 ||Enabled
|-
| Microsoft Excel for Macintosh 2002 ||fmt/176 ||Enabled
|-
| Microsoft Excel for Macintosh 2004 ||fmt/177 ||Enabled
|-
| Microsoft Works Word Processor Windows 4.0a ||fmt/248 ||Enabled
|-
| Microsoft Works Database for Windows 4.5 ||fmt/249 ||Enabled
|-
| Outlook Express Mail Message ||fmt/278 ||Enabled
|-
| Microsoft Word (Generic) 6.0-2003 ||fmt/609 ||Enabled
|-
| BWAVE PCM 0 ||fmt/703 ||Enabled
|-
| BWAVE PCM 1 ||fmt/704 ||Enabled
|-
| BWAVE PCM 2 ||fmt/705 ||Enabled
|-
| BWAVE MPEG 0 ||fmt/706 ||Enabled
|-
| BWAVE MPEG 1 ||fmt/707 ||Enabled
|-
| BWAVE MPEG 2 ||fmt/708 ||Enabled
|-
| BWAVE WAVEFORMATEXTENSIBLE 0 ||fmt/709 ||Enabled
|-
| BWAVE WAVEFORMATEXTENSIBLE 1 ||fmt/710 ||Enabled
|-
| BWAVE WAVEFORMATEXTENSIBLE 2 ||fmt/711 ||Enabled
|-
| RF64 ||fmt/712 ||Enabled
|-
| RF64 MBWF ||fmt/713 ||Enabled
|-
| MBOX ||fmt/720 ||Enabled
|-
| MXF OP1b ||fmt/783 ||Enabled
|-
| MXF OP1c ||fmt/784 ||Enabled
|-
| MXF OP2a ||fmt/785 ||Enabled
|-
| MXF OP2b ||fmt/786 ||Enabled
|-
| MXF OP2c ||fmt/787 ||Enabled
|-
| MXF OP3a ||fmt/788 ||Enabled
|-
| MXF OP3b ||fmt/789 ||Enabled
|-
| MXF OP3c ||fmt/790 ||Enabled
|-
| MXF OP-ATOM ||fmt/791 ||Enabled
|-
| MIME Email 1.0 ||fmt/950 ||Enabled
|-
| Sonic Foundry WAVE 64 None ||fmt/951 ||Enabled
|-

|}

CMIS Server

2019-11-03T13:59:06Z

Picturae: /* Downloaden van een bestand op basis van het identificatiekenmerk uit de ToPX metadata */

Picturae heeft een CMIS server ontwikkeld, waarmee een Document Management Systeem toegang kan krijgen tot een specifieke AIP storage location. Dit kan bijvoorbeeld gebruikt worden door een gemeente om vanuit hun DMS AIP's te bekijken en bestanden te downloaden.

De Engelstalige handleiding van de CMIS server kunt u hier vinden: [https://picturae.com/images/memorix_archieven_handleidingen/User_Manual_CMIS_Server.pdf CMIS server].

De CMIS server is een technische toepassing, waarmee systemen met elkaar kunnen praten. Om deze te testen, kunt u gebruik maken van de open source toepassing CMIS Workbench. Dit wordt ook beschreven in de handleiding.

De URL en de login gegevens waarmee verbinding gemaakt kan worden met de CMIS server, worden verstrekt door Picturae.

===Downloaden van een bestand op basis van het identificatiekenmerk uit de ToPX metadata===
Met de CMIS server kunnen alle AIP's worden bekeken en kunnen bestanden (individueel of voor de gehele AIP) worden gedownload.
Vaak wil een gemeente een enkel bestand kunnen downloaden op basis van het identificatiekenmerk uit de ToPX. Dit identificatiekenmerk hoeft niet gelijk te zijn aan de bestandsnaam. Om toch het juiste bestand te kunnen vinden, heeft Picturae een feature ingebouwd die op basis van het ToPX identificatiekenmerk van het bestand het juiste bestand download. De API call heeft de volgende opbouw:

<code>https://<tenant>-cmis.edepot.picturae.com/idmark/<identificatiekenmerk>/download</code>

De <tenant> code staat voor de klantcode bestaande uit 3 karakters, die u ook gebruikt om in te loggen op Memorix.
Het <identificatiekenmerk> staat voor het identificatiekenmerk van het bestand uit ToPX.

Als u deze link opent in een browser, wordt u gevraagd om een gebruikersnaam en wachtwoord. Als deze feature voor u is geconfigureerd, heeft u deze gegevens ontvangen van Picturae.
Gebruik dus de CMIS login gegevens van de gemeente waarvan u het bestand op wilt halen.

====Identificatiekenmerk moet uniek zijn binnen de AIP storage location====
Om een bestand te kunnen downloaden op basis van het identificatiekenmerk uit de ToPX, moet dit kenmerk uniek zijn op elke AIP Storage Location. De microservice Validate Identificatiekenmerk controleert hierop. Om deze controle uit te kunnen voeren, worden bij het opslaan van een AIP de identificatiekenmerken van alle bestanden uit die AIP opgeslagen in een database. Bij elke transfer wordt gecontroleerd of de identificatiekenmerken van de nieuwe bestanden niet reeds voorkomen in die database. Zie ook de beschrijving van de microservice op de pagina [[Custom_microservices|Custom microservices]].

CMIS Server

2019-11-03T13:29:29Z

Picturae:

Picturae heeft een CMIS server ontwikkeld, waarmee een Document Management Systeem toegang kan krijgen tot een specifieke AIP storage location. Dit kan bijvoorbeeld gebruikt worden door een gemeente om vanuit hun DMS AIP's te bekijken en bestanden te downloaden.

De Engelstalige handleiding van de CMIS server kunt u hier vinden: [https://picturae.com/images/memorix_archieven_handleidingen/User_Manual_CMIS_Server.pdf CMIS server].

De CMIS server is een technische toepassing, waarmee systemen met elkaar kunnen praten. Om deze te testen, kunt u gebruik maken van de open source toepassing CMIS Workbench. Dit wordt ook beschreven in de handleiding.

De URL en de login gegevens waarmee verbinding gemaakt kan worden met de CMIS server, worden verstrekt door Picturae.

===Downloaden van een bestand op basis van het identificatiekenmerk uit de ToPX metadata===
Met de CMIS server kunnen alle AIP's worden bekeken en kunnen bestanden (individueel of voor de gehele AIP) worden gedownload.
Vaak wil een gemeente een enkel bestand kunnen downloaden op basis van het identificatiekenmerk uit de ToPX. Dit identificatiekenmerk hoeft niet gelijk te zijn aan de bestandsnaam. Om toch het juiste bestand te kunnen vinden, heeft Picturae een feature ingebouwd die op basis van het ToPX identificatiekenmerk van het bestand het juiste bestand download. De API call heeft de volgende opbouw:

<code>https://<tenant>-cmis.edepot.picturae.com/idmark/<identificatiekenmerk>/download</code>

De <tenant> code staat voor de 3-cijferige klantcode die u ook gebruikt om in te loggen op Memorix.
Het <identificatiekenmerk> staat voor het identificatiekenmerk van het bestand uit ToPX.

Als u deze link opent in een browser, wordt u gevraagd om een gebruikersnaam en wachtwoord. Als deze feature voor u is geconfigureerd, heeft u deze gegevens ontvangen van Picturae.
Use CMIS credentials of the needed Municipality user to download the file.

====Identificatiekenmerk moet uniek zijn binnen de AIP storage location====
Om een bestand te kunnen downloaden op basis van het identificatiekenmerk uit de ToPX, moet dit kenmerk uniek zijn op elke AIP Storage Location. De microservice Validate Identificatiekenmerk controleert hierop. Om deze controle uit te kunnen voeren, worden bij het opslaan van een AIP de identificatiekenmerken van alle bestanden uit die AIP opgeslagen in een database. Bij elke transfer wordt gecontroleerd of de identificatiekenmerken van de nieuwe bestanden niet reeds voorkomen in die database. Zie ook de beschrijving van de microservice op de pagina [[Custom_microservices|Custom microservices]].

Koppeling tussen Archivematica en Memorix Archieven

2019-08-19T09:47:39Z

Picturae: /* Mapping van ToPX naar EAD/Memorix Archieven */

===DIP Upload===
Nadat een AIP is opgeslagen in het e-depot, wordt de DIP ge-upload naar Memorix Archieven. Dit gebeurt op basis van het standaard SWORD protocol.

In Memorix Archieven wordt de ToPX metadata gemapped naar EAD. Voor elk dossier in de ToPX wordt een verzamelbeschrijving aangemaakt, en voor elk record wordt een inventarisnummer gemaakt. De volledige mapping wordt in de volgende paragraaf beschreven.

===Het e-depot tabblad===
Verzamelbeschrijvingen en bestanddelen die via een DIP upload zijn aangemaakt, krijgen een extra tabblad. Deze is zichtbaar bij het bewerken van een verzamelbeschrijving of inventarisnummer.

. Het E-depot tabblad bevat de volgende gegevens:
* '''E-depot Files''': Download links voor de bestanden die gekoppeld zijn aan dit inventarisnummer. Hiermee wordt de DIP versie gedownload uit het DAM. Dit is dus geen download direct uit Archivematica.
* '''E-depot Links''': Bevat een link om de AIP bestanden te bekijken in het Dashboard van Archivematica. Hiervoor moet je ingelogd zijn in Archivematica. Er is ook een link naar de METS file beschikbaar. Deze bevat metadata over het proces van ingest.
* '''Import snippets''': Bevat de delen uit het ToPX bestand die van toepassing zijn op het betreffende inventarisnummer en de bestanden die daaraan gekoppeld zijn.

===Verwijderen van de DIP metadata uit Memorix Archieven===
Het is mogelijk om alle bestanddelen die bij een DIP upload zijn aangemaakt in één keer te verwijderen uit Memorix Archieven.
Ga hiervoor naar in het menu naar Beheer --> Bulk Acties --> Bestanddelen Verwijderen.
In het veld "Toepassen op DIP" kunt u de naam of de uuid van de betreffende DIP invoeren. Tijdens het typen verschijnt een drop-down box met DIP's die overeenkomen met de zoekcriteria. Het is ook mogelijk om een DIP te selecteren uit een lijst door te klikken op het knopje achter het veld.
Als u de juiste DIP heeft geselecteerd, klikt u op Bestanddelen Verwijderen.

'''Let op''': deze actie kan niet ongedaan worden. Alle bestanddelen die aangemaakt zijn tijdens het importeren van de DIP zullen definitief verwijderd worden.

De bestanden in het DAM worden niet verwijderd bij deze actie. Deze kunt u met de hand uit het DAM verwijderen, door de map met de betreffende DIP weg te gooien. In de paragraaf [[#De DIP bestanden in het DAM]] kunt u lezen hoe u de bestanden van een DIP kan vinden in het DAM.

===De DIP bestanden in het DAM===
Memorix Archieven plaatst de bestanden uit de DIP in het DAM van Memorix Maior. De bestanden worden doorgaans geplaatst in een aparte storage met de naam e-depot, met daaronder een map DIP Uploads.
In de map DIP Uploads wordt voor elke DIP een map aangemaakt met de naam en de uuid van de DIP.

===Presentatie op de Website===
Bestanddelen die zijn geïmporteerd vanuit Archivematica, worden op dezelfde manier gepresenteerd als bestanden die met de hand koppelt in het DAM. Na het indexeren van het archief, worden deze automatisch zichtbaar op de website (voor openbare bestanddelen).

Bepaalde afbeeldingen (JPEG en TIFF) en PDF bestanden worden op de website getoond in een viewer. Andere bestandsformaten worden niet in een viewer getoond, maar kunnen wel worden gedownload door de bezoeker.

===Mapping van ToPX naar EAD/Memorix Archieven===
''Note: for mapping ToPX to EAD/Memorix Archives, the latest version of ToPX is used: [https://www.nationaalarchief.nl/archiveren/kennisbank/metadata-en-het-e-depot v2.3], for which the Schema can be found [https://www.nationaalarchief.nl/sites/default/files/field-file/topx-2.3_1.xsd here].''
====Aggregatieniveau: Archief (EN: Fonds)====
* A fonds shoud be created manually in Memorix Archives before the ingest in Archivematica.
* This fonds has three required fields:
** Identificatiekenmerk
** Titel
** Datering
* The element <identificatiekenmerk> of the Fonds in ToPX should have this format:
** <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<fonds number></code>
** The las part is extracted as the Fonds number. This should match the Identificatiekenmerk of the fonds created in Memorix Archives.
* The element <naam> of the Archief in ToPX is ignored. But it makes sense to use the same name when creating the fonds in Memorix Archives.
* Each ingest will contain 1 or more files from only 1 fonds
* The element <classification> in ToPX is ignored at fonds level

====Aggregatieniveau: Serie====
* Not used

====Aggregatieniveau: Dossier: filegroup====
* The Aggregatieniveau “dossier" in ToPX is mapped to Filegroups in Memorix Archives
* ToPX element <identificatiekenmerk> is mapped to the field Range of the filegroup
** In ToPX it is formatted like: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number></code>. Only the dossier number part is used for the Range of the filegroup
* ToPX element <naam>: title of the filegroup
* ToPX element: <classificatie>:
** May contain any type of classification.
** Imported into Scopecontent in MA in this format: <bron> <datum>: <classificatiecode> <omschrijving>
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <dekking> (with subfields <inTijd> en <inPlaats>: ignored
* ToPX element <externIdentificatiekenmer>: Ignored
* ToPX element <taal>: Added to ScopeContent (Bereik en Inhoud) as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the start date of a filegroup (fileDate.from in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Creatie"
** and <aggregatieniveau> = “Dossier"
* For the end date of a filegroup (fileDate.to in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Afsluiting"
** and <aggregatieniveau> = “Dossier"
* ToPX element <relatie>
** Only hierarchical relations should be interpreted: typeRelatie=“Hierarchisch”. The hierarchy is always like this:
*** Dossier links to Fonds
*** Record links to Dossier
* ToPX element <context>. Can be an activity or an actor. Both are ignored.

====Accessibility of files and filegroups====
In Memorix Archives, a Public Restriction with Reason = "Niet Openbaar" is added in any of the following cases:
* An element /record/metadata/ToPX/aggregatie/openbaarheid/omschrijvingBeperkingen exists with value that is NOT equal to "Openbaar", OR
* An element /record/metadata/ToPX/aggregatie/gebruiksrechten/omschrijvingVoorwaarden/ exists with value that is NOT equal to "vrij te gebruiken”
The end date of the Public restriction will be:
* The content of /record/metadata/ToPX/aggregatie/openbaarheid/datumOfPeriode/ (can be a year or a whole date) of the <openbaarheid> element with value "Openbaar OR
* The content of /record/metadata/ToPX/aggregatie/gebruiksrechten/datumOfPeriode/ (can be a year or a whole date) of the <gebruiksrechten> element with value "Vrij te gebruiker”
In case both of the above exists, the end date that is the most distant from now should be used.

Besides the Public restriction, a note is added to the field Description control, for each <openbaarheid> element and for each <gebruiksrechten> element containing:
* Gebruiksrechten: <omschrijvingVoorwaarden> vanaf: <datumOfPeriode>
* Openbaarheid: <omschrijvingBeperkingen> vanaf: <datumOfPeriode>

The ToPX field Integriteit is added to the ScopeContent field in Memorix Archieven. A seperate line is added for each Integriteit element where the integrity is not “Integer":
* "Integriteit: <integriteit>”

Vertrouwelijkheid (Confidentiality): only applies to uitgeplaatste dossiers (closed files). We don't have those at this phase of the project. At this moment, ALL material is consiedere to be not confidential

====Aggregatieniveau Record (Item or file-in-a-filegroup)====
* ToPX element <identificatiekenmerk>:
** The Identificatiekenmerk will have this format: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number>-<file number></code>. Only the file number part is used for the filenumber. The file will be linked to the filegroup <dossiernummer>.
* ToPX element <naam>: title of the file
* ToPX element <classificatie>: does not occur at this level
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <plaats>: to be ignored
* ToPX element <dekking> and subelements <inTijd> and <inPlaats>: to be ignored
* ToPX element <externIdentificatiekenmer>: to be ignored
* ToPX elemtn <taal>: Added to scope content as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the date of a file in Memorix Archives, the following ToPX element are be used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = "Verzending" OR type=“Ontvangst
** in case both elements with type="Verzending" or type="Ontvangst" occur, the date within "Ontvangst" is used
** and <aggregatieniveau> = "Record"
* ToPX element <Relatie> (Only hierarchical relations are expected here: typeRelatie=“Hierarchisch”)
** Dossier always links to Fonds
** Record always links to Dossier
* ToPX element <context>: to be ignored
* ToPX element <vorm>: Vorm is expected only at Record level. Is ignored for now

====The Bestand element (the physical file)====
* ToPX element <identificatiekenmerk>
* ToPX element <aggregatieniveau>: always: Stuk
* ToPX element <naam>: title of the file (NOT filename):
** The naam of the file is ignored, since it will always be the same as the naam of the Record
* ToPX element Classificatie: ignored at this level
* ToPX element Omschrijving: ignored for now

All other elements will be ignored.

====Opslag van DIP bestanden in het DAM====

[[Category:E-depot]]

Koppeling tussen Archivematica en Memorix Archieven

2019-08-19T09:44:41Z

Picturae: /* Mapping van ToPX naar EAD/Memorix Archieven */

===DIP Upload===
Nadat een AIP is opgeslagen in het e-depot, wordt de DIP ge-upload naar Memorix Archieven. Dit gebeurt op basis van het standaard SWORD protocol.

In Memorix Archieven wordt de ToPX metadata gemapped naar EAD. Voor elk dossier in de ToPX wordt een verzamelbeschrijving aangemaakt, en voor elk record wordt een inventarisnummer gemaakt. De volledige mapping wordt in de volgende paragraaf beschreven.

===Het e-depot tabblad===
Verzamelbeschrijvingen en bestanddelen die via een DIP upload zijn aangemaakt, krijgen een extra tabblad. Deze is zichtbaar bij het bewerken van een verzamelbeschrijving of inventarisnummer.

. Het E-depot tabblad bevat de volgende gegevens:
* '''E-depot Files''': Download links voor de bestanden die gekoppeld zijn aan dit inventarisnummer. Hiermee wordt de DIP versie gedownload uit het DAM. Dit is dus geen download direct uit Archivematica.
* '''E-depot Links''': Bevat een link om de AIP bestanden te bekijken in het Dashboard van Archivematica. Hiervoor moet je ingelogd zijn in Archivematica. Er is ook een link naar de METS file beschikbaar. Deze bevat metadata over het proces van ingest.
* '''Import snippets''': Bevat de delen uit het ToPX bestand die van toepassing zijn op het betreffende inventarisnummer en de bestanden die daaraan gekoppeld zijn.

===Verwijderen van de DIP metadata uit Memorix Archieven===
Het is mogelijk om alle bestanddelen die bij een DIP upload zijn aangemaakt in één keer te verwijderen uit Memorix Archieven.
Ga hiervoor naar in het menu naar Beheer --> Bulk Acties --> Bestanddelen Verwijderen.
In het veld "Toepassen op DIP" kunt u de naam of de uuid van de betreffende DIP invoeren. Tijdens het typen verschijnt een drop-down box met DIP's die overeenkomen met de zoekcriteria. Het is ook mogelijk om een DIP te selecteren uit een lijst door te klikken op het knopje achter het veld.
Als u de juiste DIP heeft geselecteerd, klikt u op Bestanddelen Verwijderen.

'''Let op''': deze actie kan niet ongedaan worden. Alle bestanddelen die aangemaakt zijn tijdens het importeren van de DIP zullen definitief verwijderd worden.

De bestanden in het DAM worden niet verwijderd bij deze actie. Deze kunt u met de hand uit het DAM verwijderen, door de map met de betreffende DIP weg te gooien. In de paragraaf [[#De DIP bestanden in het DAM]] kunt u lezen hoe u de bestanden van een DIP kan vinden in het DAM.

===De DIP bestanden in het DAM===
Memorix Archieven plaatst de bestanden uit de DIP in het DAM van Memorix Maior. De bestanden worden doorgaans geplaatst in een aparte storage met de naam e-depot, met daaronder een map DIP Uploads.
In de map DIP Uploads wordt voor elke DIP een map aangemaakt met de naam en de uuid van de DIP.

===Presentatie op de Website===
Bestanddelen die zijn geïmporteerd vanuit Archivematica, worden op dezelfde manier gepresenteerd als bestanden die met de hand koppelt in het DAM. Na het indexeren van het archief, worden deze automatisch zichtbaar op de website (voor openbare bestanddelen).

Bepaalde afbeeldingen (JPEG en TIFF) en PDF bestanden worden op de website getoond in een viewer. Andere bestandsformaten worden niet in een viewer getoond, maar kunnen wel worden gedownload door de bezoeker.

===Mapping van ToPX naar EAD/Memorix Archieven===
''Note: for mapping ToPX to EAD/Memorix Archives, the latest version of ToPX is used: [https://www.nationaalarchief.nl/sites/default/files/field-file/topx-2.3_1.xsd v2.3.1].''
====Aggregatieniveau: Archief (EN: Fonds)====
* A fonds shoud be created manually in Memorix Archives before the ingest in Archivematica.
* This fonds has three required fields:
** Identificatiekenmerk
** Titel
** Datering
* The element <identificatiekenmerk> of the Fonds in ToPX should have this format:
** <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<fonds number></code>
** The las part is extracted as the Fonds number. This should match the Identificatiekenmerk of the fonds created in Memorix Archives.
* The element <naam> of the Archief in ToPX is ignored. But it makes sense to use the same name when creating the fonds in Memorix Archives.
* Each ingest will contain 1 or more files from only 1 fonds
* The element <classification> in ToPX is ignored at fonds level

====Aggregatieniveau: Serie====
* Not used

====Aggregatieniveau: Dossier: filegroup====
* The Aggregatieniveau “dossier" in ToPX is mapped to Filegroups in Memorix Archives
* ToPX element <identificatiekenmerk> is mapped to the field Range of the filegroup
** In ToPX it is formatted like: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number></code>. Only the dossier number part is used for the Range of the filegroup
* ToPX element <naam>: title of the filegroup
* ToPX element: <classificatie>:
** May contain any type of classification.
** Imported into Scopecontent in MA in this format: <bron> <datum>: <classificatiecode> <omschrijving>
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <dekking> (with subfields <inTijd> en <inPlaats>: ignored
* ToPX element <externIdentificatiekenmer>: Ignored
* ToPX element <taal>: Added to ScopeContent (Bereik en Inhoud) as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the start date of a filegroup (fileDate.from in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Creatie"
** and <aggregatieniveau> = “Dossier"
* For the end date of a filegroup (fileDate.to in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Afsluiting"
** and <aggregatieniveau> = “Dossier"
* ToPX element <relatie>
** Only hierarchical relations should be interpreted: typeRelatie=“Hierarchisch”. The hierarchy is always like this:
*** Dossier links to Fonds
*** Record links to Dossier
* ToPX element <context>. Can be an activity or an actor. Both are ignored.

====Accessibility of files and filegroups====
In Memorix Archives, a Public Restriction with Reason = "Niet Openbaar" is added in any of the following cases:
* An element /record/metadata/ToPX/aggregatie/openbaarheid/omschrijvingBeperkingen exists with value that is NOT equal to "Openbaar", OR
* An element /record/metadata/ToPX/aggregatie/gebruiksrechten/omschrijvingVoorwaarden/ exists with value that is NOT equal to "vrij te gebruiken”
The end date of the Public restriction will be:
* The content of /record/metadata/ToPX/aggregatie/openbaarheid/datumOfPeriode/ (can be a year or a whole date) of the <openbaarheid> element with value "Openbaar OR
* The content of /record/metadata/ToPX/aggregatie/gebruiksrechten/datumOfPeriode/ (can be a year or a whole date) of the <gebruiksrechten> element with value "Vrij te gebruiker”
In case both of the above exists, the end date that is the most distant from now should be used.

Besides the Public restriction, a note is added to the field Description control, for each <openbaarheid> element and for each <gebruiksrechten> element containing:
* Gebruiksrechten: <omschrijvingVoorwaarden> vanaf: <datumOfPeriode>
* Openbaarheid: <omschrijvingBeperkingen> vanaf: <datumOfPeriode>

The ToPX field Integriteit is added to the ScopeContent field in Memorix Archieven. A seperate line is added for each Integriteit element where the integrity is not “Integer":
* "Integriteit: <integriteit>”

Vertrouwelijkheid (Confidentiality): only applies to uitgeplaatste dossiers (closed files). We don't have those at this phase of the project. At this moment, ALL material is consiedere to be not confidential

====Aggregatieniveau Record (Item or file-in-a-filegroup)====
* ToPX element <identificatiekenmerk>:
** The Identificatiekenmerk will have this format: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number>-<file number></code>. Only the file number part is used for the filenumber. The file will be linked to the filegroup <dossiernummer>.
* ToPX element <naam>: title of the file
* ToPX element <classificatie>: does not occur at this level
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <plaats>: to be ignored
* ToPX element <dekking> and subelements <inTijd> and <inPlaats>: to be ignored
* ToPX element <externIdentificatiekenmer>: to be ignored
* ToPX elemtn <taal>: Added to scope content as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the date of a file in Memorix Archives, the following ToPX element are be used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = "Verzending" OR type=“Ontvangst
** in case both elements with type="Verzending" or type="Ontvangst" occur, the date within "Ontvangst" is used
** and <aggregatieniveau> = "Record"
* ToPX element <Relatie> (Only hierarchical relations are expected here: typeRelatie=“Hierarchisch”)
** Dossier always links to Fonds
** Record always links to Dossier
* ToPX element <context>: to be ignored
* ToPX element <vorm>: Vorm is expected only at Record level. Is ignored for now

====The Bestand element (the physical file)====
* ToPX element <identificatiekenmerk>
* ToPX element <aggregatieniveau>: always: Stuk
* ToPX element <naam>: title of the file (NOT filename):
** The naam of the file is ignored, since it will always be the same as the naam of the Record
* ToPX element Classificatie: ignored at this level
* ToPX element Omschrijving: ignored for now

All other elements will be ignored.

====Opslag van DIP bestanden in het DAM====

[[Category:E-depot]]

Archivematica

2019-08-19T09:38:47Z

Picturae: /* Archivematica roadmap */

Picturae biedt voor haar klanten een e-depotoplossing op basis van Archivematica en Memorix Archieven.

Archivematica is een web-based, op open standaarden gebaseerde, open-source toepassing waarmee uw instelling langdurige toegang tot betrouwbare en authentieke digitale content kan realiseren. Archivematica is ontwikkeld door Artefactual, en kent wereldwijd vele gebruikers.

===Archivematica Handleiding===
De (Engelstalige) handleiding is te vinden op de website van Artefactual: https://www.archivematica.org/en/docs/archivematica-1.7/

===Archivematica forum===
Archivematica is een open source applicatie met een grote community. Heeft u een vraag over de werking van de software? Grote kans dat iemand anders diezelfde vraag ook al eens heeft gesteld. Op het Archivematica Forum kunt u in contact komen met andere Archivematica gebruikers over de hele wereld en kennis en ervaring delen met anderen. Het Forum kunt u vinden op: https://groups.google.com/forum/?fromgroups#!forum/archivematica

===Archivematica roadmap===
Archivematica wordt ontwikkeld door Artefactual. Het is een open source toepassing. Dat wil zeggen dat de broncode openbaar is. Iedereen die dat wil (en kan), kan de applicatie downloaden, installeren en aanpassen naar eigen wens. Artefactual houdt de regie over de officiële releases. Zij zorgen ervoor dat die goed getest en veilig zijn. Als een andere partij een aanpassing doet, bepaald Artefactual of die aanpassing in een volgende officiële release wordt meegenomen.
Gebruikers van Archivematica kunnen tegen betaling nieuwe functionaliteiten laten ontwikkelen. Alle geplande aanpassingen aan Archivematica zijn hier te vinden, inclusief de status en voor welke release ze gepland zijn: https://trello.com/b/aB72IgiX/archivematica-roadmap.

===Nieuwe gebruikers aanmaken voor het Archivematica Dashboard===
Bij oplevering van uw Archivematica heeft u accountgegevens ontvangen voor één of meerdere gebruikers.
Het is niet mogelijk om zelf nieuwe gebruikers aan te maken in het dashboard.
Als u toch nieuwe gebruiker wil toevoegen aan het dashboard, kunt u een verzoek hiervoor indienen bij de helpdesk van Picturae, via https://maior.memorix.nl

Bestanden uploaden

2019-08-19T09:36:21Z

Picturae: /* Automatisch starten van een ingest */

===FTP uploads===
Bestanden die in het e-depot geplaatst moeten worden, moeten eerst worden geupload naar de Archivematica server. Dit gebeurt via FTP en kan gedaan worden met elke FTP client. De OpenSource applicatie [https://filezilla-project.org/ FileZilla] is een goede optie.

Bij oplevering heeft Picturae de inloggevens verstrekt waarmee u toegang heeft tot de FTP server.

De FTP omgeving bestaat in de meeste gevallen uit twee mappen:
* '''manual_ingest''': deze is bedoeld voor ingests die worden gestart via het dashboard
* '''automatic_ingest''': deze is bedoeld voor ingests die automatisch gestart worden. Zie hiervoor de paragraaf [[#Automatisch starten van een ingest]]

===Structuur van de aangeleverde bestanden===
De bestanden die worden geupload naar Archivematica, moeten voldoen aan de volgende eisen:
* Alle bestanden staan in één directory, zonder subdirectories
* In die directory staat één XML bestand. Dit is de RIP/ToPX metadata
* De ToPX metadata moet conform het [https://archives.memorix.nl/xsd/RIP_v0.3.xsd RIP v.03] schema zijn opgebouwd. Het RIP formaat is een dunne schil om [https://archives.memorix.nl/xsd/topx-2.3_0.xsd ToPX v2.3].
* Alle bestanden waarnaar in de ToPX wordt verwezen, moeten aanwezig zijn.
* Zie verder de pagina [[Custom_microservices_van_Picturae|Custom Microservices]] voor een overzicht van controles die tijdens de Transfer worden uitgevoerd op de aangeleverde data.

===Automatisch starten van een ingest===
Bestanden die worden geüpload in de automatic_ingest directory, worden automatisch opgepakt door Archivematica. Het hele proces van Transfer en Ingest wordt doorlopen zonder tussenkomst van een gebruiker.
De AIP’s voor die gemeente kunnen worden opgeslagen in een aparte AIP Storage Location. De gemeente zou toegang kunnen krijgen tot die Storage Location via een [[CMIS_Server]] (met eigen credentials).
Dit kan in overleg met tussen Picturae en de archiefinstelling worden ingericht.

Na elke ingest, wordt de FTP queue geblokkeerd. Het idee daarachter is, dat elke automatische Ingest eerst gecontroleerd wordt, voordat de volgende uitgevoerd wordt.

Voor het bekijken of deblokkeren van de queue, is een webapplicatie beschikbaar. Bij het inrichten van de FTPWatch omgeving, zijn de gegevens hiervan deze verstrekt door Picturae.

Custom microservices

2019-08-14T06:26:35Z

Picturae:

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/validateToPX.pdf validateToPX.pdf]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXHierarchicalRelations.pdf checkToPXHierarchicalRelations.pdf]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkDIPMemorixArchives.pdf checkDIPMemorixArchives.pdf]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te laten verwijderen.

Custom microservices

2019-06-25T14:12:16Z

Picturae:

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/validateToPX.pdf validateToPX.pdf]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXHierarchicalRelations.pdf checkToPXHierarchicalRelations.pdf]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkDIPMemorixArchives.pdf checkDIPMemorixArchives.pdf]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de Engelstalige technische documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de Engelstalige technische documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te late verwijderen.

Custom microservices

2019-06-13T08:34:49Z

Picturae:

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/validateToPX.pdf validateToPX.pdf]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXHierarchicalRelations.pdf checkToPXHierarchicalRelations.pdf]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkDIPMemorixArchives.pdf checkDIPMemorixArchives.pdf]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_Server|CMIS server]].

Download hier de volledige Engelstalige documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te late verwijderen.

Custom microservices

2019-06-13T08:34:21Z

Picturae:

Archivematica is opgebouwd uit microservices. Een microservice is een programmaonderdeel dat één taak van de ingest procedure voor zijn rekening neemt. Een paar voorbeelden van standaard microservices die in Archivematica beschikbaar zijn:
* het herkennen van bestandsformaten
* het scannen op virussen
* het maken van een METS bestand met informatie over de stappen die tijdens de ingest zijn uitgevoerd
* et cetera, et cetera

Alle microservices gezamenlijk vormen de procedure voor transfer en ingest. Het mooie van zo'n opzet in microservices, is dat je vrij eenvoudig nieuwe microservices kan toevoegen (of overbodige stappen kan overslaan).

Picturae heeft, in samenwerking met haar gebruikers, een aantal extra microservices ontwikkeld voor het ondersteunen van de procedure van ingest. Deze microservices worden uitgevoerd aan het begin van de transfer, als onderdeel van de stap Verify transfer compliance. Als één van deze controles faalt, wordt de transfer afgebroken en wordt een e-mail verstuurd naar de beheerder.

Een microservice die faalt, wordt rood getoond in het Dashboard. Als je op het tandwieltje achter de microservice klikt, krijg je een pagina te zien met de uitkomst van die microservice. Als één van de custom microservices faalt, wordt die wel altijd afgemaakt. Dus als in een ToPX bestand meerdere bestanden ontbreken, zal de microservice "Validate RIP/ToPX package contents" alle ontbrekende bestanden rapporteren.

De custom microservices worden in de volgende paragrafen toegelicht.

===Validate RIP/ToPX against schemas===
Controleert of de ToPX XML die onderdeel is van de Transfer, valideert tegen het RIP/ToPX Schema.

Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/validateToPX.pdf validateToPX.pdf]

===Validate ToPX hierarchical relations===
Controleert of de hiërarchische verwijzingen in het ToPX bestand (zoals de verwijzing van een record naar het bovenliggende dossier) kloppen.

Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXHierarchicalRelations.pdf checkToPXHierarchicalRelations.pdf]

===Validate RIP/ToPX against Memorix Archives===
Controleert of er in Memorix Archieven een archief bestaat waar de ingest aan gekoppeld kan worden. Deze microservice controleert ook of de bestanddelen (recorde in ToPX) niet reeds bestaan in Memorix Archieven.

Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkDIPMemorixArchives.pdf checkDIPMemorixArchives.pdf]

===Validate RIP/ToPX package contents===
Controleert of voor elk bestand dat in de ToPX genoemd wordt, ook een bestand aanwezig is in de upload directory. Omgekeerd wordt ook gecontroleerd, of voor elk bestand in de upload directory een verwijzing bestaat in het ToPX bestand.

Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkTopXFileValidity.pdf checkTopXFileValidity.pdf]

===Validate files checksums with ToPX===
Berekent voor elk aangeleverd bestand de checksum en controleert deze met de checksum van dat bestand in de ToPX metadata.

Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXChecksums.pdf checkToPXChecksums.pdf]

===Validate ToPX duplicate id===
Controleert of de ToPX geen dubbele identifiers bevat.

Download hier de volledige Engelstalige documentatie: [https://picturae.com/images/memorix_archieven_handleidingen/checkToPXDuplicateId.pdf checkToPXDuplicateId.pdf]

===Validate Identificatiekenmerk===
Controleert of de identificatiekenmerken van bestanden in de ToPX niet reeds voorkomen binnen de Storage Location. Door te zorgen voor unieke identificatiekenmerken van bestanden op elke storage location, is het mogelijk om bestanden via de API op te vragen op basis van dat identificatiekenmerk. Zie ook de pagina [[CMIS_server|CMIS server]].

Download hier de volledige Engelstalige documenatie: [https://picturae.com/images/memorix_archieven_handleidingen/ValidateIdentificatiekenmerk.pdf ValidateIdentificatiekenmerk.pdf]

'''Let op:'''
De microservice Validate Identificatiekenmerk slaat voor elke geslaagde ingest de identificatiekenmerken van de bestanden op in een aparte database (als de ingest faalt, gebeurt dit niet, omdat er dan ook geen AIP op de storage location staat). Als een AIP met de hand verwijderd wordt uit Archivematica, worden deze identificatiekenmerken niet verwijderd uit die database. Als dezelfde ingest daarna opnieuw wordt uitgevoerd, zal de microservice Validate Identificatiekenmerk dus falen. Neem in dat geval contact op met Picturae, om de identificatiekenmerken te late verwijderen.

CMIS Server

2019-06-13T08:32:34Z

Picturae:

Picturae heeft een CMIS server ontwikkeld, waarmee een Document Management Systeem toegang kan krijgen tot een specifieke AIP storage location. Dit kan bijvoorbeeld gebruikt worden door een gemeente om vanuit hun DMS AIP's te bekijken en bestanden te downloaden.

De Engelstalige handleiding van de CMIS server kunt u hier vinden: [https://picturae.com/images/memorix_archieven_handleidingen/User_Manual_CMIS_Server.pdf CMIS server].

De CMIS server is een technische toepassing, waarmee systemen met elkaar kunnen praten. Om deze te testen, kunt u gebruik maken van de open source toepassing CMIS Workbench. Dit wordt ook beschreven in de handleiding.

De URL en de login gegevens waarmee verbinding gemaakt kan worden met de CMIS server, worden verstrekt door Picturae.

===Downloaden van een bestand op basis van het identificatiekenmerk uit de ToPX metadata===
Met de CMIS server kunnen alle AIP's worden bekeken en kunnen bestanden (individueel of voor de gehele AIP) worden gedownload.
Vaak wil een gemeente een enkel bestand kunnen downloaden op basis van het identificatiekenmerk uit de ToPX. Dit identificatiekenmerk hoeft niet gelijk te zijn aan de bestandsnaam. Om toch het juiste bestand te kunnen vinden, heeft Picturae een feature ingebouwd die op basis van het ToPX identificatiekenmerk van het bestand het juiste bestand download. De API call heeft de volgende opbouw:

<code>https://<tenant>-cmis.edepot.picturae.com/idmark/<identificatiekenmerd>/download</code>

De <tenant> code staat voor de 3-cijferige klantcode die u ook gebruikt om in te loggen op Memorix.
Het <identificatiekenmerk> staat voor het identificatiekenmerk van het bestand uit ToPX.

Als u deze link opent in een browser, wordt u gevraagd om een gebruikersnaam en wachtwoord. Als deze feature voor u is geconfigureerd, heeft u deze gegevens ontvangen van Picturae.
Use CMIS credentials of the needed Municipality user to download the file.

====Identificatiekenmerk moet uniek zijn binnen de AIP storage location====
Om een bestand te kunnen downloaden op basis van het identificatiekenmerk uit de ToPX, moet dit kenmerk uniek zijn op elke AIP Storage Location. De microservice Validate Identificatiekenmerk controleert hierop. Om deze controle uit te kunnen voeren, worden bij het opslaan van een AIP de identificatiekenmerken van alle bestanden uit die AIP opgeslagen in een database. Bij elke transfer wordt gecontroleerd of de identificatiekenmerken van de nieuwe bestanden niet reeds voorkomen in die database. Zie ook de beschrijving van de microservice op de pagina [[Custom_microservices|Custom microservices]].