Koppeling tussen Archivematica en Memorix Archieven: verschil tussen versies

Uit Wiki Memorix Archieven
 
(21 tussenliggende versies door dezelfde gebruiker niet weergegeven)
Regel 1: Regel 1:
===DIP Upload===
===DIP Upload===
Nadat een AIP is opgeslagen in het e-depot, wordt de DIP ge-upload naar Memorix Archieven.
Nadat een AIP is opgeslagen in het e-depot, wordt de DIP ge-upload naar Memorix Archieven. Dit gebeurt op basis van het standaard SWORD protocol.  


In Memorix Archieven wordt de ToPX metadata gemapped naar EAD. Voor elk dossier in de ToPX wordt een verzamelbeschrijving aangemaakt, en voor elk record wordt een inventarisnummer gemaakt. De volledige mapping wordt in de volgende paragraaf beschreven.
In Memorix Archieven wordt de ToPX metadata gemapped naar EAD. Voor elk dossier in de ToPX wordt een verzamelbeschrijving aangemaakt, en voor elk record wordt een inventarisnummer gemaakt. De volledige mapping wordt in de volgende paragraaf beschreven.


===Mapping van ToPX naar EAD===
===Het e-depot tabblad===
Verzamelbeschrijvingen en bestanddelen die via een DIP upload zijn aangemaakt, krijgen een extra tabblad. Deze is zichtbaar bij het bewerken van een verzamelbeschrijving of inventarisnummer.


. Het E-depot tabblad bevat de volgende gegevens:
* '''E-depot Files''': Download links voor de bestanden die gekoppeld zijn aan dit inventarisnummer. Hiermee wordt de DIP versie gedownload uit het DAM. Dit is dus geen download direct uit Archivematica.
* '''E-depot Links''': Bevat een link om de AIP bestanden te bekijken in het Dashboard van Archivematica. Hiervoor moet je ingelogd zijn in Archivematica. Er is ook een link naar de METS file beschikbaar. Deze bevat metadata over het proces van ingest.
* '''Import snippets''': Bevat de delen uit het ToPX bestand die van toepassing zijn op het betreffende inventarisnummer en de bestanden die daaraan gekoppeld zijn.


===Verwijderen van de DIP metadata uit Memorix Archieven===
Het is mogelijk om alle bestanddelen die bij een DIP upload zijn aangemaakt in één keer te verwijderen uit Memorix Archieven.
Ga hiervoor naar in het menu naar Beheer --> Bulk Acties --> Bestanddelen Verwijderen.
In het veld "Toepassen op DIP" kunt u de naam of de uuid van de betreffende DIP invoeren. Tijdens het typen verschijnt een drop-down box met DIP's die overeenkomen met de zoekcriteria. Het is ook mogelijk om een DIP te selecteren uit een lijst door te klikken op het knopje achter het veld.
Als u de juiste DIP heeft geselecteerd, klikt u op Bestanddelen Verwijderen.


===Opslag van DIP bestanden in het DAM===
'''Let op''': deze actie kan niet ongedaan worden. Alle bestanddelen die aangemaakt zijn tijdens het importeren van de DIP zullen definitief verwijderd worden.
 
De bestanden in het DAM worden niet verwijderd bij deze actie. Deze kunt u met de hand uit het DAM verwijderen, door de map met de betreffende DIP weg te gooien. In de paragraaf [[#De DIP bestanden in het DAM]] kunt u lezen hoe u de bestanden van een DIP kan vinden in het DAM.
 
===De DIP bestanden in het DAM===
Memorix Archieven plaatst de bestanden uit de DIP in het DAM van Memorix Maior. De bestanden worden doorgaans geplaatst in een aparte storage met de naam e-depot, met daaronder een map DIP Uploads.
In de map DIP Uploads wordt voor elke DIP een map aangemaakt met de naam en de uuid van de DIP.
 
 
===Presentatie op de Website===
Bestanddelen die zijn geïmporteerd vanuit Archivematica, worden op dezelfde manier gepresenteerd als bestanden die met de hand koppelt in het DAM. Na het indexeren van het archief, worden deze automatisch zichtbaar op de website (voor openbare bestanddelen).
 
Bepaalde afbeeldingen (JPEG en TIFF) en PDF bestanden worden op de website getoond in een viewer. Andere bestandsformaten worden niet in een viewer getoond, maar kunnen wel worden gedownload door de bezoeker.
 
 
===Mapping van ToPX naar EAD/Memorix Archieven===
''Note: for mapping ToPX to EAD/Memorix Archives, the latest version of ToPX is used: [https://www.nationaalarchief.nl/archiveren/kennisbank/metadata-en-het-e-depot v2.3], for which the Schema can be found [https://www.nationaalarchief.nl/sites/default/files/field-file/ToPX-2.3_2.xsd here].''
====Aggregatieniveau: Archief (EN: Fonds)====
* A fonds shoud be created manually in Memorix Archives before the ingest in Archivematica.
* This fonds has three required fields:
** Identificatiekenmerk
** Titel
** Datering
* The element <identificatiekenmerk> of the Fonds in ToPX should have this format:
** <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<fonds number></code>
** The last part is extracted as the Fonds number. This should match the Identificatiekenmerk of the fonds created in Memorix Archives.
* The element <naam> of the Archief in ToPX is ignored. But it makes sense to use the same name when creating the fonds in Memorix Archives.
* Each ingest will contain 1 or more files from only 1 fonds
* The element <classification> in ToPX is ignored at fonds level
 
====Aggregatieniveau: Serie====
* Not used
 
====Aggregatieniveau: Dossier:  filegroup====
* The Aggregatieniveau “dossier" in ToPX is mapped to Filegroups in Memorix Archives
* ToPX element <identificatiekenmerk> is mapped to the field Range of the filegroup
** In ToPX it is formatted like: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number></code>. Only the dossier number part is used for the Range of the filegroup
* ToPX element <naam>: title of the filegroup
* ToPX element: <classificatie>:
** May contain any type of classification.
** Imported into Scopecontent in MA in this format: <bron> <datum>: <classificatiecode> <omschrijving>
* ToPX element <omschrijving>: ScopeContent (Bereik en Inhoud)
* ToPX element <dekking>  (with subfields <inTijd> en <inPlaats>): ignored
* ToPX element <externIdentificatiekenmerk>: Ignored
* ToPX element <taal>: Added to ScopeContent (Bereik en Inhoud) as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the start date of a filegroup (fileDate.from in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Creatie"
** and <aggregatieniveau> = “Dossier"
* For the end date of a filegroup (fileDate.to in MA), the following ToPX element are used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Afsluiting"
** and <aggregatieniveau> = “Dossier"
* ToPX element <relatie>
** Only hierarchical relations should be interpreted: typeRelatie=“Hierarchisch”. The hierarchy is always like this:
*** Dossier links to Fonds
*** Record links to Dossier
* ToPX element <context>. Can be an activity or an actor. Both are ignored.
 
====Accessibility of files and filegroups====
In Memorix Archives, a Public Restriction with Reason = "Niet Openbaar" is added in any of the following cases:
* An element /record/metadata/ToPX/aggregatie/openbaarheid/omschrijvingBeperkingen exists with value that is NOT equal to "Openbaar", OR
* An element /record/metadata/ToPX/aggregatie/gebruiksrechten/omschrijvingVoorwaarden/ exists with value that is NOT equal to "vrij te gebruiken”
The end date of the Public restriction will be:
* The content of /record/metadata/ToPX/aggregatie/openbaarheid/datumOfPeriode/ (can be a year or a whole date) of the <openbaarheid> element with value "Openbaar OR
* The content of /record/metadata/ToPX/aggregatie/gebruiksrechten/datumOfPeriode/ (can be a year or a whole date) of the <gebruiksrechten> element with value "Vrij te gebruiken”
In case both of the above exists, the end date that is the most distant from now should be used.
 
Besides the Public restriction, a note is added to the field Description control, for each <openbaarheid> element and for each <gebruiksrechten> element containing:
* Gebruiksrechten: <omschrijvingVoorwaarden> vanaf: <datumOfPeriode>
* Openbaarheid: <omschrijvingBeperkingen> vanaf: <datumOfPeriode>
 
The ToPX field Integriteit is added to the ScopeContent field in Memorix Archieven. A seperate line is added for each Integriteit element where the integrity is not “Integer": 
* "Integriteit: <integriteit>”
 
Vertrouwelijkheid (Confidentiality): only applies to uitgeplaatste dossiers (closed files). We don't have those at this phase of the project. At this moment, ALL material is considered to be not confidential
 
====Aggregatieniveau Record (Item or file-in-a-filegroup)====
* ToPX element <identificatiekenmerk>:
** The Identificatiekenmerk will have this format: <code><country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number>-<file number></code>. Only the file number part is used for the filenumber. The file will be linked to the filegroup <dossiernummer>.
* ToPX element <naam>: title of the file
* ToPX element <classificatie>: does not occur at this level
* ToPX element <description>: ScopeContent (Bereik en Inhoud)
* ToPX element <plaats>: to be ignored
* ToPX element <dekking> and subelements <inTijd> and <inPlaats>: to be ignored
* ToPX element <externIdentificatiekenmer>: to be ignored
* ToPX elemtn <taal>: Added to scope content as: Taal: <expanded language code, where dut is displayed as Dutch>
* For the date of a file in Memorix Archives, the following ToPX element are be used:
** /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
** but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = "Verzending" OR type=“Ontvangst
** in case both elements with type="Verzending" or type="Ontvangst" occur, the date within "Ontvangst" is used
** and <aggregatieniveau> = "Record"
* ToPX element <Relatie> (Only hierarchical relations are expected here: typeRelatie=“Hierarchisch”)
** Dossier always links to Fonds
** Record always links to Dossier
* ToPX element <context>: to be ignored
* ToPX element <vorm>: Vorm is expected only at Record level. Is ignored for now
 
====The Bestand element (the physical file)====
* ToPX element <identificatiekenmerk>
* ToPX element <aggregatieniveau>: always: Stuk
* ToPX element <naam>: title of the file (NOT filename):
** The naam of the file is ignored, since it will always be the same as the naam of the Record
* ToPX element Classificatie: ignored at this level
* ToPX element Omschrijving: ignored for now
 
All other elements will be ignored.
 
====Opslag van DIP bestanden in het DAM====


[[Category:E-depot]]
[[Category:E-depot]]

Huidige versie van 11 jul 2023 om 16:19

DIP Upload

Nadat een AIP is opgeslagen in het e-depot, wordt de DIP ge-upload naar Memorix Archieven. Dit gebeurt op basis van het standaard SWORD protocol.

In Memorix Archieven wordt de ToPX metadata gemapped naar EAD. Voor elk dossier in de ToPX wordt een verzamelbeschrijving aangemaakt, en voor elk record wordt een inventarisnummer gemaakt. De volledige mapping wordt in de volgende paragraaf beschreven.

Het e-depot tabblad

Verzamelbeschrijvingen en bestanddelen die via een DIP upload zijn aangemaakt, krijgen een extra tabblad. Deze is zichtbaar bij het bewerken van een verzamelbeschrijving of inventarisnummer.

. Het E-depot tabblad bevat de volgende gegevens:

  • E-depot Files: Download links voor de bestanden die gekoppeld zijn aan dit inventarisnummer. Hiermee wordt de DIP versie gedownload uit het DAM. Dit is dus geen download direct uit Archivematica.
  • E-depot Links: Bevat een link om de AIP bestanden te bekijken in het Dashboard van Archivematica. Hiervoor moet je ingelogd zijn in Archivematica. Er is ook een link naar de METS file beschikbaar. Deze bevat metadata over het proces van ingest.
  • Import snippets: Bevat de delen uit het ToPX bestand die van toepassing zijn op het betreffende inventarisnummer en de bestanden die daaraan gekoppeld zijn.

Verwijderen van de DIP metadata uit Memorix Archieven

Het is mogelijk om alle bestanddelen die bij een DIP upload zijn aangemaakt in één keer te verwijderen uit Memorix Archieven. Ga hiervoor naar in het menu naar Beheer --> Bulk Acties --> Bestanddelen Verwijderen. In het veld "Toepassen op DIP" kunt u de naam of de uuid van de betreffende DIP invoeren. Tijdens het typen verschijnt een drop-down box met DIP's die overeenkomen met de zoekcriteria. Het is ook mogelijk om een DIP te selecteren uit een lijst door te klikken op het knopje achter het veld. Als u de juiste DIP heeft geselecteerd, klikt u op Bestanddelen Verwijderen.

Let op: deze actie kan niet ongedaan worden. Alle bestanddelen die aangemaakt zijn tijdens het importeren van de DIP zullen definitief verwijderd worden.

De bestanden in het DAM worden niet verwijderd bij deze actie. Deze kunt u met de hand uit het DAM verwijderen, door de map met de betreffende DIP weg te gooien. In de paragraaf #De DIP bestanden in het DAM kunt u lezen hoe u de bestanden van een DIP kan vinden in het DAM.

De DIP bestanden in het DAM

Memorix Archieven plaatst de bestanden uit de DIP in het DAM van Memorix Maior. De bestanden worden doorgaans geplaatst in een aparte storage met de naam e-depot, met daaronder een map DIP Uploads. In de map DIP Uploads wordt voor elke DIP een map aangemaakt met de naam en de uuid van de DIP.


Presentatie op de Website

Bestanddelen die zijn geïmporteerd vanuit Archivematica, worden op dezelfde manier gepresenteerd als bestanden die met de hand koppelt in het DAM. Na het indexeren van het archief, worden deze automatisch zichtbaar op de website (voor openbare bestanddelen).

Bepaalde afbeeldingen (JPEG en TIFF) en PDF bestanden worden op de website getoond in een viewer. Andere bestandsformaten worden niet in een viewer getoond, maar kunnen wel worden gedownload door de bezoeker.


Mapping van ToPX naar EAD/Memorix Archieven

Note: for mapping ToPX to EAD/Memorix Archives, the latest version of ToPX is used: v2.3, for which the Schema can be found here.

Aggregatieniveau: Archief (EN: Fonds)

  • A fonds shoud be created manually in Memorix Archives before the ingest in Archivematica.
  • This fonds has three required fields:
    • Identificatiekenmerk
    • Titel
    • Datering
  • The element <identificatiekenmerk> of the Fonds in ToPX should have this format:
    • <country code in ISO 3166-1 format>-<4 digit municipality code>-<fonds number>
    • The last part is extracted as the Fonds number. This should match the Identificatiekenmerk of the fonds created in Memorix Archives.
  • The element <naam> of the Archief in ToPX is ignored. But it makes sense to use the same name when creating the fonds in Memorix Archives.
  • Each ingest will contain 1 or more files from only 1 fonds
  • The element <classification> in ToPX is ignored at fonds level

Aggregatieniveau: Serie

  • Not used

Aggregatieniveau: Dossier: filegroup

  • The Aggregatieniveau “dossier" in ToPX is mapped to Filegroups in Memorix Archives
  • ToPX element <identificatiekenmerk> is mapped to the field Range of the filegroup
    • In ToPX it is formatted like: <country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number>. Only the dossier number part is used for the Range of the filegroup
  • ToPX element <naam>: title of the filegroup
  • ToPX element: <classificatie>:
    • May contain any type of classification.
    • Imported into Scopecontent in MA in this format: <bron> <datum>: <classificatiecode> <omschrijving>
  • ToPX element <omschrijving>: ScopeContent (Bereik en Inhoud)
  • ToPX element <dekking> (with subfields <inTijd> en <inPlaats>): ignored
  • ToPX element <externIdentificatiekenmerk>: Ignored
  • ToPX element <taal>: Added to ScopeContent (Bereik en Inhoud) as: Taal: <expanded language code, where dut is displayed as Dutch>
  • For the start date of a filegroup (fileDate.from in MA), the following ToPX element are used:
    • /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
    • but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Creatie"
    • and <aggregatieniveau> = “Dossier"
  • For the end date of a filegroup (fileDate.to in MA), the following ToPX element are used:
    • /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
    • but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = “Afsluiting"
    • and <aggregatieniveau> = “Dossier"
  • ToPX element <relatie>
    • Only hierarchical relations should be interpreted: typeRelatie=“Hierarchisch”. The hierarchy is always like this:
      • Dossier links to Fonds
      • Record links to Dossier
  • ToPX element <context>. Can be an activity or an actor. Both are ignored.

Accessibility of files and filegroups

In Memorix Archives, a Public Restriction with Reason = "Niet Openbaar" is added in any of the following cases:

  • An element /record/metadata/ToPX/aggregatie/openbaarheid/omschrijvingBeperkingen exists with value that is NOT equal to "Openbaar", OR
  • An element /record/metadata/ToPX/aggregatie/gebruiksrechten/omschrijvingVoorwaarden/ exists with value that is NOT equal to "vrij te gebruiken”

The end date of the Public restriction will be:

  • The content of /record/metadata/ToPX/aggregatie/openbaarheid/datumOfPeriode/ (can be a year or a whole date) of the <openbaarheid> element with value "Openbaar OR
  • The content of /record/metadata/ToPX/aggregatie/gebruiksrechten/datumOfPeriode/ (can be a year or a whole date) of the <gebruiksrechten> element with value "Vrij te gebruiken”

In case both of the above exists, the end date that is the most distant from now should be used.

Besides the Public restriction, a note is added to the field Description control, for each <openbaarheid> element and for each <gebruiksrechten> element containing:

  • Gebruiksrechten: <omschrijvingVoorwaarden> vanaf: <datumOfPeriode>
  • Openbaarheid: <omschrijvingBeperkingen> vanaf: <datumOfPeriode>

The ToPX field Integriteit is added to the ScopeContent field in Memorix Archieven. A seperate line is added for each Integriteit element where the integrity is not “Integer":

  • "Integriteit: <integriteit>”

Vertrouwelijkheid (Confidentiality): only applies to uitgeplaatste dossiers (closed files). We don't have those at this phase of the project. At this moment, ALL material is considered to be not confidential

Aggregatieniveau Record (Item or file-in-a-filegroup)

  • ToPX element <identificatiekenmerk>:
    • The Identificatiekenmerk will have this format: <country code in ISO 3166-1 format>-<4 digit municipality code>-<dossier number>-<file number>. Only the file number part is used for the filenumber. The file will be linked to the filegroup <dossiernummer>.
  • ToPX element <naam>: title of the file
  • ToPX element <classificatie>: does not occur at this level
  • ToPX element <description>: ScopeContent (Bereik en Inhoud)
  • ToPX element <plaats>: to be ignored
  • ToPX element <dekking> and subelements <inTijd> and <inPlaats>: to be ignored
  • ToPX element <externIdentificatiekenmer>: to be ignored
  • ToPX elemtn <taal>: Added to scope content as: Taal: <expanded language code, where dut is displayed as Dutch>
  • For the date of a file in Memorix Archives, the following ToPX element are be used:
    • /metadata/ToPX/aggregatie/eventGeschiedenis/datumOfPeriode/datum
    • but only in case the element /metadata/ToPX/aggregatie/eventGeschiedenis/type = "Verzending" OR type=“Ontvangst
    • in case both elements with type="Verzending" or type="Ontvangst" occur, the date within "Ontvangst" is used
    • and <aggregatieniveau> = "Record"
  • ToPX element <Relatie> (Only hierarchical relations are expected here: typeRelatie=“Hierarchisch”)
    • Dossier always links to Fonds
    • Record always links to Dossier
  • ToPX element <context>: to be ignored
  • ToPX element <vorm>: Vorm is expected only at Record level. Is ignored for now

The Bestand element (the physical file)

  • ToPX element <identificatiekenmerk>
  • ToPX element <aggregatieniveau>: always: Stuk
  • ToPX element <naam>: title of the file (NOT filename):
    • The naam of the file is ignored, since it will always be the same as the naam of the Record
  • ToPX element Classificatie: ignored at this level
  • ToPX element Omschrijving: ignored for now

All other elements will be ignored.

Opslag van DIP bestanden in het DAM