Długoterminowe przechowywanie danych cyfrowych: prototyp systemu archiwizacji dużych zbiorów danych

Lawinowo rosnąca ilość tworzonej i przechowywanej cyfrowo informacji powoduje konieczność projektowania systemów archiwizacji o zróżnicowanych cechach. Różne okresy przechowywania danych i parametry wydajnościowe systemów pamięci masowych są uzależnione m. in. od: objętości informacji, przeznaczenia archiwizacji, pochodzenia danych, częstotliwości i ograniczeń dostępu do danych, opóźnienia w dostępie do wybranych zasobów. Szczególnie pilnych rozwiązań wymaga przechowywanie długoterminowe (powyżej 20 lat) oraz o nieograniczonym okresie (tzw. wieczyste, tj. bez określonego terminu ważności).
Przedstawiany system, zbudowany w ramach projektu CLARIN, tworzy tzw. archiwum głębokie, gdzie dane mogą być przechowywane przez długi czas, ale dostępne są na życzenie, a nie on-line. Składa się on z zestawu węzłów budujących strukturę sieci (rastra) danych. Struktura danych rastra jest elastyczna i pozwala na budowę dużych archiwów elektronicznych. Aby zapobiec nieautoryzowanemu dostępowi do transportu danych wykorzystywany jest mechanizm buforowania typu cache z terminowym przechowaniem danych komunikacji z/do sieci zewnętrznej. W przeciwieństwie do dostępnych na rynku archiwów podręcznych, dzięki wbudowanym mechanizmom ochrony fizycznego stanu zapisów oraz samych mediów, proponowany raster danych pozwala na trwałą i bezpieczną archiwizację danych, a wbudowana elektronika została skonstruowana w standardach przemysłowych i z odpowiednią redundancją. System charakteryzują bardzo niskie wymagania co do warunków pracy, a także niskie wymagania energetyczne (węzły są włączone tylko podczas realizacji czynności zleconych np. zapis/odczyt i czynności serwisowych). Raster danych posiada własny system operacyjny oraz zaimplementowany systemowy mechanizm tzw. robotów programowych, który pozwala na użycie wymienialnych aplikacji porządkujących i selekcjonujących informację
w zgromadzonych zasobach.