XtreemStore

Der ArchiveManager verfügt mit seiner Client Server Architektur über ein Software-Design, das auch sehr große und skalierbare Archive mit vielen 100 Millionen Dateien und Petabyte an Daten verwalten kann. High-end Kunden haben bis zu 10 Clients auf dedizierten Maschinen im praktischen Einsatz, um einen hohen parallelen Datenstrom ins Archiv zu ermöglichen.

Ein großer Vorteil des ArchiveManager ist das Aufsetzen auf Standard Filesysteme wie NTFS (Windows) und ext (Linux), da dadurch sämtliche Neuerungen eines Filesystems sofort verfügbar sind. Allerdings bringen diese Filesysteme auch ihre spezifischen Limitierungen in das Gesamtsystem mit ein.

Die aktuellen Standard Fileysteme stoßen in folgenden Bereichen jedoch an Grenzen:
  • Anzahl der Files in einem Filesystem
  • Durchsatz pro Filesystem
  • Durchsatz bei sehr großen Files, die z. B. 10 TB oder größer sein können.
  • kein globaler Namensraum bei vielen, einzelnen Filesystemen, z. B. mehrere 100 Millionen bis Milliarden an Files
Eine elegante Art, diese Grenzen zu überwinden, sind spezielle, hoch performante parallele Filesysteme, auch Meta Filesysteme genannt. Die physische Speicherung erfolgt weiterhin auf vielen darunterliegende Standard Filesystemen (ext3; ext4 ..), es gibt jedoch einen globalen Namensraum mit einer einheitlichen Schnittstelle nach außen.

Um eine Lösung für höchstskalierbare Archive anbieten zu können, hat GRAU DATA eine Integration in zwei extrem leistungsstarke Filesysteme begonnen. Diese sind "Lustre" und das "Fraunhofer Global FileSystem".

Hierzu wurde in den ArchiveManager ein paralleles HSM-Filesystem integriert. Dieses neue Produkt, "XtreemStore", wird im 2. Quartal 2013 verfügbar sein. XtreemStore steht dann als hochskalierbares Backend zu den beiden oben genannten Filesystemen bereit.