XtreemStore

besteht aus dem parallelen Filesystem BeeGFS der thinkparQ GmbH (developed by Fraunhofer) und der HSM-Software OpenArchive der GRAU DATA GmbH.

Die im XtreemStore integrierte HSM-Software OpenArchive verfügt mit ihrer Client Server Architektur über ein Software-Design, das auch sehr große und skalierbare Archive mit vielen 100 Millionen Dateien und Petabyte an Daten verwalten kann. Zudem kann OpenArchive auf Standard Filesysteme wie NTFS (Windows) und ext (Linux) aufsetzen und dadurch sämtliche Neuerungen eines Filesystems sofort verfügbar machen.

Aktuelle Standard Filesysteme stoßen heute in folgenden Bereichen an ihre Grenzen:
  • Anzahl der Dateien in einem Filesystem
  • Durchsatz pro Filesystem
  • Durchsatz bei sehr großen Dateien, die z. B. 10 TB oder größer sein können
  • kein ‚Global Namespace‘ bei vielen einzelnen Filesystemen verfügbar, z. B. bei mehreren 100 Millionen bis Milliarden an Dateien
Eine elegante Art diese Grenzen zu überwinden sind spezielle, hoch performante parallele Filesysteme, auch Meta-Filesysteme genannt. Die physische Speicherung erfolgt weiterhin auf vielen darunterliegenden Standard Filesystemen (ext4, xfs). Es gibt jedoch zur einfachen Verwaltung einen „Global Namespace“ mit einer einheitlichen Schnittstelle nach außen.

Durch das Bundle von BeeGFS und OpenArchive steht dem Anwender einerseits ein hoch performantes, skalierbares Storage-System zu moderaten Kosten zur Verfügung und andererseits besteht die Möglichkeit wenig genutzte Daten auf günstige Medien innerhalb eines „Global Namespace“ auszulagern.