Skip to content.
Sections
You are here: Home » Die RBG / ITI » Einführung von Plattenplatzquota

Einführung von Plattenplatzquota

Die RBG wird in Kürze technische Quotas für Plattenplatz einführen, die im Gegensatz zu den gelegentlichen manuellen Überprüfungen vom System selber durchgesetzt werden. Wir werden dafür ein klassisches Soft/Hardquotasystem verwenden. Hintergründe zu einem solchen System können hier nachgelesen werden. Es wird allerdings keine direkte Warnung bei Überschreitung des Softquota geben, da dies bei Systemen mit grafischen Oberflächen oder auch Batchsystemen (bei uns z.b. SGE) keinen Sinn macht.

Man bekommt aber entsprechende Warnungen beim Einloggen durch das CipCheck System. Aktuell wird nur das eigene Home Verzeichnis überwacht. Allerdings haben wir auch /big mit einer Grenze versehen, die nur dafür sorgen soll, dass ein einzelner User nicht mehr als 50% von Big belegt.

Wir werden die Quotagrenzen langsam gegen die gewünschten Werte konvergieren. Sprich bei der Einführung werden wir sehr hohe Hardquota- und Gracewerte setzen und dann alle 1-2 Wochen diese Werte verringern. Damit wollen wir unseren Nutzern genügend Zeit geben Ihre Daten zu löschen/komprimieren/verschieben.

Wir werden in Kürze auch Tipps veröffentlichen, wie man effektiv Plattenplatz sparen bzw. den Bedarf verringern kann.

Quotawerte für /home/*

  • Softquota: 25G
  • Hardquota: Startwert 300GB - Endwert 50GB
  • Graceperiod: Startwert 50 Tage - Endwert 5 Tage

Warum reicht das bisherige Verfahren nicht mehr aus?

In letzter Zeit werden immer häufiger durch unsere Nutzer zwei beschränkte Ressourcen auf den Fileservern überlastet - Platz und Netzbandbreite. Zu hoher Platzbedarf wird durch das technische Plattenquota zu 100% verhindert. Da bisher 80% aller Nutzer, die dauerhaft zu viel Bandbreite der Fileserver nutzen, auch gleichzeitig viel Platz neu in ihrem Home Verzeichnis belegen, wird auch hier nach kurzer Zeit das technische Plattenquota das Problem beseitigen.

Was muss ich tun, um mehr Platz belegen zu können?

Schreibt einfach eine formlose Mail an die RBG mit einer sehr kurzen Begründung für den Mehrbedarf und wie lange der Bedarf besteht. Die Begründung darf auch gerne z.b. "privates IT Projekt sein" - wir werden die Erweiterungen großzügig behandeln.

Probleme die in letzter Zeit häufig zu langsamen Fileservern oder vollen Plattenbereichen geführt haben:

  • Bei einem Praktikum mit Server/Clientprozessen wird der Server beim Ausloggen des Nutzers nicht beendet und schreibt dann laufend Fehlermeldungen in eine Log Datei, die der Autor zum Protokollieren und Debuggen angelegt hat. Bisher würde der Serverprozess die Platte mit dem Home Verzeichnis des Nutzers komplett voll schreiben. Nun wird nach max. 50GB der Prozess keinen weiteren Platz belegen.
  • Ein Nutzer arbeitet mit genetischen Daten. Leider ist es Konvention, dass Ergebnisdaten in unkomprimierter Textform geschrieben werden. Häufig sind bei Berechnungen in diesem Umfeld mehrere Zwischenergebnisse/dateien nötig. Auch nutzen viele unser SGE Batchsystem um die häufig langwierigen Berechnungen mit diversen Parametern durchzuführen. Dies führt gleich zu mehreren Fehlern, die die Verfügbarkeit der Fileserver einschränken. Alle Dateioperationen werden natürlich im eigenen Home Verzeichnis durchgeführt und die ev. Dutzenden (Zwischen)Ergebnisdateien haben min. zweistellige GB Größen.
    • Schränkt der Nutzer dies nicht ein, werden mehrere SGE Jobs gleichzeitig auf entsprechend vielen Rechnern ausgeführt. Nun schreiben also viele Rechner gleichzeitig auf die selbe Platte auf einem Fileserver. Werden viele Daten erzeugt führt dies zu sehr langen Antwortzeiten auf dem Server.
    • Sehr häufig werden die Zwischenergebnisdateien nicht gelöscht, sowohl während der Berechnungen als auch nach Ende des Projekts/Abschlussarbeit/etc. Damit wird sehr schnell viel Plattenplatz belegt, was entweder gleich zu einem vollen Plattenbereich oder langfristig zu unnützer Plattenbelegung führt.
    • Dateien werden nicht komprimiert. Die betrifft sowohl (Zwischen-)Ergebnisdateien also auch z.b. Log/Protokoll Dateien. Dabei haben i.A. diese Dateien eine sehr niedrige Entropie und erreichen Kompressionsraten im zweistelligen Bereich. Auch dies führt entweder gleich zu einem vollen Plattenbereich oder langfristig zu unnützer Plattenbelegung.
    Hätte dieser Nutzer seine Zwischenergebnisdateien von den SGE Jobs komprimiert auf die lokale Platte - die in jedem unserer Arbeitsplatzrechner steckt - schreiben lassen, dann würde er weder vom Platz noch von der Bandbreite her die Fileserver belasten. Desweiteren wären seine Berechnungen um den Faktor 10 schneller durchgeführt worden.