Skip to content.
Sections
You are here: Home » Merkblätter » Änderungen an den Rechnerpools im Sommersemester 2014

Änderungen an den Rechnerpools im Sommersemester 2014

Dieser Text ist noch nicht vollständig und wird je nach Fortschritt der Umstellungen und Verfügbarkeit neuer Dienste/Konfigurationen/Hardware angepasst - Stand 31.3.14

Wegen des Umfanges und Komplexität einiger Umstellungen werden wir die Änderungen leider erst im Laufe des SS vollziehen können - wenn alles klappt und funktionsfähig ist. Daher ist am Ende des Artikel ein Abschnitt "Planung", der die geplanten Änderungen auflistet.

Neue Ubuntu Version - 14.04
Alle Rechner werden mit einer aktualisierten Betriebssystem Installation bespielt - Ubuntu 14.04. Gravierende Änderungen sind bei 14.04 nicht vorhanden.

CipCheck - Diverse Überprüfungen und Selbstreparatur
Beim einloggen werden diverse Prüfroutinen augeführt, die Fehlkonfigurationen, Probleme und sonstige interessanten Infos finden, teilweise selbst reparieren können oder einfach nur darauf hinweisen.

Neue Webserver - Vereinheitlichung von www/cgi/php Server und neuer Dienst auf den APR
Wir haben unsere alten Webserver ersetzt und die Trennung zwischen den Rechnern www.cip und cgi/php.cip abgeschafft. Des weiteren haben wir die Server von der Linux Distro Debian auf Ubuntu umgestellt. Damit sollen die Arbeitsplatzrechner und die Webserver die selbe Umgebung bieten. Im Zuge dessen wurde auch auf allen Arbeitsplatzrechnern eine identische Webserverkonfiguration eingerichtet - einziger Unterschied ist, dass dieser Dienst nur innerhalb des MWN nutzbar ist.

Damit können auf dem "eigenen" Arbeitsplatzrechner - ohne den Betrieb auf dem normalen Webservern zu stören - cgi/php Programme entwickelt werden. Ausserdem sind damit Praktika oder andere web-bezogene Studienarbeiten auf diesen Rechnern möglich, welche ansonsten auf den normalen Webservern eine zu hohe Last erzeugen würden.

Neue Fileserver und Storagesysteme
Wir ersetzen alle Fileserver- und Storagesysteme durch neue leistungsfähigere Systeme. Interessanteste Upgrades:
  • 30% mehr Fileserver
  • Vervierfachung der Bandbreite zwischen Fileservern und Storagesystemen
  • Verzehnfachung der Netzbandbreite der Fileserver (10G)
  • Verdreifachung der Plattenkapazität
Neben obigen Hardwareupgrades wechseln wir auch Filesystem und Netzwerkfilesystem zu Btrfs und NFSv4. Von NFSv4 erhoffen wir uns eine Verbesserung der IO Bandbreite, geringere Latenzen und die Möglichkeit von ACLs. Von vielen interessanten Btrfs Möglichkeiten werden wir zwei nutzen:
  • Komprimierung
    Durch die Komprimierung erhoffen wir uns eine bessere Nutzung des verfügbaren Plattenplatzes (20%) und eine höhere Transfergeschwindigkeit bei größeren Dateien. Außerdem werden "Spitzen" durch textuelle Ergebnisdateien oder Logs, die bei einigen Praktika im hundert Gigabyte Bereich erzeugt werden, abgefangen. Diese Dateien haben erfahrungsgemäß einen sehr geringen Informationsinhalt und damit häufig einen Kompressionsfaktor im Bereich 20-30.

    Btrfs ermöglicht adaptive Komprimierung auf Fileebene. D.h. das Filesystem prüft neue Dateien am Anfang bzgl. Kompressionsfaktor und komprimiert diese gegebenenfalls transparent. Dies kann zu sehr unterschiedlichen Lese- und Schreibraten führen, da im unkomprimierten Fall die Storagegeschwindigkeit, im komprimierten Fall i.a. das Netzwerk/CPU der limitierende Faktor ist.

  • Snapshots
    Wir werden mehrere Filesystem-Snapshot Zyklen machen. Die Anzahl der Snapshots in jeden Zyklus wird sich dynamisch am verfügbaren Plattenplatz orientieren. Aktuell planen wir Zyklen im Bereich 1/3/12 Stunden und 1/3/7 Tagen Abstand. Ob dieses Angebot dauerhaft ist, kann erst nach einiger Zeit festgelegt werden. Der entscheidenede Faktor ist der Platzbedarfs durch die Snapshots. Falls zu viel Platz hierfür benötigt wird, müssen wir diesen Dienst wieder abschaffen. (wir werden dies ca. eine Woche nach der Produktivstellung des neuen System aktivieren)

Planung

Neues lokales Clusterfilesystem
Um die Nachfrage nach schnellen und großen Storage zu befriedigen, werden Gruppen von Arbeitsplatzrechnern bzw. deren lokale Platten mit einem Clusterfilesystem versehen. Diese Gruppen bilden dann ein gemeinsames Storagesystem, welches für Rechenjobs auf diesen Gruppen einige Terabyte an Platz und mehrere hundert MB an Storagebandbreite zur Verfügung stellt.

Sollte dieses Konzept erfolgreich sein, so ist geplant 2015 ein großes zentrales Storagesystem mit >100TB Platz und einer Bandbreite im GB Bereich zu realisieren.