NAS (Network Attached Storage)

Grosse Daten lassen sich am besten via Aufzählung NFS oder SMB Protokolle auf das Homedirectory abspeichern. Die Leitungs-Geschwindigkeit und die Distanz spielen bei der Übertragungsgeschwindigkeit eine grosse Rolle.

Abhängig vom Departement an der ETH weisen die Pfade der Homedirectories auf unterschiedliche Server. Als Student, Doktorand, Postdoc und Mitarbeiter verfügen sie jedoch über ein Homedirectory auf den Servern der ID Homedirectories mit einer Kapazität von 5 GiB.
Als Mitarbeiter der ID werden die Laufwerke für Homedirectories per GPO definiert und können nicht geändert werden. Man kann aber jederzeit ein weiteres Laufwerk mounten, das auf das die Homedirectory weist. 

Mit DFS :
Im finder → Gehe zu → mit Server verbinden → im Dopdown Feld eingeben smb://d.ethz.ch/users/all/{username}     → Verbinden 
  Beispiel:    smb://d.ethz.ch/users/all/wtester

oder mit einem UNC Pfad:
Im finder → Gehe zu → mit Server verbinden → im Dopdown Feld eingeben smb://servername/sharename{erster Buchstabe des username}/{username}     → Verbinden
  Beispiel:   smb://nas22.ethz.ch/id_service_sth_w/wtester

Vorteile bei der Benutzung von DFS:
Wenn die ID Speicherdienste neue NAS Systeme installiert, erhalten diese in der Regel neue IP-Adressen und DNS Namen. Durch die Benutzung des DFS Pfades erübrigt sich die Anpassung der Mount listen. Die ID kann den Verweis auf den neuen Server im DFS Target anpassen.

Vorteile des UNC Pfades:
bei langsamen oder instabilen Verbindungen verhält sich ein durch UNC Pfad gemountetes Homedirectory oftmals fehlertolleranter. 

Wenn der Share bereits angehängt ist, kann man folgendem Prozess in einer Terminal Umgebung folgen::
cd /Volumes/<share name>/.snapshots
cd \@GMT <tab> <tab>       – > dies zeigt die vorhandenen, aber versteckten Directories an
cd \@GMT-2019.02.07-07.44.40/ <tab> <tab>       → Mit Tab kann man den ewünschten Pfad ergänzen
cd \@GMT-2019.02.07-07.44.40/ID                          → Danach kann man in die gesuchte Sub-Directory gehen

Wichtig:
- Zunächst mit cd ‚nur’ bis ins .snapshots des Share root Verzeichnisses.
- Danach mit cd in ein Unterverzeichnis des gewünschten Snapshots
- Nach dem Snapshot unmittelbar den / anschliessen

Beispiel:
Last login: Thu Feb 7 14:36:20 on console
id-als-docking-143:~ userid$ cd /Volumes/id_sdl_zo_data/.snapshots/
id-als-docking-143:.snapshots userid$ cd \@GMT-2019.0 <tab> <tab>
@GMT-2019.01.30-17.44.35 @GMT-2019.02.03-17.44.37 @GMT-2019.02.06-13.44.40 @GMT-2019.02.07-09.44.40
@GMT-2019.01.31-17.44.36 @GMT-2019.02.04-17.44.38 @GMT-2019.02.06-15.44.40 @GMT-2019.02.07-11.44.40
@GMT-2019.02.01-17.44.36 @GMT-2019.02.05-17.44.39 @GMT-2019.02.06-17.44.40
@GMT-2019.02.02-17.44.37 @GMT-2019.02.06-11.44.39 @GMT-2019.02.07-07.44.40
id-als-docking-143:.snapshots userid$ cd \@GMT-2019.02.07-07.44.40/ <tab> <tab>
AB/ GS/ RK/ AB_improve/  HK/  RS/ AD/  HR/ RW/
.
.

id-als-docking-143:.snapshots userid$ cd \@GMT-2019.02.07-07.44.40/AB

id-als-docking-143:ID userid$ ls
this/ and/ that/

id-als-docking-143:.snapshots userid$ cd \@GMT-2019.02.07-07.44.40/AB/this        → eh voila

• Öffnen Sie den File Explorer und navigieren zum Ordner, in welchem eine Datei oder ein Ordner gelöscht wurde.
• Für Ihr Homeverzeichnis geben Sie z.B. in der Adressleiste \\d.ethz.ch\users\all\%USER% ( %USER% ersetzen Sie mit Ihrem ETH Usernamen ).
• Wählen Sie im Kontextmenu (rechte Maustaste) den Eintrag «Vorgängerversionen wiederherstellen».

• Im nachfolgenden Dialog wählen Sie das Datum, von welchem die Daten wiederhergestellt werden sollen.
• Mit einem Klick auf «Wiederherstellen» können Sie den gesamten Ordner wiederherstellen.

• … oder Sie können einzelne Dateien wiederherstellen, indem Sie auf den Ordner des gewünschten Datums doppelklicken, die Dateien markieren und in den Zielordner kopieren.

Unsere NAS-Systeme haben Begrenzungen hinsichtlich Größe und Anzahl der Dateien/Verzeichnisse. Die meisten Betriebssysteme verfügen nicht über eine spezielle Warnung, wenn die Anzahl der Dateien/Verzeichnisse ihre Grenze erreicht hat. Sie melden lediglich ein Platzproblem.

Abhilfe kann dann die Bereinigung des Datenbestands oder die Erhöhung der Freigabegrenzen schaffen.

Die Erweiterungen werden in der Regel von der IT-Unterstützung der Abteilung vorgenommen. In diesem Fall wenden Sie sich bitte an Ihre IT-Supportgruppe.

NFS-Kunden
Wenn Sie mit NFS-Clients arbeiten, beachten Sie die folgenden Punkte:

•  Wenn Sie denselben NFS-Export auf einem Client von zwei verschiedenen IBM Spectrum Scale-NFS-Protokollknoten aus mounten, kann es zu Datenbeschädigungen kommen.
• Die NFS-Protokollversion, die als Standard auf einem Client-Betriebssystem verwendet wird, kann von dem abweichen, welche Sie erwarten. Wenn Sie einen Client verwenden, der standardmäßig NFSv4 mountet, und Sie NFSv3 mounten möchten, müssen Sie NFSv3 explizit im Mount-Befehl angeben. Weitere Informationen finden Sie im Mount-Befehl (man mount.nfs) für Ihr Client-Betriebssystem.
•  Um zu verhindern, dass NFS-Clients während des Failover Probleme mit der Datenintegrität bekommen, stellen Sie sicher, dass NFS-Clients mit der Option -o hard gemountet werden.
• Ein Client muss einen NFS-Export unter Verwendung einer CES-IP-Adresse eines Protokollknotens mounten. Wenn ein Hostname verwendet wird, stellen Sie sicher, dass der Name eindeutig ist und eindeutig bleibt.
  Wenn ein DNS Round Robin (RR)-Eintragsname zum Mounten eines NFSv3-Exports verwendet wird, kann es aufgrund nicht freigegebener Locks zu Datenunverfügbarkeit kommen. Der NFS-Lockmanager auf IBM Spectrum Scale ist nicht clusterfähig.
• Clients, die NFS-Verbindungen benutzen, müssen einen Timeout Wert für die Retry Versuche verwenden, der geringfügig niedriger ist als die Karenzzeit des NFS-Servers.
  Der CES-NFS-Server tritt in die Karenzzeit ein, nachdem der Dämon neu gestartet wurde, oder wenn eine IP-Adresse freigegeben oder eine neue IP-Adresse erworben wurde. Zuvor verbundene Clients fordern ihren Zustand (z.B. - Datei sperrt, öffnet) innerhalb der Karenzzeit zurück. Der Standardwert für die Karenzzeit beträgt 60 Sekunden.
  Der NFS-Client wartet auf eine Antwort vom NFS-Server für eine durch timeo angegebene Zeitspanne, bevor er Anfragen erneut versucht. Das Timeo kann als Option während der Verbindung angegeben werden. Der Wert von timeo wird in entscheidenden Sekunden (Zehntelsekunden) angegeben. Clients, die NFS-Verbindungen mit einem Retry-Timeout nahe der Karenzzeit des NFS-Servers durchführen, können Anwendungsausfälle wie E/A-Fehler erleiden.
  Ein Beispiel für die Einstellung des Timeout Wertes für Retry Versuche auf 40 Sekunden (wobei der Standardwert des Linux-Clients von 60 Sekunden für TCP überschrieben wird) ist - mount -o timeo=400 spectrumScaleCESIP:/path/to/exportedDirectory /localMountPoint.

Um eine NAS-Freigabe zu mounten, müssen zunächst die entsprechenden Pakete installiert werden. Bei den meisten Linux-Distributionen ist das Paket "cifs-utils" standardmäßig nicht installiert. Wie Sie die Pakete installieren, ist hier nicht Thema.
Wie auch immer, wenn Sie das Paket installiert haben, sind folgende Parameter als absolutes Minimum erforderlich:

username=[ActiveDirectory-Konto] <das ist normalerweise Ihr ETH-Benutzername>

domain=D <das ist der ActiveDirectory-Domänenname>

Beispiel: 

mount -t cifs -o username=testuser,vers=3,domain=D //nas22.ethz.ch/beispiel_share_s1 /mnt/t4

Bei manchen Betriebssystemen kann auch die Option:

Vers=2.1 <Dies gibt explizit das SMB-Release an, das für die neue Sitzung verwendet werden soll>

Bitte konsultieren Sie die Man-Pages Ihres Systems für weitere Informationen und vermeiden Sie das Hinzufügen von nicht explizit benötigten Optionen.

Es ist wichtig, dass Ihr System auf dem neuesten Stand ist, da das SMB-Protokoll aus Sicherheitsgründen stark erweitert wurde. Bitte beachten Sie, dass das SMB1-Protokoll nicht mehr unterstützt wird!

SMB-Server unterstützen nicht mehrere Benutzer in der gleichen SMB-Sitzung. Das bedeutet, wenn Sie eine Verbindung zu einer Freigabe mit einem anderen Benutzer auf demselben NAS herstellen müssen, wird dies nicht zugelassen. Möglicherweise müssen Sie die alte Freigabe zuerst umhängen.

Wir referenzieren hier zur ausführlichen Beschreibung vom Departement Biol:
  Setup a Linux system to be ready for NFS V4 and KRB5

Generell gilt, dass das Datum der Wiederverrechnung für jeden Share unterschiedlich. Es richtet sich nach dem Erstellungs-Datum. Die Verrechnungsperiode ist ein Jahr.
Allerdings haben wir alle am 1.7.2019 existierenden Shares mit diesem Erstellungs-Datum in den IT Shop migriert. Also werden alle importierten Shares die 1.7. noch bestehen, erneut für ein weiteres Jahr in Rechnung gestellt.

Jeder Share Owner kann das konkrete Datum jedoch im IT Shop unter 'My Products -> Storage' nachlesen. Das 'Valid To' gibt an bis wann ein Share bezahlt ist und somit auch wann die Wiederverrechnung erfolgt. (siehe Attachment)

Üblicher Weise sind die Share Owner im IT Support des Departements / Instituts zu finden (ISG).

4 Wochen vor der erneuten Verrechnung gibt es per Mail einen Erinnerung an den Share Owner.

Im ITShop zeigt das 'Valid To' Feld an, bis wann die Nutzung des Shares bezahlt wurde.  

Erhalte ich eine Rückerstattung, wenn ich nach 3 Monaten herausfinde, dass mein Share zu gross ist?

1.  nein, da der Speicher ebenfalls beschafft und die Kapazität  geplant werden muss sind die Verrechnungszyklen auf ein Jahr festgelegt worden.
2.  nur in Ausnahmefällen die sehr gut begründet sind wird der komplexe  und arbeitsintensive Prozess einer Rückerstattung beschritten.

Die Sharegrösse kann jedoch auf Ende (direkt nach erhalt der Mail und vor der erneuten Verrechnung für ein weiteres Jahr) angepasst werden oder der Share kann ohne weitere Kostenfolge vor der Verrechnung gelöscht werden.

An der ETH sind Datenspeicher kostenpflichtig. Deshalb können neue Share nur von berechtigten Personen bestellt und definiert werden.
Ihre IT Support Gruppe des Departements ist Ihnen gerne behilflich.

Die Bestellung wird über den ITShop abgewickelt. Die Verrechnung geschieht für ein Jahr im Voraus, Analog zu Software Lizenzen.

Vergrösserungen werden  für die verbleibende Jahres-Laufzeit ebenfalls im Voraus direkt via SAP verrechnet.

Jede Verrechnung einer Share-Vergrösserung muss vom Budget-Verantwortlichen genehmigt werden. Wird die Genehmigung verweigert, muss der entsprechende Rückbau vom Besteller erfolgen, da er die Situation am bezüglich der möglichen Probleme am besten einschätzen kann und entsprechende Massnahmen vorab ergreifen kann. An dieser Stelle kann auch mit den Speicherdiensten eine Frist vereinbart  werden.