Best Practices
Transcription
Best Practices
BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 BEST PRACTICES DataCore SANsymphony mit ETERNUS DX60/DX80 ERFAHRUNGEN UND BEST PRACTICES BEIM EINSATZ VON DATACORE SANSYMPHONY MIT ETERNUS DX60/80 SPEICHERSYSTEMEN. INHALT Inhalt....................................................................................................................................................................................... 0 Test des Hardware-Setup ..................................................................................................................................................... 1 Beschreibung der Konfiguration ......................................................................................................................................... 2 Qualifizierte Hardware .......................................................................................................................................................... 2 Voraussetzungen .................................................................................................................................................................. 3 Testkonfiguration .................................................................................................................................................................. 3 Zusätzliche Anforderungen ................................................................................................................................................. 5 Serverinstallation .................................................................................................................................................................. 7 DataCore SANSymphony Installation ................................................................................................................................. 8 Allgemeine Informationen über das Datacore SANsymphony GUI ................................................................................. 9 Konfiguration von DataCore SANSymphony einschließlich Speicher und SAN ......................................................... 10 Konfiguration von Disk-Pools ........................................................................................................................................... 20 USv Konfiguration .............................................................................................................................................................. 22 Disasterszenarien ............................................................................................................................................................... 25 Host-Konnektivität .............................................................................................................................................................. 26 Glossar ................................................................................................................................................................................. 32 Nützliche Links und weitere Informationen: .................................................................................................................... 32 Anhang ................................................................................................................................................................................. 33 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 TEST HARDWARE-SETUP Für Qualifizierungstests haben wir eine von DataCore empfohlene SAN Symphony-Umgebung mit zwei SDS (Storage Domain Server) auf Basis von PRIMERGY RX300 S5-Servern aufgesetzt. Als Speicher entscheiden wir uns für eine ETERNUS DX80 und eine ETERNUS DX60 als Sekundärspeichereinheit. Dieses Konzept ist im Wesentlichen ein Setup für zwei Standorte mit gespiegeltem Speicher. Detaillierte Hardwarekonfiguration: 4x Brocade 5100 (FabricOS Version v6.3.1a) 2 x PRIMERGY RX300 S5 und 2 x PRIMERGY RX300 S4 1x ETERNUS DX60 (Firmwarestand V10L50) 1x ETERNUS DX80 (Firmwarestand V10L50) Physikalische Konfiguration wie folgt: SDS-Server #2 SDS-Server #1 Host #1 Host #2 ETERNUS DX80 Die Ports der SDS-Server sind wie folgt eingerichtet: Standort 1: ETERNUS DX60 Fabric #1 7 6 3 SDS-Server #1 Fabric #2 Seite 1 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Standort 2: Fabric #1 7 6 3 SDS-Server #2 Fabric #2 BESCHREIBUNG DER KONFIGURATION Das SAN besteht aus vier Brocade 5100, die in zwei Fabrics unterteilt sind. Jeder DataCore-Server verfügt über sechs physische Verbindungen. Zwei Ports sind für den Speicher-Zugang (grün) vorgesehen, zwei als Mirror-Ports (blau) und zwei als Ports für den Host-Zugang (rot). Die Ports sind gleichmäßig auf die beiden Fabrics verteilt; davon ausgenommen sind die Host-Ports, die auf dem gleichen Switch sein müssen. Die Speicher-Ports sind mit Switch-Port 4 verbunden. Die Mirror-Ports sind mit Port 5 und die Ports für den Host-Zugang sind mit Ports 6 und 7 verbunden. Beide Speicher-Arrays sind über zwei Pfade mit jeder Fabric verbunden. Die Hosts sind über einen Pfad mit jeder Fabric verbunden. QUALIFIZIERTE HARDWARE In unserer Testumgebung eingesetzte Hardware PRIMERGY RX300 S5 2x 2,5” 146 GB SAS RAID 1 24 GB RAM 3x Emulex LPe12002 Windows Server 2008 R2 SP2 Enterprise Edition Englisch Es wird empfohlen, beide SDS-Server zur Vermeidung von Problemen mit der gleichen Hardware zu konfigurieren. ETERNUS DX80 2 Controller-Module 4x FC Frontend Port 6x 3,5” 450 GB SAS ETERNUS DX60 2 Controller-Module 4x FC Frontend Port 12x 2,5” 146 GB SAS 12x 2,5” 300 GB SAS Seite 2 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 VORAUSSETZUNGEN Überprüfen Sie die HBA-Firmware- und die SAN-Switch-Firmwareversionen Ihrer Umgebung mithilfe der Qualifizierungslisten auf den DataCore Support Homepages, um sicherzustellen, dass diese Versionen unterstützt werden. Hinweis: DataCore nutzt schwarze Listen für seine qualifizierte Hard-/Software, daher sind nur die Komponenten qualifiziert, die in diesen Listen aufgeführt sind. Alle bekannten Probleme mit entsprechenden Versionen sind ebenfalls in diesen Dokumenten aufgeführt. ftp://support.datacore.com/psp/quallists/SDS_HBA_ALL.pdf ftp://support.datacore.com/psp/quallists/SWITCH_ALL.pdf Beispiele für die Bestimmung der Switch- und HBA-Firmware Versionen: eclswi170:admin> firmwareshow Appl Primary/Secondary Versions -----------------------------------------FOS v6.3.1a v6.3.1a TESTKONFIGURATION Betriebssysteme Die SDS-Server werden mit ServerView Installation Manager installiert und laufen unter Windows Server 2008 R2 SP2 mit den aktuellsten Patches von Windows Update (Datum: 01.07.2010). Die Hosts laufen unter VMware vSphere 4 Update 1. DataCore Software: Wir benutzten DataCore SANsymphony 7.3.0.4 Build 11.0.0.1551 USV Software: PowerChute Business Edition Agent Version 7.0.2 Speicher: ETERNUS ist mit Firmware V10L50 konfiguriert. Konfigurieren Sie Raid-Gruppen gemäß den ETERNUS Designrichtlinien. Richten Sie die Host-Response mit den Standardeinstellungen für Windows-Systeme ein. Seite 3 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Zoning: Jeder SDS-Server Mirror-Port erhält eine Zone auf den Mirror-Port des entsprechenden SDS-Servers. Den SDS-Server Speicher-Ports werden Zonen zum lokalen Speicher-Array zugewiesen. Zonen zum Speicher Array im zweiten Standort sind nicht unterstützt. Den Hosts werden Zonen auf den SDS-Host-Ports zugewiesen. Achtung bei der Verteilung der Hosts auf die Host-Ports: Es wird davon abgeraten, Windows- mit Linux-basierten Systemen am gleichen SDS-Host-Port zu mischen. Aus Redundanz Gründen sollte je ein Pfad zum lokalen SDS-Server und der Failover-Pfad zum SDS-Server am zweiten Standort vorgesehen werden. Host-Zugangspfade DataCore Mirror-Pfad DataCore Speicher-Pfade Seite 4 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 ZUSÄTZLICHE ANFORDERUNGEN Diese Anforderungen gelten für beide SDS-Knoten. Keine Active Directory Domain-Mitgliedschaft ist zulässig. Grund: Der lokale Nutzer der DataCore-Kommunikation muss ein eindeutiger Anwender sein. Bei einer Domain-Mitgliedschaft könnte es einen Domain-Anwender mit demselben Namen geben, was Probleme verursachen könnte. Stellen Sie sicher, dass sich beide SDS-Server in der gleichen Windows-Workgroup befinden. Deaktivieren Sie die automatische Update-Funktion von Windows. Stoppen Sie bei manuellen Updates die Funktion „DataCore Virtualization Service“ vor dem Neustart des Systems, um ein sicheres Herunterfahren der SANsymphony-Anwendung zu gewährleisten. Die SDS-Server dürfen ausschließlich für die DataCore-Software eingesetzt werden. So dürfen darauf beispielsweise keine Dateiservices, MS Cluster, ADS Controller, Druckservices, Terminal Services usw. ausgeführt werden. Allerdings ist es zulässig und empfehlenswert, Virenschutzprogramme, AIS Connect, die APC-Managementsoftware und ServerView-Agenten auf dem System einzusetzen. Fügen Sie einen lokalen Benutzer für den DataCore Service-Account hinzu. Der lokale Benutzer muss ein Mitglied der lokalen Administratorengruppe sein. Stellen Sie sicher, dass DNS ordnungsgemäß funktioniert und beide Knoten den jeweiligen Host-Name auflösen können. Es wird dringend von FTS empfohlen eine USV für die SDS-Server, die SAN Switches und das Speicher-Array einzusetzen. Damit wird sichergestellt, dass die im Cache abgelegten Daten auf den Servern bei einem doppelten Ausfall der Speicher Systeme geschützt sind. Der Grund dafür ist, dass I/Os zum Host bestätigt werden, sobald sie erfolgreich im Cache beider SDS-Server gespiegelt sind. Wenn die Stromversorgung der SDS-Server unterbrochen und das entsprechende Speicher-Array ebenfalls stromlos ist, können die Daten nicht aus dem Cache geschrieben werden und gehen verloren. Dies bedeutet, bereits bestätigte I/Os gehen verloren und die Anwendung ist inkonsistent. Seite 5 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Deaktivieren Sie die NPIV-Funktion auf allen SAN-Ports, die mit SDS-Servern verbunden sind. Deaktivieren Sie die folgenden CPU-Funktionen im System-BIOS. Dies ist erforderlich, um Geschwindigkeits- und TimingProbleme zwischen den beiden DataCore-Servern zu vermeiden. Derartige Probleme können zu Leistungsverlusten führen. Der Grund dafür ist die Tatsache, dass DataCore mit statischen CPU-Taktraten arbeitet und moderne CPUs SpeedStepping und TurboBoost nutzen, um den Stromverbrauch im Leerlauf zu reduzieren. Deaktivieren Sie die markierten Funktionen bei allen SDS-Knoten. Seite 6 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 SERVERINSTALLATION Der PRIMERGY RX 300 S5 wird mit ServerView Installation Manager installiert. Bei Verwendung der Standardeinstellungen sollte folgende Software auf dem Server installiert sein: Die markierten Funktionen müssen vor der Installation der DataCore SANsymphony-Software entfernt werden. Stellen Sie sicher, dass außerdem der Emulex PLUS-Treiber aus dem Gerätemanager (Device Manager) gelöscht wird. Seite 7 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 DATACORE SANSYMPHONY INSTALLATION Zunächst muss .NET installiert werden, da sonst bei dem Versuch, DataCore SANsymphony zu installieren, ein Fehler gemeldet wird. Zur Installation von .NET fügen Sie die Funktion über den „Add Features Wizard” hinzu. Als Funktion von Windows Server 2008 wird jedes unterzeichnete Zertifikat nach der Installation online geprüft. Wenn Ihr SDS-Server nicht mit dem Internet verbunden ist, sollten Sie die Zertifikatprüfung deaktivieren, da es andernfalls lange dauern kann, bis das Setup fortgesetzt wird. How to: http://datacore.custhelp.com/app/answers/detail/a_id/1370 Eine alternative Umgehungslösung wäre, eine Internetverbindung während des Setup der DataCore SDS-Server einzurichten. Staren Sie DataCore SANsymphony und legen Sie alle Software von DataCore als vertrauenswürdig fest (Always trust software...). Während des Setup werden Sie nach der Lizenzdatei gefragt. Beachten Sie, dass es zwei Lizenzdateien gibt, je eine pro SDS-Knoten. Starten Sie den Server erneut, um das Setup zu beenden. Wiederholen Sie das Setup auf dem zweiten SDS-Knoten. Seite 8 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 ALLGEMEINE INFORMATIONEN ÜBER DAS DATACORE SANSYMPHONY GUI SANcentral ist der zentrale Verwaltungspunkt für Ihre DataCore SANsymphony-Umgebung. Auf dem Desktop sollte eine Verknüpfung für SANcentral abgelegt sein. SANcentral stellt Ihnen Verknüpfungen für die anderen Tools von SANsymphony wie SANmanager, Pool Performance und SANsymphony Console zur Verfügung. In den nachstehenden Beschreibungen finden Sie Screenshots von SANcentral, SANmanager, Pool Performance und SANsymphony Console. Der Screenshot von SANcentral enthält die Verknüpfungen, mit denen Sie die anderen Tools von SANsymphony öffnen können. SANmanager SANsymphony Console Pool Performance Alle Änderungen am SANmanager werden mit allen Mitgliedern der Region synchronisiert (siehe Abschnitt „Konfiguration von DataCore SANsymphony einschließlich Speicher und SAN“). Die Änderungen müssen übernommen (Apply) werden, bevor sie wirksam werden. Dies geschieht mit der Tastenkombination STRG+A oder „File -> Apply“. Dies gilt nur für Änderungen in SANmanager. Alle anderen Änderungen (in SANsymphony Console oder SANcentral) werden sofort wirksam, da sie nur für den lokalen Knoten gelten. Dieser Fehler kann beim Schließen eines Fensters von SANsymphony angezeigt werden. Es ist ein bekannter Fehler und wird in den kommenden Versionen behoben. Seite 9 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 KONFIGURATION VON DATACORE SANSYMPHONY EINSCHLIESSLICH SPEICHER UND SAN Ändern Sie zunächst den Service-Account für den „Domain Communication Service“ auf beiden SDS-Knoten in den User-Account, der für diesem Service-Account gemäß Abschnitt „Zusätzliche Anforderungen“ erstellt wurde. Der Service wird automatisch neu gestartet. Eine DataCore-Umgebung wird in einer so genannten Region zentralisiert. Eine Region ist eine Gruppe von SDS-Servern mit einer gemeinsamen Konfiguration. Sie können Datenträger (Volumes) zwischen diesen SDS-Servern spiegeln. Entfernen Sie dann den DataCore-Knoten Nr. 1 aus der Standardregion, und erstellen Sie eine neue Region. Entfernen Sie den zweiten Knoten ebenfalls aus seiner Region und verbinden Sie dann die auf dem ersten Knoten erstellte Region, indem Sie einfach den Namen eingeben. Die Region auf dem ersten Knoten wird über NETBIOS erkannt, daher ist weder eine IPAdresse noch ein Hostname erforderlich. Wenn Probleme auftreten, vergewissern Sie sich, dass beide SDS-Server in der gleichen Workgroup sind. Seite 10 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Die DataCore-Umgebung sollte jetzt in etwa so aussehen: Der Screenshot zeigt, dass sich jetzt beide SDS-Server in der gleichen Region befinden. Der „Log-on Account“ ist ebenfalls eingestellt. Starten Sie jetzt den „DataCore Virtualization Service“. Dieser Service muss aktiviert werden, damit die Konfiguration fortgesetzt werden kann. Im nächsten Schritt werden die Mirror-Verbindungen und die Frontend-/Backend-Pfade eingerichtet. Zunächst müssen Sie festlegen, ob Sie den Hardware-WWPN des HBA oder den von DataCore gelieferten Software WWPN verwenden wollen. Wir haben uns für die Verwendung der Soft-WWPNs entschieden, da in diesem Fall bei einem HBA-Austausch in den SDS-Servern keine Änderungen erforderlich sind. Seite 11 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Um die Soft-WWPNs nutzen zu können, müssen Sie sie für jeden Port der SDS-Server aktivieren, d. h. in unserem Fall für sechs Ports pro SDS-Server. Standardmäßig sollten die Ports in etwa so aussehen: Aus Sicht der Brocade-Switches werden die Standard-Hard-WWPNs gezeigt: Seite 12 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Als Vorgabe sind folgende Eigenschaften (Properties) für die Ports eingestellt: Sie müssen für alle Ports die im Screenshot gezeigten Eigenschaften auf folgende Weise einstellen: Als Best Practice setzen Sie „Connection mode“ auf „Point to Point“. Der „Data Rate Mode“ sollte auf eine feste Geschwindigkeit gesetzt werden. Markieren Sie das Feld „Use Soft World Wide Names“ für alle Ports. Eventuell ist das Feld „Symbolic Port Name“ leer; darauf werden wir später eingehen. Wenn alle Ports für Soft-WWPNs konfiguriert sind, sollte der Brocade-Switch in etwa so aussehen: Seite 13 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Der Screenshot zeigt, dass die Soft-WWPNs am Brocade-Switch sichtbar sind. Wie im Abschnitt „Beschreibung der Konfiguration” dieses Dokuments dargelegt, ist Port 4 der zugewiesene Speicher-Port. Port 5 ist der Mirror-Port und 6 -7 sind die Host-Zugangs-Ports. Anhand dieser Informationen können wir jetzt einen „Symbolic Port Name“ für unsere DataCore-Ports erstellen. Vergleichen Sie die gezeigte „Channel ID“ mit dem im Brocade-Switch gezeigten WWPN. Nennen Sie die Ports entsprechend um. Da wir festgelegt haben, welcher SDS-Port für welche Funktion vorgesehen ist, können wir die Port-Konfiguration abschließen, indem wir den „SCSI Mode“ festlegen. Host-Zugangs-Ports sollten als „Target“ konfiguriert werden. Die Mirror-Ports sollten als „Initiator/Target“ konfiguriert werden. Die Speicher-Zugangs-Ports sollten als „Initiator“ konfiguriert werden. Seite 14 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Falls noch nicht geschehen, konfigurieren Sie jetzt das Zoning in den Brocade-Switches, wie im Abschnitt „Testkonfiguration” beschrieben. Seite 15 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Sie sollten jetzt Ihre Hosts, Ihren Speicher und Ihren zweiten Knoten vom SDS-Server aus sehen. . Seite 16 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 An diesem Punkt sollte der Speicher konfiguriert werden. Aus ETERNUS-Sicht haben wir nur einen Host mit der ETERNUS verbunden. Diese Tatsache vereinfacht die Konfiguration erheblich. Erstellen Sie Raid-Gruppen gemäß den ETERNUS Designrichtlinien. Erstellen Sie ein Host Response-Muster. Mit Ausnahme der markierten Parameter sind alle anderen Einstellungen Standard. Seite 17 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Konfiguration des FC Hosts: Erstellen Sie zum Schluss eine Affinitätsgruppe, und weisen Sie die LUNs dem SDS-Server zu. Als Best Practice empfiehlt sich die Erstellung einer großen LUN pro Raid-Gruppe, falls dies möglich ist. Bedenken Sie, dass KEINE Speicher-Softwarefunktionen verfügbar sind, wenn DataCore auf einem ETERNUS-System eingesetzt wird, d. h. weder Snapshots noch Replikationsfunktionen. Grund: Es wäre wenig sinnvoll, einen Snapshot von einem Datenträger zu erstellen, der Teil eines DataCore-Pools ist, da die Daten per Stripe auf mehrere Datenträger verteilt würden und daher nicht lesbar wären. Außerdem ist nicht bekannt, wie sich DataCore verhalten würde, wenn man den Snapshot auf dem DataCore-Server abbilden würde, während ein Zugriff auf die Originaldaten erfolgt. Replikationsfunktionen sind ebenso wenig sinnvoll, da die Daten bereits von DataCore gespiegelt werden. Thin Provisioning würde zu einem auf einen Serverpool verteilten Doppel-Stripe führen und somit keine Leistungssteigerung bewirken. Außerdem initialisiert DataCore die Festplatten, daher würde die Thin Disk in eine Thick Disk konvertiert. Führen Sie nach Abbildung der LUNs einen Rescan auf neue Disks in den SDS-Servern durch und initialisieren Sie die Disks mit GPT. Sie können das später durchführen, wenn Sie diesen Schritt während der Initialisierung noch nicht vorgenommen haben. Das GPTDisklayout ist erforderlich, damit die Disks mit DataCore verwendet werden können. Wenn Sie GPT nicht verwenden, sind die Festplatten nicht in SANmanager sichtbar. Seite 18 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Überprüfen Sie, ob die Festplatten in SANmanager sichtbar sind. Wenn das nicht der Fall ist, wiederholen Sie den Scan für neue Festplatten (Rescan Disks). Seite 19 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 KONFIGURATION VON DISK-POOLS Sobald die Disks sichtbar sind, können Sie DataCore-Pools konfigurieren. Im folgenden Dialogfenster kann eine sehr wichtige Einstellung, die Größe der SAU (Storage Allocation Unit) für jeden Pool geändert werden. Jeder Pool besteht aus den LUNs, die auf dem SDS-Server abgebildet sind, d. h. aus den Raid-Gruppen im ETERNUS. Als empfohlene Größe für RAID 5-Gruppen in einem ETERNUS-System verwenden wir 5 Disks (4+1). Ein virtueller Datenträger wird per Stripe auf die Pool-Mitglieder in Paketen gemäß der konfigurierten SAU Größe verteilt. Standardmäßig ist diese auf 128 MB festgelegt. Der mit dem virtuellen Datenträger verbundene Host würde in diesem Fall 128 MB auf die erste Raid-Gruppe, die nächsten 128 MB auf die nächste Raid-Gruppe usw. schreiben. Ein sequenzieller Schreibvorgang mit 100 MB würde demnach auf nur 5 Disks erfolgen, obwohl der zur Verfügung stehende Pool wesentlich größer ist. Durch Reduzierung der SAU-Größe ist der über die Pool-Mitglieder verteilte Stripe wesentlich differenzierter, und sequenzielle Schreibvorgänge werden an eine größere Zahl Disks gesendet, daher sind diese Vorgänge wesentlich schneller. Es empfiehlt sich, den Wert für die SAU-Größe auf 4 MB zu verringern. Achtung: Die SAU-Größe definiert die Speicher-Menge, die in einem Pool angesprochen werden kann. Bei der Standardgröße von 128 MB können 1000 TB Speicher im Pool angesprochen werden. Eine geringere SAU-Größe verringert die Speicher-Menge, die in einem Pool adressiert werden kann. Bei einer SAU-Größe von 4 MB sind ca. 32 TB an Speicher adressierbar; wenn mehr Speicher benötigt wird, erhöhen Sie die SAU-Größe entsprechend. Außerdem ist zu beachten, dass die Pool-Größe NICHT online geändert werden kann. Migrieren Sie die virtuellen Datenträger auf einen anderen Pool und löschen Sie sie; erstellen Sie den Pool neu. In einer Linux-Umgebung ist es noch wichtiger, die SAU-Größe auf 4 MB zu reduzieren. Bei der Erstellung eines Dateisystems (zum Beispiel ext2 oder ext3) schreibt Linux mehrere Blöcke mit Dateisysteminformationen auf den virtuellen Datenträger, daher muss der SDS-Server eine hohe Anzahl SAUs aus dem Pool zuweisen. Wird die SAU-Größe reduziert, bleibt zwar die Menge an zugewiesenen SAUs unverändert, allerdings wird der zugewiesene Speicher im Pool verringert. Siehe: ftp://support.datacore.com/psp/TBs/TB8_Considerations_for_NMV.pdf Das dem Host präsentierte, virtuelle Laufwerk ist bereits vordefiniert, wird allerdings erst belegt, nachdem ein Block vom Host geschrieben wurde. Das bedeutet, wenn der Server Block „1” auf das virtuelle Laufwerk schreibt, wird eine SAU, die Block „1”, sowie alle nachfolgenden Blöcke zugewiesen, bis die SAU-Größe erreicht ist. Schreibt der Server dann Block „2”, erfolgt dieser Schreibvorgang auf der bereits angelegten SAU. Wenn der nächste Schreibvorgang auf einem Block erfolgt, der nicht innerhalb der gleichen SAU liegt, wird die nächste SAU in dem Pool-Mitglied belegt, das zu diesem Zeitpunkt die beste Leistung aufweist (beste Reaktionszeit und den größten verfügbaren Speicherplatz). Der konfigurierbare „Pool Type” definiert wie die virtuellen Datenträger auf den Pool verteilt werden sollen. In den meisten Fällen ist es nicht notwendig, den Standardwert „Dynamic” zu ändern. Seite 20 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Benennen Sie den Pool nach seiner Erstellung um. Fügen Sie dann Raid-Gruppen per Drag-and-Drop hinzu. Beim Hinzufügen von Disks zu einem Pool werden die Informationen angezeigt, mit denen die Disk-Initialisierung beginnt. Der Initialisierungsvorgang kann mithilfe des Tools „Pool Performance” beobachtet werden. Der blaue Balken zeigt die SAUs, die freigesetzt (in diesem Fall initialisiert) werden müssen. Der rote Balken zeigt den konfigurierten Alarmschwellenwert. Seite 21 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 USV KONFIGURATION In unserem Fall haben wir ein APC 3000 RM verwendet. Der APC wird direkt über USB mit dem SDS-Server verbunden. Die so genannte PowerChute Business Edition Agent-Software muss auf den SDS-Servern installiert werden, damit Befehle während eines Stromausfalls ausgeführt werden können. Auf den SDS-Servern müssen Sie Skripte zum Aktivieren/Deaktivieren des gespiegelten Schreib-Cache und ein Skript zum Herunterfahren des SDS-Server erstellen. Diese Skripte sind für ein sauberes Herunterfahren und sicheres Fortsetzen der Spiegelung nach Behebung des Stromausfalls erforderlich. Standardmäßig werden die Skripte in folgendem Verzeichnis abgelegt: C:\Program Files (x86)\APC\PowerChute Business Edition\agent\cmdfiles Die folgenden Skripte verwenden wir für unsere Tests: @echo off rem rem Zwecks optimaler Anzeige maximieren. rem Diese Befehlsdatei enthält Beispiele für die richtige Syntax der Befehlsdatei. rem rem VonPowerChute Business Edition ausführbare Befehlsdateien müssen in diesem Verzeichnis abgelegt werden. rem rem Vollständigen Pfadnamen der ausführbaren Programme und externen Befehlsdateien verwenden. rem rem Der Befehl @START muss zum Ausführen von ausführbaren Programmen verwendet werden (siehe nachstehendes Beispiel). rem Für den Befehl @START müssen Pfadnamen mit Leerzeichen in Anführungszeichen gesetzt werden; rem Argumente für die ausführbaren Dateien müssen außerhalb von Anführungszeichen angegeben werden. Doppelte Anführungszeichen müssen rem dem Pfadnamen vorangestellt werden. Beispiel: Zum Ausführen einer Befehlsdatei in rem c:\Program Files\APC\PowerChute Business Edition\agent\cmdfiles called myShut.exe, rem muss die folgende Zeile in die Befehlsdatei eingegeben werden: rem rem @START "" "c:\Program Files\APC\PowerChute Business Edition\agent\cmdfiles\myShut.exe" rem @echo on @START "" dcsupsevent -stop @echo off rem rem Zwecks optimaler Anzeige maximieren. rem Diese Befehlsdatei enthält Beispiele für die richtige Syntax der Befehlsdatei. rem rem VonPowerChute Business Edition ausführbare Befehlsdateien müssen in diesem Verzeichnis abgelegt werden. rem rem Vollständigen Pfadnamen der ausführbaren Programme und externen Befehlsdateien verwenden. rem rem Der Befehl @START muss zum Ausführen von ausführbaren Programmen verwendet werden (siehe nachstehendes Beispiel). rem Für den Befehl @START müssen Pfadnamen mit Leerzeichen in Anführungszeichen gesetzt werden; rem Argumente für die ausführbaren Dateien müssen außerhalb von Anführungszeichen angegeben werden. Doppelte Anführungszeichen müssen rem dem Pfadnamen vorangestellt werden. Beispiel: Zum Ausführen einer Befehlsdatei in rem c:\Program Files\APC\PowerChute Business Edition\agent\cmdfiles called myShut.exe, rem muss die folgende Zeile in die Befehlsdatei eingegeben werden: rem rem @START "" "c:\Program Files\APC\PowerChute Business Edition\agent\cmdfiles\myShut.exe" rem @echo on @START "" dcsupsevent -writeback Seite 22 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 @echo off rem rem Zwecks optimaler Anzeige maximieren. rem Diese Befehlsdatei enthält Beispiele für die richtige Syntax der Befehlsdatei. rem rem VonPowerChute Business Edition ausführbare Befehlsdateien müssen in diesem Verzeichnis abgelegt werden. rem rem Vollständigen Pfadnamen der ausführbaren Programme und externen Befehlsdateien verwenden. rem rem Der Befehl @START muss zum Ausführen von ausführbaren Programmen verwendet werden (siehe nachstehendes Beispiel). rem Für den Befehl @START müssen Pfadnamen mit Leerzeichen in Anführungszeichen gesetzt werden; rem Argumente für die ausführbaren Dateien müssen außerhalb von Anführungszeichen angegeben werden. Doppelte Anführungszeichen müssen rem dem Pfadnamen vorangestellt werden. Beispiel: Zum Ausführen einer Befehlsdatei in rem c:\Program Files\APC\PowerChute Business Edition\agent\cmdfiles called myShut.exe, rem muss die folgende Zeile in die Befehlsdatei eingegeben werden: rem rem @START "" "c:\Program Files\APC\PowerChute Business Edition\agent\cmdfiles\myShut.exe" rem @echo on @START "" dcsupsevent -writethru Zum Schluss müssen die Befehlsauslöser konfiguriert werden. Sie können über die Web-GUI des APC konfiguriert werden. Username und Password wurden während der Konfiguration des PowerChute Agent definiert. Die Web-GUI kann über http://localhost:3052 aufgerufen werden. Der Screenshot zeigt die verfügbaren Ereignisse und die konfigurierten Aktionen. Wie Sie sehen, sind mehrere Ereignisse konfiguriert, die die Ausführung einer Befehlsdatei auf dem geschützten Server (dem DataCore SDS-Server) auslösen. Seite 23 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Die folgenden Aktionen sind erforderlich: Power Failed – löst den Befehl writethru.cmd aus, der den Schreib-Cache deaktiviert. Low Battery – löst den Befehl shutdown.cmd aus, der den DataCore Virtualization Service und die Präsentation der LUNs stoppt und dann den SDS-Server herunterfährt. Power Restored – löst den Befehl writeback.cmd aus, der den Schreib-Cache aktiviert. Verschiedene andere Aktionen werden außerdem empfohlen: Communication Lost While On Battery – löst den Befehl shutdown.cmd aus und fährt den SDS-Server herunter. UPS Internal Temperature Threshold Exceeded – löst den Befehl shutdown.cmd aus und fährt den SDS-Server herunter. Overload – löst den Befehl shutdown.cmd aus und fährt den SDS-Server herunter. All other Warnings – löst den Befehl writethru.cmd aus. Denken Sie daran, die entsprechenden Ereignisse zu konfigurieren, mit denen der Schreib-Cache wieder aktiviert wird, sobald die Warnung behoben ist. Der Screenshot zeigt eine Beispielkonfiguration für das Ereignis „Low Battery“. Die Befehlsdatei „shutdown.cmd“ wird auf dem SDSServer ausgeführt, dann wird das Herunterfahren des Servers eingeleitet. Die Dauer „Command File Execution Duration“ kann je nach Größe der Umgebung variieren, da der SDS-Server den „DataCore Virtualization Service“ stoppen muss. In unserer Umgebung war diese Zeitspanne großzügig bemessen und kann ggf. auf weniger als 2 Minuten heruntergesetzt werden. In einer produktiven Umgebung sollten selbstverständlich E-Mail- und SNMP-Benachrichtigungen für alle Ereignisse konfiguriert werden, die den Schreib-Cache aktivieren/deaktivieren oder die SDS-Server herunterfahren. Seite 24 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 DISASTERSZENARIEN Die folgende Matrix zeigt Desasterszenarien und die Ereignisse in der DataCore-Umgebung bzw. in den Anwendungsservern in unseren VMware ESX-Testservern. Szenario Verhalten des DataCore Verlust des ESX-Server an Standort Eins Keine Auswirkung Verlust des ESX-Server an Standort Zwei Keine Auswirkung Ausfall des SDS-Servers an Standort Eins Ausfall des SDS-Servers an Standort Zwei Vollständiger Ausfall des Rechenzentrums an Standort Eins Vollständiger Ausfall des Rechenzentrums an Standort Zwei Ausfall des Netzwerks zwischen den Standorten (Network Partition) Replikation stoppt; alle Änderungen werden an Standort Zwei nachgehalten. Bei einem Absturz des SDS-Servers muss die Replikation manuell fortgesetzt werden, sobald der SDS-Server wieder online ist. Wenn der SDS-Server aufgrund eines Stromausfalls heruntergefahren wurde, setzt er die Replikation automatisch fort, sobald er wieder online ist. Replikation stoppt; alle Änderungen werden an Standort Eins nachgehalten. Bei einem Absturz des SDS-Servers muss die Replikation manuell fortgesetzt werden, sobald der SDS-Server wieder online ist. Wenn der SDS-Server aufgrund eines Stromausfalls heruntergefahren wurde, setzt er die Replikation automatisch fort, sobald er wieder online ist. I/O wird an Standort Zwei fortgesetzt; alle Änderungen werden nachgehalten und erneut synchronisiert, sobald Standort Eins wieder online ist. I/O wird an Standort Eins fortgesetzt; alle Änderungen werden nachgehalten und erneut synchronisiert, sobald Standort Zwei wieder online ist. Die Replikation funktioniert weiter, solange die SAN-Konnektivität verfügbar ist. Keine Konfigurationsänderungen möglich. Geht die SAN-Konnektivität ebenfalls verloren, werden Änderungen an beiden Standorten nachgehalten und synchronisiert, sobald die Verbindung wieder online ist. „Split Brain“-Szenarien müssen von der Anwendung gelöst werden. Ausfall des redundanten Frontend-Pfads Keine Auswirkung. Ausfall des redundanten Backend-Pfads Keine Auswirkung. Replikation stoppt; alle Änderungen werden auf das Array an Standort Zwei geschrieben. Wenn das Array an Standort Eins wieder online ist, kann die Spiegelung entweder inkrementell oder vollständig synchronisiert werden. Replikation stoppt; alle Änderungen werden auf das Array an Standort Eins geschrieben. Wenn das Array an Standort Zwei wieder online ist, kann die Spiegelung entweder inkrementell oder vollständig synchronisiert werden. Ausfall des Backend-Arrays an Standort Eins Ausfall des Backend-Arrays an Standort Zwei Seite 25 von 34 Auswirkung auf die ESX-Hosts VM fällt an Standort Eins aus und wird über VMware HA an Standort Zwei neu gestartet. Keine Auswirkung, allerdings wird Standort Zwei für produktive VMs verwendet. Dann fallen diese aus und werden von VMware HA an Standort Eins neu gestartet. Keine Auswirkung, Datenverkehr wird auf Standort Zwei umgeleitet. Keine Auswirkung, Datenverkehr wird auf Standort Eins umgeleitet. VM fällt an Standort Eins aus und wird über VMware HA an Standort Zwei neu gestartet. Keine Auswirkung, allerdings wird Standort Zwei für produktive VMs verwendet. Dann fallen diese aus und werden von VMware HA an Standort Eins neu gestartet. Das VMware-Cluster wird getrennt. Die ESX-Server, die ihr Isolierungs-Gateway nicht erreichen können, stoppen ihre VMs, und VMware HA startet diese erneut auf den Servern, die noch eine Verbindung zu ihren Isolierungs-Gateways haben. ESX-Server leiten ihren Datenverkehr zum anderen Rechenzentrum um. Keine Auswirkung. Keine Auswirkung. Keine Auswirkung. www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Beide SDS-Server befinden sich im gleichen Raum, und die Stromversorgung dieses Raums wird unterbrochen. Beide SDS-Server verlieren die Verbindung untereinander und ihr dediziertes Speicher-Array. Die Präsentation des virtuellen Laufwerks wird erst gestoppt, wenn der Server heruntergefahren wird. Wenn nur die SDS-Server durch eine USV geschützt sind, dann gehen die Daten im Cache verloren, sobald die Batterie der USV entladen ist. Sie müssen auf ihre Datensicherung zurückgreifen, da die verlorenen Daten zwar der Anwendung bestätigt wurden, allerdings verloren gegangen sind. Wenn die USV die gesamte Umgebung schützt, dann werden die I/Os aus dem Cache auf das Speicher Array geschrieben und der Schreib-Cache wird deaktiviert, bevor der SDS-Server heruntergefahren wird. Entweder fällt der ESX-Server aufgrund einer Stromunterbrechung aus oder die VM fällt aus, weil die Disk verloren geht, wenn das SAN abgeschaltet wird. HOST-KONNEKTIVITÄT Eine DataCore-Umgebung enthält so genannte NMVs (Network Managed Volumes). Diese Datenträger (Volumes) werden in den Pools erstellt. Die Größe dieser Datenträger beträgt immer 2 TB. Für jedes virtuelle Laufwerk muss ein NMV erstellt werden. Dieser Screenshot zeigt, wie mehrere NMVs gleichzeitig erstellt werden. Für ein gespiegeltes virtuelles Laufwerk muss auf jedem SDS-Server ein NMV erstellt werden. Daher müssen die gleichen Schritte auch für Knoten Zwei durchgeführt werden. Vergessen Sie nicht, die Änderungen zu übernehmen (Apply). Überprüfen Sie nun, ob alle NMVs erfolgreich an beiden Knoten erstellt wurden. Die NMVs können umbenannt werden, um anzugeben, zu welchem virtuellen Laufwerk sie gehören. Seite 26 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Seite 27 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Zum Erstellen eines virtuellen Laufwerks aus einem NMV kopieren Sie einfach das NMV per Drag-and-Drop. Zum Erstellen gespiegelter virtueller Laufwerke fügen Sie einfach ein NMV vom zweiten DataCore-Server zum virtuellen Laufwerk hinzu. Das neue gespeicherte virtuelle Laufwerk muss übernommen werden, damit es genutzt werden kann. Seite 28 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Bevor das virtuelle Laufwerk dem Hosts zugewiesen werden kann, sollte es ebenfalls umbenannt werden. . In den Eigenschaften (Properties) der virtuellen Laufwerks müssen einige wichtige Einstellungen vorgenommen werden. Der Screenshot zeigt alle Eigenschaften der virtuellen Laufwerks, die bei Bedarf eingestellt werden können. Die wichtigsten Eigenschaften werden nachfolgend kurz beschrieben: Name – sollte geändert werden, um das Laufwerk von anderen zu unterscheiden. Logical size – ist die Größe des Laufwerks aus Sicht des Hosts. Man kann dies auch als LUN-Größe bezeichnen. Write Through Mode – deaktiviert den Schreib-Cache für dieses virtuelle Laufwerk. Persistent Reserve – SCSI 3 PGR ist für VMware Umgebungen erforderlich. Asymmetric LUN Access – für VMware empfohlen, da es den ESX-Servern ermöglicht, den bevorzugten Pfad zu wählen u. den Datenverkehr immer zum „primären“ virtuellen Laufwerk umzuleiten rd 3 Party Alternative Path / MPIO (3PAP) – diese Option aktiviert Multipathing für das. Virtuelle Laufwerk. Alle Eigenschaften des virtuellen Laufwerks sind eingestellt. Jetzt können Sie den Host konfigurieren und das Laufwerk zuweisen. Dazu müssen Sie zunächst einen Host erstellen und die verfügbaren Pfade auf diesem Host in Gruppen zusammenfassen. Seite 29 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Legen Sie die entsprechenden Channels per Drag-and-Drop auf dem erstellten Host an. Identifizieren Sie sie durch den ServerWWPN. Übernehmen Sie auch hier die Änderungen. Weisen Sie nun das virtuelle Laufwerk per Drag-and-Drop dem erstellten Host zu. Seite 30 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Vergewissern Sie sich, dass die Abbildung auf beiden Pfaden richtig ist, und korrigieren Sie bei Bedarf die LUN-Nummer. Das Laufwerk ist jetzt dem Host zugewiesen, und die Host Multipathing-Software ist konfiguriert. In unserem Test verwenden wir VMware ESX-Server als Hosts, die mit dem DataCore SANsymphony-System verbunden sind. Es müssen einige Einstellungen für das ESX-Multipathing konfiguriert werden. Geben Sie die folgenden Befehle in die ESX-Befehlszeile ein: esxcfg-advcfg -s 1 /VMFS3/FailVolumeOpenIfAPD esxcfg-advcfg -s 200 /Scsi/ConflictRetries Für die Verwendung einer Standardkonfiguration der virtuellen Laufwerke benutzen Sie: esxcli nmp satp addrule --satp="VMW_SATP_DEFAULT_AP" --model="SANsymphony" --description="DataCore SANsymphony" Bei der Konfiguration des virtuellen Laufwerks für ALUA (für VMware empfohlen und in unseren Tests eingesetzt): esxcli nmp satp addrule --satp=”VMW_SATP_ALUA” --claim-option=”tpgs_on” --model=”SANsymphony” --description=”DataCore SANsymphony ALUA” Sie finden all diese Informationen in den technischen Bulletins von DataCore für alle Host-Betriebssysteme. Nutzen Sie dazu den Link zu allen technischen Bulletins im Abschnitt „Nützliche Links”. Beispiel für VMware vSphere 4: ftp://support.datacore.com/psp/TBs/TB5b_vSphere_config.pdf Beachten Sie, dass Sie ggf. den DataCore Multipathing-Treiber für Windows Systeme der auf dem nativen MPIO basiert aufgrund von Supportbeschränkungen einsetzen müssen. Seite 31 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 GLOSSAR UND WEITERE INFORMATIONEN In diesem Dokument verwendete Abkürzungen: Abkürzung ADS ALUA DNS FTS HBA LUN NMV NPIV RAID SAS SAU SCSI SDS SNMP USV WWPN Bedeutung Active Directory Services Asymmetrical LUN Access Domain Name Service Fujitsu Technology Solutions Host Bus Adapter Logical Unit Number Network Managed Volume Node Port Identifier Virtualization Redundant Array of Independent Disks Serial Attached SCSI Speicher Allocation Unit Small Computer System Interface Speicher Domain Server Simple Network Management Protocol Unterbrechungsfreie Stromversorgung World Wide Port-Name NÜTZLICHE LINKS UND WEITERE INFORMATIONEN: DataCore: Link zu technischen Bulletins: ftp://support.datacore.com/psp/TBs Fujitsu: Ansprechpartner für technischen Support, Konfiguration, Leihstellungen etc.: Wolfgang Schenk Mobil: +49 (0) 163 2586483 Email: wolfgang.schenk@ts.fujitsu.com Weitere Informationen ETERNUS DX: de.fujitsu.com/eternus de.fujitsu.com/primergy Weitere Informationen PRIMERGY: Weitere Informationen Brocade: Email: ftsemea@brocade.com www.BROCADE.com Seite 32 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 ANHANG Zoning-Beispielkonfiguration Fabric1: Seite 33 von 34 www.de.fujitsu.com BEST PRACTICES DATACORE SANSYMPHONY MIT ETERNUS DX60/80 Zoning-Beispielkonfiguration Fabric2: KONTAKT FUJITSU Technology Solutions Adresse: Heinz-Nixdorf-Ring 1, 33106 Paderborn / Germany Tel:+ 49-5251-525-2462 Fax: +49-5251-32-2462 E-mail: manuel.lange@ts.fujitsu.com Website: www.de.fujitsu.com Sep. 2010 Seite 34 von 34 Alle Rechte vorbehalten, einschließlich der Rechte an geistigem Eigentum. Änderungen bei den technischen Daten vorbehalten. Lieferung unter dem Vorbehalt der Verfügbarkeit. Haftung oder Garantie fur Vollstandigkeit, Aktualitat und Richtigkeit der angegebenen Daten und Abbildungen ausgeschlossen. Wiedergegebene Bezeichnungen können Marken und/oder Urheberrechte sein, deren Benutzung durch Dritte für eigene Zwecke die Rechte der Inhaber verletzen kann. Weitere Informationen finden Sie unter: ts.fujitsu.com/terms_of_use.html Copyright © FUJITSU Technology Solutions GmbH 2010 www.de.fujitsu.com