Clustersystemen in-depth bij Digit-Life

Op Digit Life is een uitgebreid artikel verschenen over clustering. Het stuk is niet bedoeld als analyse van varianten op verschillende probleemoplossingen maar gaat dieper in op de terminologie en de toepassingsmogelijkheden. Na een korte inleiding over clusters in het algemeen gaat de schrijver dieper in op de verschillen in architectuur. De kenmerken van een cluster zijn afhankelijk van het doel waar het system voor gebruikt gaat worden. De systemen zijn globaal in te delen in drie groepen: High Performance(HP), High Availability (HA) of een combinatie van beide.

According to the functional classification, clusters can be divided into High Performance (HP), High Availability (HA) and Combined Systems. High-performance clusters are used for problems which require considerable processing power. Here are typical fields where such systems are used:

- image processing: rendering, pattern recognition
- research studies: physics, bio-information science, biochemistry, bio-physics
- industry (geoinformation problems, mathematical simulation)
- and many others...

HA clusters are used when cost of possible downtime exceeds cost of inputs necessary to build a cluster system, for example:

- billing systems
- banking operations
- electronic commerce
- operation of business etc...

Combined systems have peculiarities of both classes.

een schema van een High Availability cluster

Reacties (25)

Verwijderd 23 april 2002 12:33

wat hier dus niet staat, is dat je een shared disk nodig hebt ( quorum-disk) die kun je via shared scsi ( scsi-hub radial topology ) doen , of via het SAN . je hebt dus pertinent geen 2 storage boxen nodig. 1 is genoeg. verder heb je dus ook een hartbeat nodig , die monitored of de andere node nog op is. ook een active/pasive cluster is mogelijk , waarbij er 1 op standby staat en het overneemt als de hoofd node dood is .

Shared storage op meerdere clusternodes is het belangrijkste concept. Alleen wat als die uitvalt, dan zit je nog met de shit. Uitval van hardware is No 1. Disk, No. 2 power supply.

Beste oplossing is:
Twee of meerdere clusternodes naar redundant FC Switch of AL-hub's. Daarnaast 2 disk array's waarvan 1 primary in raid-5 (misschien meerdere logische volumes en split bus) met hot-spare disks. Daarnaast een tweede raid systeem in identieke configuratie welke een Raid-1 is van de eerste.

Je krijgt dan de volgende configuratie:

Clusternode 1 ---> FC Switch 1 (of FC-AL hub)
Clusternode 2 ---> FC Switch 1 (of FC-AL hub)
Clusternode 1 ---> FC Switch 2 (of FC-AL hub)
Clusternode 2 ---> FC Switch 2 (of FC-AL hub)

Storage 1 ----> FC Switch 1 (of FC-AL hub)
Storage 2 ----> FC Switch 1 (of FC-AL hub)
Storage 1 ----> FC Switch 2 (of FC-AL hub)
Storage 2 ----> FC Switch 2 (of FC-AL hub)

FC Switch 1 ---> FC Switch 2 (E-Port)

Dan primary paden definieeren:
Node 1 ---> Switch 1 ----> Storage 1 port 1
Node 2 ---> Switch 2 ----> Storage 1 port 2
Storage 1 ----> Switch 1 ----> Storage 2
Storage 2 ----> Switch 2 ----> Storage 1

Secundaire paden definieeren:
Node 1 ---> Switch 2 ----> Storage 1 port 2
Node 2 ---> Switch 1 ----> Storage 1 port 1
Storage 1 ----> Switch 2 ----> Storage 2
Storage 2 ----> Switch 1 ----> Storage 1

Wat er ook geschied, het cluster blijft vrij goed in de lucht. Natuurlijk alle systemen met dubbele power supplies, per raid-5 set 1 hotspare disk.

Geen dual channel kaarten gebruiken, maar single channel. Want anders liggen er gelijk 2 verbindingen uit.

Daarnaast iedere server met 2 netwerkkaarten en die in een Cisco switch group hangen en channel bundeling gebruikern (adapter teaming).

Server 1, eth0 ----> Cisco 1 (1 gibi) ] team 1
Server 1, eth1 ----> Cisco 2 (1 gibi) ] team 1
Server 2, eth0 ----> Cisco 2 (1 gibi) ] team 2
Server 2, eth1 ----> Cisco 1 (1 gibi) ] team 2

Cisco's ook met dubbel powersupply uitvoeren.

Daarnaast, power goed verdelen.

Group 1 (fase 1) CN1 SW2 ST1
Group 2 (fase 2) CN2 CIS1 ST2
Group 3 (fase 3) SW1 CIS2 Other

En nog zijn er combinaties van onderdelen welke niet uit mogen vallen. Oplossing, een derde clusternode etc.

Als je geld over hebt kan je het concept uitbreiden. Je doet dan het volgende:

Meerdere raid-5 volumes op storage systeem, een even aantal definieeren. Bijvoorbeeld 4.

Storage 1:volume 1 - mirror (raid 1) --> Storage 2:volume 1
Storage 2:volume 2 - mirror (raid 1) --> Storage 1:volume 2
Storage 1:volume 3 - mirror (raid 1) --> Storage 2:volume 3
Storage 2:volume 4 - mirror (raid 1) --> Storage 1:volume 4

Daarnaast 2 extra FC kaarten in elke server en dan de switchen bypassen.

Node 1 ---> Storage 1
Node 2 ---> Storage 1
Node 1 ---> Storage 2
Node 2 ---> Storage 2

En primary en secundairy paden aanmaken.

Kost wel een hoop PCI sloten. En lots of hardware.

arnob 22 april 2002 13:44

Mooi stukje 'documentatie' dat artikel

Er wordt niet gerept over shared nothing load balancing. Dat zou het completer maken.

buum @arnob • 22 april 2002 13:48

Klopt, maar ja: load balancing is in feite een vorm/variant van High Availability. Zo zijn er overigens nog veel meer vormen, vooral een combinatie van de genoemde dingen.

MetalStef

@buum • 22 april 2002 14:10

Sorry, maar volgens mij is load-balancing meer een onderdeel van High Performance ipv High Availability.

Load-balancing zorgt ervoor dat alle servers in een cluster ongeveer even zwaar belast worden. In een HA-omgeving is zoiets mooi meegenomen, maar geen hoofd-onderdeel van de HA-setup.

In een HP-setup is load-balancing juist van levensbelang: Als het werk zich voor één server opstapeld tot boven de 100% van de workload, dan is er geen High Performance als andere servers het niet van hem overnemen. In dat geval had je dus net zo goed geen cluster kunnen neerzetten.

Verwijderd 22 april 2002 14:26

Load balancing wil je niet altijd hebben. Ben zelf nu een HACMP cluster aan het inrichten met een Sybase db waar je dat niet wilt hebben. Geen concurrent access db namelijk, sybase. Maar je wilt wel 2 online db's, zodat de takeover tijd minimaal is (zelfs zo kort dat de gebruiker het niet merkt, jajajaja!)

Verwijderd 23 april 2002 20:36

--------------------------------------------------------------------------
Shared storage op meerdere clusternodes is het belangrijkste concept. Alleen wat als die uitvalt, dan zit je nog met de shit. Uitval van hardware is No 1. Disk, No. 2 power supply.
---------------------------------------------------------------------------
uitval is niet automatisch een systeem down . als dat bij jouw wel is, dan heb je geen redundant systeem.
disken is raid-protected , power is dual power , ups , meerdere fase

----------------------------------------------------------------------------
Geen dual channel kaarten gebruiken, maar single channel. Want anders liggen er gelijk 2 verbindingen uit.
----------------------------------------------------------------------------
nee , dan gebruiken we 1 channel , dan hebben we redundancy in de kaart, kabel , en enclosure

tuurlijk 2 kanalen gebruiken. dan kan je als je de raidsets goed maakt , zelfs een diskrack , scsi-kabel of kanaal verliezen.

en zoals hierboven beschreven kun je beter een 2de fibre-adapter erin stoppen , die failover supporten (ligt aan het os ) en dus redundant paden hebben , en load-balance doen.
--------------------------------------------------------------------------

roelio 22 april 2002 13:39

Die lijnen in het plaatje zijn allemaal aparte netwerklijnen dwz. 1 computer heeft 4 netwerkaansluitingen? Of zie ik dat verkeerd...

Femme UX Designer @roelio • 22 april 2002 13:44

De onderste lijnen zijn voor de SAN (Storage Area Network). Dat kan ook Fibre Channel zijn ipv traditioneel ethernet.

Croga

@roelio • 22 april 2002 13:47

Roelio;
Ja, in het bovenstaande plaatje wel. Iedere PC heeft 2 links naar het LAN, en 2 links naar het SAN (Storage Area Network) waaraan de opslag media gekoppeld zijn.

De 2 links naar het LAN worden gebruikt voor het geval 1 van de Switches/NICs/Kabels uitvalt. De 2 links naar het SAN kunnen op meerdere manieren worden gebruikt. Bijvoorbeeld om beide servers live te laten werken op beide sets storage, maar ook is het denkbaar dat iedere server zijn eigen opslag heeft en in geval van nood de taken van de andere server kan overnemen.

Als je het artikel leest krijg je wat meer inzicht hier in. Het artikel is niet zo ver uitgewerkt als ik graag zou willen (het maakt melding van mogelijkheden voor distributed computing over Windows netwerken, maar gaat er niet ver genoeg op in om mijn vragen te beantwoorden

) maar is wel erg duidelijk in het verhaal wat men wil vertellen.

SkiFan @roelio • 22 april 2002 13:44

Volgens mij heeft iedere server gewoon maar 2 lijnen naar iedere switch toe (redundancy), en de sans zou ik gewoon aan de switches hangen.

Croga

@SkiFan • 22 april 2002 14:00

Robert,

Over het algemeen zal dat ook wel gebeuren.
Het voordeel van een apart SAN is dat je een klein stukje "netwerk" op een hele hoge bandbreedte kunt laten werken, zonder dat je veel dure switches nodig hebt. Daarnaast zijn dit soort high-end netwerken vaak niet te koppelen aan de "eenvoudige" ethernet LANs.

SkiFan @Croga • 22 april 2002 15:47

Ja, dat kan wel zijn, maar als je dergelijke oplossingen bedenkt, dan hang je de fallovers toch wel op aparte switches lijkt me zo. Bovendien gebruik je daar gigabit voor, dus dan lijkt me de bandbreedte van de switching fabric altijd nog wat groter dan die van de poorten zelf. Dit zou niet iets zijn waar ik problemen op zou verwachten, terwijl je je SANs dan indien het mogelijk is, qua snelheif ook nog voor andere doelen in kunt zetten.

Croga

@Croga • 22 april 2002 16:10

Robert,

Als je het stukje goed door kijkt, zul je zien dat Gigabit Ethernet in dit geval één van de minder oplossingen is. Ze gaan liever voor SCI of QsNet. Die zijn weer niet echt geschikt voor andere doeleinden (vanwege de prijs).
Gigabit Ethernet is niet echt snel genoeg voor dit soort toepassingen. Kijk maar eens naar je eigen PC. Daar heb je ook liever ATA133 dan wat anders, en dat is al sneller dan Gigabit Ethernet...

Toegegeven: SCI is ongeveer 10 keer zo duur als Gigabit, maar als je over dit soort systemen praat, zal die $1200 voor zo'n SCI controller niet veel meer uit maken....

Femme UX Designer @Croga • 23 april 2002 00:20

Een SCI controller van 1200 dollar per node en 5000 dollar voor een 8-poorts switch levert een behoorlijke kostenpost op als er een cluster van bijvoorbeeld 64 machines wordt samengesteld. Eén van de beoogde voordelen van clustering zijn de lage kasten. Gigabit doet 't als low-cost oplossing juist erg goed.

freaky @SkiFan • 22 april 2002 14:41

Om nog maar niet te praten over het feit dat je op een groot HP netwerk niet je algehele netwerk verkeer op dezelfde switch wilt hebben als de storage ivm de HP, security issues daar gelaten.

Verwijderd 22 april 2002 16:24

Voor de windows gezinde mensen is er Computer associates die Survive-It! aanbieden dit is een clustersoft voor windows. Voor zij die echt enkel ms willen is er MSClus server ja hoor ook microsoft gelooft in cluster. Mja de vroeger servers waren vaak processor clusters (meerdere processors parrallel) dus zo nieuw is die techniek ook weer niet.

Mja da hebben we al dikwijls gezien. Active directory zou ook het grote licht zijn in Windows 2000 maar novell was al tien jaar eerder van de kaarsjes naar het licht gegaan !

Verwijderd 22 april 2002 20:37

wat hier dus niet staat, is dat je een shared disk nodig hebt ( quorum-disk) die kun je via shared scsi ( scsi-hub radial topology ) doen , of via het SAN . je hebt dus pertinent geen 2 storage boxen nodig. 1 is genoeg. verder heb je dus ook een hartbeat nodig , die monitored of de andere node nog op is. ook een active/pasive cluster is mogelijk , waarbij er 1 op standby staat en het overneemt als de hoofd node dood is .