Recomandare server storage

scristian

scristian

Membru Senior
Momentan la birou avem o solutie SAN pentru storage de la IBM. Pentru compute avem IBM Blade Center.
Ca sa marim capacitatea am facut niste calcule si cred ca am iesi mai ieftin pe o solutie custom NAS bazata pe RedHat Storage Server care e pe GlusterFS.

Ca sa experimentam fiabilitatea as vrea sa incep initial cu 4 node-uri cu o configuratie per nod: 16G RAM, 12 disk-uri SATA de 2T sau 3T.
Carcasele preferabil 3U, ~12 bay-uri. MB sa duca 32G Ram. Un buget pentru un nod fara disk-uri in jur de $1k.

Aveti ceva recomandari pret/calitate de MB-uri, carcase, surse, controller raid ?
Alte sugestii daca solutia are lacune is bine venite :)

Ceva de genul acesta http://www.ebay.ca/itm/XYRATEX-IBM-...rver-12-Bays-Xeon-QC-L5410-16Gb-/390763038194

Merci
 
Orice placa de baza consumer grade suporta 32 GB de RAM, dar nu stiu daca vreti chiar consumer grade sau prosumer grade. Cu memorii registered poti pune 64 GB, la nevoie 128GB pe o placa cu doar 4 sloturi de RAM. Nu stiu care e treaba cu 16 GB per nod cand nu costa prea mult sa pui direct 32 GB.

Controller: din ce am auzit in ultima vreme controllerele LSI SAS simple (non-RAID) sunt foarte apreciate. Nu am o experienta recenta cu ele ca sa pot spune de ce, dar nici de alternative mai bune nu am auzit. Cred ca cel mai usor gasesti cu 8 sau 16 porturi, nu cu 12, dar poti pune cate 2 de 8. Orice controller SAS decent va fi mai rapid decat orice controller SATA integrat in momentul in care folosesti mai multe discuri in paralel. Daca vrei controller RAID bugetul sare in sus mai mult decat performanta.

Nu imi dau seama care e scopul acestui storage, 4 noduri de 12 discuri de 2-3 TB inseamna un raw capacity de 96-144 TB. E mare, foarte mare daca nu ai chestii foarte mari mancatoare de storage care eventual nu au nevoie de I/O mare. Daca nu pui placi de retea 10GB vei avea o capacitate foarte mare in fiecare nod, dar greu de accesat. De-aia zic ca in loc sa spui ce vrei sa obtii intrebi cu totul altceva, gen "din ce piese fac un computer care sa duca Linux cu 16 GB de RAM si 12 discuri SATA".

Deci, la intrebarea despre piese un raspuns ar fi cam asa: orice placa de baza de la un fabricant top 3 care accepta un Xeon si memorie registered si minim 2 sloturi PCI 16x/8X (controllerele SAS au nevoie de obicei de 4x sau 8x). Daca nu vrei sa poti pune vreodata 64 GB de RAM atunci orice placa de baza de la un fabricant top 3 cu orice procesor Intel fara hyperthreading (nu ai nevoie) si 2 memorii de 8 GB bucata. Daca gasesti in bugetul alocat niste SATA enclosures ar fi mai bine decat carcase ATX generice, mai ales ca vin si cu alimentare uneori redundanta.

O alta varianta ar fi niste DAS-uri, au in ele si suficiente sloturi pentru HDD, alimentare si controller RAID. Daca iei unul cu 24 de discuri atunci legi cate 2 noduri la un DAS partitionat (sunt modele cu 2 controllere redundante).

Google poate sa faca chestii in genul asta mai bine pentru ca poate sa cumpere componente cu camionul la preturi foarte bune. Daca se aplica la Google nu inseamna ca ti se aplica si tie, din pacate, decat daca pe sigla de la intrare scrie Google Romania, caz in care vorbesti cu colegii care fac datacenters si iti dau ei reteta.
 
Înțeleg că mașinile astea 4 vor fi test systems pentru fiabilitatea hardware și probabil performanță, pentru că fiabilitatea GlusterFS se poate verifica ieftin în VM-uri (poate chiar închiriate într-un cloud). Dacă rezultatele-s bune vreți să continuați exact cu același hardware, și să-i mai puneți ceva RAM.

Întrebarea lui AdiB1 e bună, ce vreți de la storage? Spațiu, throughput, IOPS, redundanță? De obicei nu le poți avea pe toate (fără o căciulă de bani).
 
Storage-ul va fi utilizat pentru volume (block storage) la masini virtuale pe OpenStack. Applicatiile nu sunt intensive in IO. La solutia actuala am ajuns din cerinta de a fi storage-ul disponibil chiar la caderi de disk, server, retea. Eu luam in calcul fiecare nod sa fie cu RAID6 sau RAID10 si redundanta la nivel de server cu GlusterFS. Cred ca ma pot multumi si cu 8 disk-uri pe node daca ar fi mai cost effective.

@AdrianB1
LSI-uri non-RAID cred ca te referi la asa ceva http://www.newegg.com/Product/Product.aspx?Item=N82E16816118182 ?
Sunt si RAID destul de affordable http://www.newegg.com/Product/Product.aspx?Item=N82E16816118173

@miahi
Ideea e sa incepem cu astea 4 node-uri in test si eventual productie. Ideea e ca solutia sa fie usor/ieftin de scalat. Daca ar fi sa aleg ce vrem e redundanta, throughput decent si spatiu.

Merci mult de sugestii
 
Ciudat, la 50-100 TB de storage te astepti la sute sau mii de masini virtuale care sa ruleze aplicatii; la sute de VM-uri iti trebuie ceva IO, nu gluma. Sorry, asa ceva e in alta clasa de pret, eventual daca pui SSD-uri si 10GbE. Sau nu am inteles eu problema.

Cu HDD-uri SATA capacitatea creste mult mai repede decat I/O. Daca vrei ceva mai echilibrat mergi pe SAS sau, mai degraba, SSD.
 
Storage-ul e doar pentru volume, nu vor tine SO-ul. Masinile virtuale sunt pe disk-uri locale pe masinile de compute, care in viitor vor fi upgradate cu SSD-uri. Singura problema e ca nu suporta live migration asa o configuratie, dar e peste buget :)
 
Evident ca nu pot tine 4 node-uri mii de host-uri.
2 node-uri cu 8 disk-uri/node de 2T in RAID6 si GlusterFS replicate inseamna util vreo 12T. Oi fi eu pesimist si presupun ca vor tine toate pr0n :)
 
Trebuie sa te gandesti foarte bine la asta, daca nu ai nevoie de capacitate mare atunci poti pune SSD-uri mici si vei avea I/O din belsug. Intai faci capacity planning si apoi mergi mai departe, nu invers sau sari peste pentru ca automobile.
 
You must log in or register to reply here.
Back
Top