Soluţie NAS pentru acasă

La storage e ca și cum ai avea un SSD local, dar se duce ceva kernel time pe partea de rețelistică; cel puțin un core stă sus la 6Gbps. Cred că se poate reduce un pic din jumbo frames, dar trebuie să mă prind cum se face asta în ESXi.
 
  • Like
Reactions: Neo
NAS-ul arată cam așa:
  • i7 4770S
  • MB Q87 (pentru VT-d)
  • 32GB RAM
  • ESXi 6.7 bootat de pe stick USB, cu un SSD și 2 HDD-uri ca datastores pentru VM-uri
  • controller M5015 (cu firmare-ul LSI, mai încerc între cele două) montat passthrough către un VM cu Windows
  • pe controller HDD-uri Seagate Desktop 4TB (5 bucăți în RAID5) + alte două hdd-uri kindof JBOD (nu există configurare în care să scrie JBOD pe controller, sunt configurate RAID0 cu un singur HDD).
  • NIC Mellanox ConnectX 2 cu transceiver 10G de la FS.com

Desktop-ul are și el același NIC și transceiver.
 
Jumbo frames 9000
[SUM] 0.00-10.00 sec 10.4 GBytes 8.89 Gbits/sec sender
[SUM] 0.00-10.00 sec 10.4 GBytes 8.89 Gbits/sec receiver

Dar tot folosește cam 1 core.
 
Chestii interesante și faine prin Windows (la care nu mă așteptam, mai demult nu funcționa așa out of the box); server (VM pe NAS) = win 2016 server cu share-uri "normale" SMB, client (dekstop) = Win 10 Pro; ambele au câte 2 plăci de rețea, în subnet-uri diferite, una de 1Gbps și cealaltă de 10Gbps
- copiat de pe un share pe altul de pe client; aproape 0 trafic pe rețea, se trimit doar comenzile către server și ăla face toată treaba local; clientul raportează status-ul și graficul de viteză în timp real
- accesat share de pe server cu IP-ul de pe 1Gbps; viteza e 10Gbps, pentru că trece transparent pe cealaltă conexiune chiar dacă nu i-ai zis asta; chestia funcționează cât timp sunt enabled ambele conexiuni
- pornit copiere masivă de pe server pe client (folosește clar conexiunea de 10Gbps); dat disable la placa de 10Gbps, trece transparent (în timpul copierii unui fișier) pe conexiunea de 1Gbps; dat enable la placa de 10Gbps, revine la ea.

Când a scăzut viteza am dat disable la placa de 10Gbit, când a făcut gâlma următoare i-am dat enable dar se terminase RAM-ul desktop-ului (target-ul e un HDD, n-are cum 500MB susținut):
13691


Ce nu-mi place e că unele aplicații și mai ales jocuri n-au chef să folosească share-uri de rețea, ori nu le văd deloc, ori dau eroare, chiar dacă-s montate local; trebue să văd cum merge iSCSI, că apare ca disc local, la alea n-ar trebui să mai facă cineva nazuri.
 
- pornit copiere masivă de pe server pe client (folosește clar conexiunea de 10Gbps); dat disable la placa de 10Gbps, trece transparent (în timpul copierii unui fișier) pe conexiunea de 1Gbps; dat enable la placa de 10Gbps, revine la ea.
3a5.jpg
 
Aseară am vrut să fac și eu update la OS-ul de pe NAS. E un Ubuntu 14.04 și-am zis că ar fi cazul să trec pe ceva mai nou (Debian stable). Totul era pregătit cu pre-migration/actual migration/post-migration tasks scrise frumos cu liniuță, dar nu știu ce mi-a venit și am mai aruncat o privire la configul de RAID și am observat că două array-uri erau degraded. Din nu știu ce motiv, un disc a fost dat afară. N-am găsit nimic în loguri, smartctl încă arată decent (n-am sectoare realocate, testele n-arată erori). Nu era neapărat mare tragedie, dar am zis să rezolv problema înainte de a continua, așa că am dat un rsync spre un disc de backup și acum aștept să se sincronizeze discul readăugat în array-uri.

În altă ordine de idei, AWS Glacier Deep Archive costă $1/TB/lună. Păcat că trebuie să le dai $90 pentru a-l scoate din ecosistemul lor. :sad:
 
Fișierul ăla fiind unul din cele 7234 în curs de copiere, iar graficul arată chiar bine după 1500 fișiere copiate.
 
Cu fișiere mici e ceva mai trist, dar încă rezonabil (un hdd local are cam aceeași viteză cu fișiere mici și multe).

1565938189493.png
 
Sursa SSD SATA, destinația RAID5 din 5 HDD-uri în NAS.

Cu SSD SATA și pe destinație (virtualizat, controller diferit) și același tip de fișiere (între 3k și 1MB cu o mediana pe la 10k, preview-uri randate Lightroom) obțin cam aceeași viteză.

1565939896724.png
 
Și dacă tot stăm acasă (mai mult timp liber și acces mai rapid la chestii care mă râcâiau), am mai aranjat câte un pic rețeaua. Am trecut la un backbone cu router + switch-uri 10g și access point-uri pe unde e cazul. Of course, nimic nu e dacă monitorizare nu e...

Local.png

Legăturile sunt un pic mai ciudate pentru că unele device-uri sunt alimentate PoE într-un mod mai întortocheat.

Am renunțat la HDD-uri în desktop, storage-ul cu controller hardware și rețelistică 10g e echivalent ca performanțe, așa că am mutat acolo tot. Acum mă gândesc la o carcasă mult mai mică pentru desktop, pentru că e o tonă de spațiu în ea degeaba dar probabil la un viitor upgrade.
 
Eu nu inteleg cum ai justificat 10G acasa. Adica inteleg ca unele lucruri intra in cap si nu stii ca poti trai fara, dar totusi, ai gasit 10Gbit asa ieftin, sa merite mai ales in combinatie cu T60 de exemplu?
Eu ma laud ca azi am reusit sa-mi fac chef sa alimentez si trag un patchcord de 2m la un vechi Linksys E4200 pus ca si AP caci routerul din chirie de la RDS nu trece neam pe 20Mbit pe WiFi si ma gandeam ca asta ma limiteaza la transferul celor 15GB de poze din iPhone pe desktop (dar nu asta era vina pentru transferul lent, nu stiu ce este, am renuntat, pot sa astept 5 zile sa le transfer oricum).
 
Back
Top