Cloud storage

puterfixer

puterfixer

Administrator
Sugar daddy
Cine e expensive much, cloud storage? Anul trecut am avut un bucket B2 la Backblaze în care vărsam backup-uri incrementale (cu deduplicare) de pe un server. Primul backup a avut vreo 130GB, apoi pe parcursul unui an toate alea incrementale au ajuns undeva la vreo 250GB. Factura Backblaze a fost de circa 63 cenți pentru câte 3 luni o dată.

Recent, Cloudflare a lansat propriul serviciu de storage, R2, care poate fi cuplat în mod șmecher cu niște agenți proprii și serviciul de proxy HTTP(S) prin DNS încât să țin un site pe un hosting undeva dar atașamentele să le țin în R2 și să fie livrate direct de Cloudflare fără ca bucket-ul în întregime să fie făcut public. Limitele serviciului gratuit sunt foarte generoase, atât pentru operațiuni cu cost ridicat (creat obiecte, modificat) cât și pentru cele cu cost scăzut (citit). Momentan sunt vreo 11GB de atașamente acolo și costul este zero.

Deci explică-mi ce e expensive much la cloud storage dacă știi ce fel de storage să alegi pentru ce nevoi ai. Da, dacă alegi hot storage pentru mașini virtuale în cloud, ăla costă mai mult, dar colecția de filme și poze nu se încadrează acestui profil, nu?

[edit] Probabil trebuie să abordăm problema altfel. Majoritatea oamenilor au o idee sau pot măsura imediat câte date au - număr de fișiere și volum total. Însă aceste numere te bagă în ceață când vine vorba despre cloud storage, fiindcă îți trebuie informații mai detaliate pe care nu le ai, și atunci îți rămâne doar să vorbești din impresii și pe presupuneri de cele mai multe ori complet nefondate. De exemplu, traficul de 10GB/lună gratuit pentru un bucket R2 la Cloudflare ce înseamnă, e mult, e puțin? Io am cam 9TB de date în NAS, deci clar 10GB pe lună e mult prea puțin! Dar este oare?

Dacă vrei să îți faci idee despre cât din datele tale le accesezi în mod curent și câte stau acolo neatinse, îți trebuie un software care să îți analizeze storage-ul local și să îți spună: în ultima lună ai accesat 3000 de fișiere cu un volum total de 2GB, în ultimul an ai accesat 8000 de fișiere cu un volum total de 5GB, și stai pe niște TB de fișiere care nu au fost accesate de mai mult de 2 ani. Ceva în genul afișat de FolderSizes, sau poate JDiskReport. Cred că rezultatele vor fi puțin surprinzătoare pentru mulți data hoarderi, și un mult mai bun punct de pornire pentru a estima nevoile reale pentru stocare a datelor și împărțirea lor în storage tiers în funcție de frecvența accesului - hot, warm, cold. Fiindcă nu are rost să discutăm despre hot storage pentru live data care sunt accesate de zeci de ori pe zi, pentru niște TB de date pe care le-ai pus la păstrare acu' 12 ani și de-atunci ai uitat și că există dar le incluzi la totaluri și le consideri „foarte importante”.
 
Last edited:
Everybody gangsta cu Backblaze până trebuie să dai restore la câțiva TB și te arunci pe geam.
 
Ideea e să identifici niște categorii de date, cu niște caracteristici și volumetrie pentru ele, niște cerințe pentru fiecare, o împărțire a cerințelor între regular și exceptional use, și o prioritizare a lor. Să separi datele pe care ar trebui să le restaurezi în bulk la un moment dat, vs. datele la care acest concept nu are sens fiindcă le accesezi selectiv.

Rezultatul e să potrivești categoriile diferite de date cu acele servicii de cloud storage care îți dau compromisul optim între costuri și performanță, în loc să le bagi pe toate în categoria „premium cloud storage” și apoi să faci ochii ca melcul la preț.

Restore la volume mari de date de obicei este asociat cu un eveniment nedorit, și atunci intră în categoria buget pentru dezastre, nu în buget pentru uz zilnic normal. Dar dacă îți faci niște what-if scenarios, poți încerca să combini mai multe variante de utilizare normală și utilizare excepțională pentru ca să-ți faci un TCO pe 5 ani. Apoi estimezi riscurile și iei o decizie, iar peste 5 ani te uiți dacă ai prognozat prea optimist sau prea pesimist combinația aleasă.

Iar dacă timpul de restaurare este atât de important, s-ar putea ca nici un cloud storage să nu fie viabil economic pentru asta, și iaca apelezi la alte variante. Însă trebuie să îți fie foarte clar care dintre date se încadrează aici și care nu.

Also don't forget, în zi de azi tehnologia de deduplicare a avansat încât poate reduce MASIV volumul de date necesar să fie stocat și transferat într-un cloud storage.
 
Tocmai aici eu zic ca e chestia. Cineva care e foarte constient de ce foloseste, cum foloseste, cum sa clasifice, e foarte rar. Unii nu stiu sa-si clasifice tacamurile cu care mananca la masa. In fond avem gel de dus si sampon 3 in 1. Asa ca majoritatea folosesc ce e evident si doar daca isi permit. Un One Drive, un iCloud, etc. Astea mai vin si cu mici avantaje precum niste feeduri cu amintiri care prin interactiune le fac sa para indispensabile.
Eu personal sunt constient ca 90% din acei tera de date de pe PC, nu sunt importante decat in cazul unui dezastru cand voi transfera totul si atunci timp voi avea si o saptamana sa transfer inapoi. Dar pana acolo e greu. E greu pentru ca sunt prea multe oferte, prea variate, incalcite si greu de comparat. Fiecare are cate un tool mai mult sau mai putin user friendly si sa ma apuc de API, zau daca imi arde. Si imi reamintesc, sunt regular user, vreau sa fie usor, simplu, evident.
Apoi asta e partea de arhivare stricta pentru DR. Dar daca vreau sa folosesc cloudul ca si mediu de storcare, revenind la iCloud, la OneDrive, e chiar scump. Zau daca mi se pare ieftin mai ales cand deja am un HDD ca nu m-am nascut ieri. De fapt daca imi bat capul sa caut prin pod cred ca adun de cativa tera de date si oricare dintre noi de aici sigur are colectia lui de HDD nefolosite ce le poate arunca intr-un nas cu orice proc si mobo gasite tot in aceeasi cutie de care nu se poate indura sa o arunce. Consumul? Sa fim seriosi!
 
puterfixer said:
Ideea e să identifici niște categorii de date, cu niște caracteristici și volumetrie pentru ele, niște cerințe pentru fiecare, o împărțire a cerințelor între regular și exceptional use, și o prioritizare a lor. Să separi datele pe care ar trebui să le restaurezi în bulk la un moment dat, vs. datele la care acest concept nu are sens fiindcă le accesezi selectiv.

Rezultatul e să potrivești categoriile diferite de date cu acele servicii de cloud storage care îți dau compromisul optim între costuri și performanță, în loc să le bagi pe toate în categoria „premium cloud storage” și apoi să faci ochii ca melcul la preț.

Restore la volume mari de date de obicei este asociat cu un eveniment nedorit, și atunci intră în categoria buget pentru dezastre, nu în buget pentru uz zilnic normal. Dar dacă îți faci niște what-if scenarios, poți încerca să combini mai multe variante de utilizare normală și utilizare excepțională pentru ca să-ți faci un TCO pe 5 ani. Apoi estimezi riscurile și iei o decizie, iar peste 5 ani te uiți dacă ai prognozat prea optimist sau prea pesimist combinația aleasă.

Iar dacă timpul de restaurare este atât de important, s-ar putea ca nici un cloud storage să nu fie viabil economic pentru asta, și iaca apelezi la alte variante. Însă trebuie să îți fie foarte clar care dintre date se încadrează aici și care nu.

Also don't forget, în zi de azi tehnologia de deduplicare a avansat încât poate reduce MASIV volumul de date necesar să fie stocat și transferat într-un cloud storage.
Click to expand...
That's a lot of copium pentru a justifica utilizarea cloud. Eu înțeleg ce spui tu, dar "problema" se rezolvă frumos cu RAID-Z2 acasă și nu-ți mai pui nici datele pe internet.

Nu spun că nu există și oameni pentru care cloud storage este calea. În același timp, majoritatea providerilor de cloud storage îți și minează datele pe care le urci în afara situațiilor în care-s în containere encrypted (sau Backblaze cu "PEK"). Then again Backblaze are facebook plugins care rulează pe paginile clienților care plătesc, ceea ce mi se pare hilar oleaca. Personal prefer să-mi țin datele departe de internet pentru că-s foarte multe chestii confidențiale.
 
Mi se pare normal ca problema să fie simplă cât timp nu (ai cunoștințele ca să) intri în detalii. Surpriză, asta se aplică la orice domeniu. Ce e așa complicat la cloud storage, iei un disc acasă și gata. Ce e așa complicat la jobul unui anesteziolog, iaca o batistă cu cloroform și merge. Ce e așa complicat la (x), faci (înțelegerea superficială a unui noob despre subiect) și gata.

Mersi de exemplul perfect, ăla cu minatul datelor. Dacă e un criteriu important pentru tine, vei alege un provider pe care îl poți folosi cu un software client în care ții cheile de criptare, încât providerul nu vede date inteligibile. Dar dacă înțelegerea despre cloud provider se limitează la google drive și selective anecdotal evidence despre Backblaze, purtăm discuții de-astea.

Tocmai sunt într-un proiect de migrare a unor aplicații medicale cu date sub incidența HIPAA și proceduri GxP către un cloud cu criptare dublă și straturi-straturi de protecții de acces prin setări și policies, făcând validarea soluției la un nivel la care clientul din domeniul respectiv n-a fost în stare să o facă singur, așa că și-au suflecat colegii mânecile la stilul hold my beer și au tras o implementare ceas. Deci nu pot să cred argumente că nu se poate și că datele tale sunt mai cu moț. Clientul face asta cu premium storage care e relativ scump, fiindcă e obligat să plătească și pentru redundanță între mai multe datacentere din zone geografice diferite, dar principiile se pot aplica și combinând servicii budget-friendly.

Dar dacă meștereala la RAID-Z2 te face fericit, n-am de ce să te opresc. Doar nu invoca această preferință pe baza unor argumente false.

Personal țin NAS-ul QNAP oprit câte 6 luni o dată. Dar proiectul următor va fi să-l folosesc drept cache/buffer spre cloud: e mount point local în rețea, și apoi face deduplicare și criptare și arhivare în cloud. Asta doar pentru simplitate, fiindcă dpdv costuri, cu banii pe care i-am dat pe NAS și discuri aș plăti mai multe decenii de cloud storage.
 
Cred ca discutia pornita de maxu era cam ce face average Joe. Acum iti dai seama ca nu toti avem clienti din domeniul medical cu date sub incidenta HIPPA si proceduri GxP incat sa fie doar incalzirea, datele personale. Cam acolo am crezut eu ca e discutia. Pentru ca daca discutia este strict doar despre mine si persoana mea, raspunsul ar fi iar hilar.
 
Era doar răspunsul la un argument nefondat ridicat de Neo despre cât ar fi datele lui de sensibile pentru cloud și de-aia preferă stocare locală. Nu mai e cazul. Am auzit argumente contra cloud-ului de m-am plictisit :D

Problema tristă e că "meniul" chestiilor cloud de-a gata e foarte subțirel, deși în back-end sunt multe chestii disponibile doar că cam trebuie să o iei pe calea roll your own după ce-ți definești cerințele. E ca și când la farmacie ai poate 20 de medicamente gata făcute și-n rest poți face din ingredientele disponibile orice îți dorești da' cam trebuie să înveți farmacologie oleacă. Eh, ASTA pot înțelege că vrei să o ocolești fără bătaie de cap mergând pe ceva cunoscut și bine bătătorit, chiar dacă poate e mai scump (ca bani, dar mult mai "ieftin" ca timp și efort investit).
 
Exact asta e problema. Ieftin si bun nu exista. Evident, ca ieftin si mult iar nu exista. Sa te mentii ieftin, trebuie timp si dedicare. Conceptul e misto. Greu de ajuns la el. E cam ca in sport :)
 
De unde tragem ca de-aia meseriile sunt meserii si nu le stim pe toate. Nu de alta, ne-ar trebui mai mult timp decat viata pe care o avem.
 
Omul de rand merge la farmacie cu o reteta data de un medic care se pricepe. Utilizatorul obisnuit care vrea un backup de siguranta nu se pricepe sa aleaga un cloud provider, sa cripteze datele, sa faca backups diferentiale, sa restaureze la nevoie doar ce are nevoie, etc.

Din toata discutia de mai sus am ajuns la concluzia ca imi mut al doilea NAS din beci in alta locatie si fac RSYNC intre ele ca si pana acum, saptamanal. Zero extra cost pentru ca am deja infrastructura, iar Internetul intre cele 2 locatii e teoretic 1 Gbps prin acelasi ISP.
 
Mi-o zis pufi de dulce și acum serverul meu face cu căpuțul și își dă shutdown/restarturi random :D
 
Hai că de la de-astea își revine, da' anul trecut în primăvară l-am prins pe Microsoft că a făcut overselling la capacitatea instalată în Frankfurt, a durat o lună și ceva să găsească hardware de cumpărat...
 
You must log in or register to reply here.
Back
Top