Koliki je oblak?

Veliki oblak

Prošli mjesec otkrio vam je 2007es.com prava razmjera internetske pornografije. U bilo kojem trenutku, streaming videozapisa za odrasle vjerojatno koristi oko 30% ukupne propusnosti interneta, što je približno 6 terabajta pornografije koja se troši svake sekunde. Ali što je s ostalih 70%? Netflix, YouTube i druge web stranice za video za odrasle ogromne su sfere propusnosti, koje možda čine čak 40% internetskog prometa. Digitalni pretinci datoteka, poput Rapidshare i Megaupload, čine oko 10% prometa širom svijeta. Web surfanje i e-pošta (i neželjena pošta!) Čine dodatnih 15%. A tu je i računarstvo u oblaku.

Danas je velika većina web usluga i web lokacija hostirana u oblaku. Pod tim mislim da se umjesto tvrtki (poput Ziffa Davisa / 2007es.com-a) koje upravljaju vlastitim hardverom koriste neovisne usluge pohrane u oblaku i računalne usluge. Amazon Web Services (AWS), Microsoft Azure i Google tri su istaknuta primjera ogromnih klastera u oblaku, ali postoje stotine manjih operacija čija veličina varira od čitavog podatkovnog centra do nekoliko stalaka.

Moć oblaka leži u činjenici da ga se može prisiliti i potkovati na zadatke jednako različite kao superračunalo zasnovano na oblaku, na web poštu, na jednostavno spremanje dokumenata. Na jednom klasteru oblaka Google može ugostiti i poslužiti petabajte YouTube videozapisa i pohraniti svu vašu e-poštu i dokumente. Ipak, od svih aspekata oblaka danas ćemo se usredotočiti na pohranu u oblaku.



Microsoftov podatkovni centar

Microsoftov podatkovni centar

Iako pohrana možda nije toliko seksi kao terabajti RAM-a i tisuće CPU jezgri, to je najpouzdaniji način mjerenja veličina oblaka, posebno kada uzmemo u obzir upotrebu propusnosti. Iz ukupne količine pohrane možemo i izračunati trošak pohrane u oblaku - i odatle konačno možemo riješiti zašto poput Googlea, Microsofta i Dropboxa padaju na sebe kako bi pružili usluge pohrane u oblaku.

Poput pornografske priče, prvo ćemo započeti s nekim teoretskim brojevima, a zatim ćemo prijeći na neke stvarne figure (i hardver) od Backblazea, pružatelja sigurnosnih kopija u oblaku.

Petabajti

Uglavnom su stvarni brojevi velikih tvrtki, kao što su Google, Facebook, Amazon i Microsoft, rijetki. Ako, pak, pretražite web, pojavit će se neke grube figure:

  • Facebook je u svojoj IPO prijavi rekao da pohranjuje preko 100 petabajta (PB) medija (fotografija i videozapisa). Nije nerealno reći da Facebook vjerojatno ima ukupni kapacitet pohrane znatno iznad toga, nakon što uzmete u obzir sigurnosne kopije i druge podatke (ažuriranja statusa, sviđanja i tako dalje), moguće u rasponu od 300PB.
  • Microsoft je nedavno priznao da Hotmail pohranjuje više od 100 petabajta, a SkyDrive sa '17 milijuna kupaca' pohranjuje 10PB podataka. Poput Facebooka, ukupni kapacitet Microsofta, kad uzmemo u obzir ostatak Azurea i njegovih web svojstava, vjerojatno prelazi 300 petabajta.
  • Megaupload je relativno malen u usporedbi, očito pohranjujući samo 25 petabajta.
  • Amazon, umjesto da nam daje lijep, lagan broj petabajta, umjesto toga objavljuje ukupan broj objekata pohranjenih u svojoj usluzi pohrane u oblaku S3. Od travnja 2012. Amazon S3 pohranio je 905 milijardi objekata. Ako pretpostavimo prosječnu veličinu od 100 KB, to je oko 90 petabajta; ako je prosječna veličina 1 MB, to je 900 petabajta - gotovo egzabajt!
  • Dropbox je prije godinu dana pohranio 'više od 10 petabajta' podataka. Tada je imalo 25 milijuna korisnika, a danas 100 milijuna, tako da pod jednakim okolnostima tvrtka sada pohranjuje oko 40PB podataka.

Da bismo ove brojke stavili u perspektivu, prosječno računalo vjerojatno ima tvrdi disk od 500 GB ili 1TB, a petabajt je 1024TB. Tada u najmanju ruku Microsoftovi i Facebook podatkovni centri ugošćuju više od 100 000 tvrdih diskova. Bez izrade prilagođenog hardvera, možete ugurati 48 pogona u 4U kućište. Nakon obračuna mrežne opreme, to znači da vjerojatno gledate oko 400 tvrdih diskova po 40U stalku - ili 250 stalaka, od kojih svaki zauzima oko jedan četvorni metar površine. To bi moglo zvučati puno, ali ako uzmete u obzir da Google, Amazon, Facebook i Microsoft redovito izbacuju podatkovne centre s tlocrtima od preko 30 000 četvornih metara (300 000+ četvornih metara), to zapravo nije toliko. U velikom opsegu stvari puno je više prostora posvećeno poslužiteljima (tj. CPU-ima) i mrežnoj opremi.

Širina pojasa

Prekidač podatkovnog centraPo širini opsega, imamo još manje podataka o velikim dječacima. Znamo da se od prošle godine milijun datoteka spremalo svakih pet minuta - tako da je danas, s četiri puta više korisnika, to 800 000 datoteka u minuti. Amazon S3, koji je znatno veći od Dropboxa, obrađuje '650 000 zahtjeva u sekundi'.

Ako pretpostavimo da prosječna datoteka pohranjena na Dropboxu iznosi 500 KB (kombinacija fotografija, videozapisa i dokumenata), tada Dropbox pohranjuje ukupno 400 000 megabajta (0,4 TB) u minuti - ili 6,7 GB u sekundi (54 Gbps). Nemamo podataka o tome koliko podataka ima Dropbox šalje u minuti (tj. ljudi koji preuzimaju datoteke sa svog Dropboxa), ali to je vjerojatno u području od 10 do 20Gbps.

Amazon S3, koji se uglavnom koristi za pohranu statičnih datoteka za web stranice (slike, stilski listovi, videozapisi), vjerojatno ima manju prosječnu veličinu datoteke od Dropboxa. Ako pretpostavimo prosječnu veličinu od 100 KB po datoteci, tada 650 000 zahtjeva u sekundi dolazi do ukupnih 61 gigabajta podataka prenesenih u sekundi ili 488 Gbps. To je vrlo blizu brojci od 800 Gbps koju smo procijenili za veliko porno mjesto, što iznosi oko 2% ukupnog internetskog prometa - Amazon je prilično velik!

Facebook i Microsoft, s između 100 i 300PB prostora za pohranu, vjerojatno se nalaze negdje između Dropboxa i Amazona u smislu upotrebe propusnosti - možda 200Gbps po komadu.

Ali dosta teorije! Razgovarajmo o nekim stvarnim brojevima i stvarnom hardveru!

Copyright © Sva Prava Pridržana | 2007es.com