Elektroda.pl
Elektroda.pl
X
Proszę, dodaj wyjątek dla www.elektroda.pl do Adblock.
Dzięki temu, że oglądasz reklamy, wspierasz portal i użytkowników.

Facebook w liczbach - ponad 100 petabajtów danych

lukasker 23 Sie 2012 15:50 3837 10
  • Facebook w liczbach - ponad 100 petabajtów danychFacebook był pierwszym portalem, który zdetronizował Google. Oczywiście sam jest gigantem, choć do tej pory jego statystyki były owiane nutką tajemnicy.

    Ostatnio portal postanowił podzielić się kilkoma faktami swojej działalności:
    -Codziennie na stronie ma miejsce 2,5 miliarda zdarzeń, które generują w sumie codziennie ponad 500 terabajtów danych;
    -Codziennie użytkownicy klikają 2,7 miliarda razy FB przycisk "like" oraz wrzucają 300 milionów zdjęć;
    -Sama baza danych FB umieszczona w jednym data center, w technologii HDFS cluster zajmuje 100 petabajtów. Jeden petabajt to 1,048,576 gigabajtów. Według FB jest to największy klaster Hadoop na świecie;
    -Ciekawe jest to, że dane są w jednym miejscu, ale FB w najbliższej przyszłości planuje zdecentralizować swoją bazę danych między kilka serwerowni.

    Więcej informacji w źródle.

    Źródło

    Fajne! Ranking DIY
    O autorze
    lukasker
    Tłumacz Redaktor
    Offline 
    Specjalizuje się w: programowanie, strony www, sprzęt komputerowy
    lukasker napisał 2915 postów o ocenie 128, pomógł 0 razy. Mieszka w mieście Kielce. Jest z nami od 2010 roku.
  • #2
    Oximon
    Poziom 27  
    Ciekawe jakie możliwości ma serwer i dyski, skoro w takim gąszczu danych ładują np. zdjęcie w ułamku sekundy, biorąc pod uwagę, że na raz jest otwieranych kilka tysięcy zdjęć.
  • #3
    Vein
    Poziom 22  
    Oximoron - po pierwsze, nie jest to jeden serwer tylko tysiące, prawdopodobnie wzorem Google mają rozłożone serwery przy większych węzłach sieci, na dodatek dane są "lokalizowane", czyli na serwerach w Polsce trzymane są dane "polskie" a ewentualne zapytania o dane "zagraniczne" już są obsługiwane przez zagraniczne serwery.
  • #4
    winuser2
    Poziom 17  
    @up :

    Cytat:
    Sama baza danych FB umieszczona w jednym data center, w technologi HDFS cluster zajmuje 100 petabajtów


    Cytat:
    dane są "lokalizowane", czyli na serwerach w Polsce trzymane są dane "polskie" a ewentualne zapytania o dane "zagraniczne" już są obsługiwane przez zagraniczne serwery.


    ;)
  • #5
    Qujav
    Poziom 22  
    @up, ja wiele razy czytałem, że serwery FB są rozlokowane po całym świecie, więc też dziwi mnie informacja, że wszystko jest w jednej serwerowni.
  • #6
    noyo
    Poziom 18  
    Może boją się o wyciek danych. Faktycznie jak się wykona pinga do nich (nawet na facebook.pl) pingi po 200ms. Sama strona czasem sie wczytuje, czasem nie.
  • #8
    137
    Poziom 11  
    Generalnie Facebook to taki mini internet w internecie. To że cos sie [w miarę] szybko wczytuje to zasługa dobrych PHPowców, którzy wykorzystując specjalne funkcje, czasami niskopoziomowe w C robią wszystko by przyspieszyć działanie strony. Caching i inne rzeczy. No i optymalizacja na niespotykanym poziomie. Juz w polskim internecie dawno temu duże portale miały porozdzielane galerie od stron głównych, baze gdzie indziej a wszystko się ze soba komunikowało.
  • #9
    tomekgl
    Poziom 15  
    Szybkie wczytywanie w kontekście wcześniejszej dyskusji o lokalizacji, nie tyle ma związek z optymalizacją PHP itp, co z rozdzieleniem treści statycznych (głównie grafiki, znacząca część ruchu pod względem wolumenu) i reszty danych (tekstowych).

    Te pierwsze serwuje Facebookowy CDN, zapewne mają serwery porozmieszczane po całym świecie. Algorytmy geolokalizacji pozwalają wybrać najbliższy serwer. W takich rozwiązaniach stosuje się też Anycasting, czyli rozgłaszanie tej samej klasy adresów IP z kilku lokalizacji, ale nie wiem czy FB z tego korzysta. Do CDN dane wrzucane są na serwer najbliższy i gdy zachodzi potrzeba mogą replikować się na inne, jeżeli jest wiele załadowań np z innego kontynentu.

    Dane o użytkownikach (w sensie bazodanowym), które podlegają jakiemuś przetwarzaniu (chociażby wyszukiwanie potencjalnych znajomych itp) wymagają przechowywania w jednym miejscu, i te są serwowane ze Stanów. Być może dochodzą też kwestie prawne, CIA nie musi mieć własnego data-center - taki outsourcing :)
  • #10
    TMK_M
    Poziom 22  
    Facebook siedzi gdzieś za granicą. Oto lista przeskoków odemnie:

    Code:

      1     5 ms    42 ms     9 ms  192.168.0.1
      2    41 ms    18 ms    25 ms  82-160-X-X.tktelekom.pl [82.160.X.X]
      3    23 ms    18 ms    13 ms  war-rp2-pos-2-0-2.tktelekom.pl [88.199.219.73]
      4    24 ms    70 ms    38 ms  xe-8-3-0.waw10.ip4.tinet.net [141.136.97.97]
      5    59 ms    41 ms    36 ms  xe-11-1-0.fra23.ip4.tinet.net [89.149.185.117]
      6    36 ms    90 ms    35 ms  as3549.ip4.tinet.net [77.67.95.34]
      7    84 ms    48 ms   130 ms  ae10.scr3.FRA4.gblx.net [67.16.147.14]
      8   117 ms   109 ms   132 ms  67.16.167.42
      9   131 ms   133 ms   132 ms  lag3.csr2.DCA3.gblx.net [67.16.166.234]
     10   124 ms   174 ms   167 ms  FACEBOOK-INC.ethernet12-1.csr1.DCA3.gblx.net [64
    .215.81.234]
     11   134 ms   124 ms   112 ms  ae1.bb02.iad1.tfbnw.net [74.119.78.60]
     12   146 ms   143 ms   133 ms  ae8.bb02.frc1.tfbnw.net [31.13.24.46]
     13   124 ms   137 ms   134 ms  ae2.dr04.frc1.tfbnw.net [31.13.27.82]
     14   124 ms   131 ms   165 ms  po1019.csw03a.frc1.tfbnw.net [31.13.26.155]
     15   124 ms   114 ms   118 ms  www-slb-10-03-frc1.facebook.com [69.171.247.21]


    A tu dla porównania trasa do polskiego serwera nk.pl
    Code:


      1     3 ms     2 ms     3 ms  192.168.0.1
      2    38 ms     9 ms    11 ms  82-160-X-X.tktelekom.pl [82.160.X.X]
      3    21 ms    22 ms    25 ms  war-rp2-pos-2-0-2.tktelekom.pl [88.199.219.73]
      4    16 ms    33 ms    20 ms  nasza-klasa.plix.pl [195.182.218.185]
      5    18 ms    29 ms    14 ms  nk.pl [195.93.178.5]
  • #11
    137
    Poziom 11  
    Tam może być tysiące IP wejściowych zaleznych od miejsca na świecie, czasu itp. A to co widzimy siedi na CDN z adresami *.tfbnw.net - The Facebook Network, jak się przejrzy geolokalizacje to serwery znajdują się wszędzie,