[Rozwiązano] Estymacja zajętej przestrzeni dyskowej przez dane Facebooka

Myopic napisał:

Próbowałem, ale nie znalazłem takiej informacji w Internecie.

Cytat:

Facebook generuje 4 petabajty danych dziennie - to milion gigabajtów. Wszystkie te dane są przechowywane w tak zwanym Hive, który zawiera około 300 petabajtów danych. Ta olbrzymia ilość generowanych treści jest niewątpliwie związana z faktem, że użytkownicy Facebooka spędzają więcej czasu w serwisie niż użytkownicy w jakiejkolwiek innej sieci społecznościowej, poświęcając około godziny dziennie.

Cytat:

Magazyny dużych zbiorów danych to woły robocze do analizy danych na Facebooku. Rosną o miliony zdarzeń (wstawień) na sekundę i przetwarzają dziesiątki petabajtów i setki tysięcy zapytań dziennie. Trzy najczęściej używane magazyny danych to:

1. ODS (Operational Data Store) przechowuje 2 miliardy szeregów czasowych liczników. Jest używany najczęściej w alertach i pulpitach nawigacyjnych oraz do rozwiązywania problemów z metrykami systemowymi z opóźnieniem 1-5 minut. Istnieje około 40 000 zapytań na sekundę.

2. Scuba to szybki magazyn danych Facebooka. Przechowuje w pamięci tysiące tabel w około 100 terabajtach. Przejmuje miliony nowych wierszy na sekundę i usuwa równie wiele. Przepustowość osiąga szczyt około 100 zapytań na sekundę, skanując 100 miliardów wierszy na sekundę, a większość czasów odpowiedzi jest poniżej 1 sekundy.

3. Hive to hurtownia danych Facebooka, zawierająca 300 petabajtów danych w 800 000 tabel. Facebook generuje 4 nowe petabajty danych i wykonuje 600 000 zapytań i 1 milion zadań związanych z redukcją map dziennie. Presto, HiveQL, Hadoop i Giraph to popularne silniki zapytań w usłudze Hive.

ODS, Scuba i Hive mają wspólną ważną cechę: żadna z nich nie jest tradycyjną relacyjną bazą danych. Przetwarzają dane do analizy, a nie po to, by służyć użytkownikom, więc nie potrzebują gwarancji ACID na przechowywanie lub odzyskiwanie danych. Zamiast tego, wyzwania wynikają z wysokich szybkości wprowadzania danych i ogromnych ilości danych.

Myopic napisał:

Przy okazji, słowo Internet piszemy z dużej litery. Mam nadzieję, że przyda Ci się to w życiu.