Elektroda.pl
Elektroda.pl
X
Servizza
Proszę, dodaj wyjątek www.elektroda.pl do Adblock.
Dzięki temu, że oglądasz reklamy, wspierasz portal i użytkowników.

Pamięć obiektowa - alternatywa dla bloków i plików?

TechEkspert 27 Mar 2015 21:28 4014 9
  • Pamięć obiektowa - alternatywa dla bloków i plików?

    Przyrost ilości danych

    Zarówno w naszych domowych komputerach, jak i w systemach biznesowych możemy zaobserwować ciągle przyspieszający rozrost ilości danych. Filmy, które zapisujemy mają coraz większą rozdzielczość, przepustowość łączy rośnie, możemy wysyłać i odbierać coraz większe ilości danych.

    Problemem w dużej ilości danych jest wyszukiwanie informacji. Zapewne nieraz szukaliście w swoich komputerach dokumentów, zdjęć, filmów, które kiedyś zostały zapisane w systemie plików.
    W przypadku dokumentów tekstowych i innych ustrukturyzowanych danych możemy przeszukiwać np. zawartość plików sprawdzając czy zawierają określone słowo. W przypadku zdjęć i obrazów oraz innych nie ustrukturyzowanych danych zadanie jest trudniejsze. Niektóre pliki multimedialne mogą zawierać metadane (dane o danych) ułatwiające odnalezienie informacji (np. EXIF zawarty w zdjęciach lub dane w filmach zawierające datę a czasami współrzędne GPS rejestracji materiału, a także informacje o utworze i artystach zawarte np. w plikach MP3).

    Pamięć obiektowa - alternatywa dla bloków i plików?

    Przyrost danych kojarzy się z zakupem coraz pojemniejszych dysków twardych, jednak prawdziwym problemem jest zapewnienie możliwości efektywnego korzystania ze zgromadzonych danych.

    Pamięć obiektowa - alternatywa dla bloków i plików?

    Jesteśmy przyzwyczajeni do przechowywania danych w postaci plików na dysku komputera lub w bezpieczniejszej wersji na macierzy dyskowej udostępniającej zasoby CIFS, NFS itp. Cechą pamięci zorganizowanej w hierarchicznej strukturze jest system plików, w którym zakładamy katalogi i pliki. Hierarchiczna struktura systemu plików wydaje się być logiczna, możemy np. zakładać katalogi z poszczególnych lat i np. w katalogu '2015' umieścić katalog ze styczniem '01' i dniem, a następnie umieścić pliki (np. pliki logu). Katalogi można posegregować tematycznie i w większości przypadków pozwoli to na uporządkowanie plików na domowym komputerze.

    Innym podejściem jest udostępnianie przez macierz dyskową zasobów blokowych, np. iSCSI, FCP itp. w skrócie urządzenie udostępnia nam fragment pamięci dyskowej, w systemie operacyjnym widoczny jako kolejny dysk. System operacyjny 'rozmawia' z macierzą o blokach pamięci zapisując tam dane w dowolnej formie. Najczęściej będzie to system plików, jednak równie dobrze może to być pojedynczy plik, np. bazy danych.





    Podłączając do komputera dysk interfejsem SATA, SAS itp. również wykorzystujemy pamięć blokową, dysk 'rozmawia' z kontrolerem w komputerze o blokach, a nie o katalogach, plikach. System operacyjny pozwala na interpretację danych zapisanych w blokach na dysku twardym i pozwala aplikacjom na poruszanie się po drzewie katalogów i dostęp do plików.

    Pamięć obiektowa - alternatywa dla bloków i plików?

    Pamięć obiektowa

    Czy można zapisywać dane inaczej niż w blokach pamięci lub systemie plików?
    Ciekawym pomysłem jest pamięć obiektowa, najprościej możemy wyobrazić sobie taką pamięć jako czarną skrzynkę, do której wrzucamy dane np. zdjęcie wraz z jego nazwą oraz dodatkowymi informacjami, system generuje dodatkowe metadane o naszym pliku, możemy otrzymać także jego unikalny numer identyfikacyjny.

    Co ciekawe, nie mamy dostępnego tradycyjnego systemu plików, tylko skrzynkę, do której wrzucamy dane i metadane, a także otrzymujemy metadane wygenerowane przez system. Całość procesów, jakie dzieją się w "czarnej skrzynce" może zostać przed nami (przed aplikacjami) ukryta.

    Wyobraźmy sobie serwer WWW,, który udostępnia strony z dużą ilością obrazków. W podejściu plikowym otwieramy kolejne pliki np. /obrazki/2015/02/news/intro.jpg. W przypadku pamięci obiektowej prosimy o zdjęcie numer 15 i otrzymujemy dane zdjęcia numer 15.

    Pamięć obiektowa - alternatywa dla bloków i plików?

    Metadane pozwalają także na kontrolę spójności zapisanych danych (funkcja skrótu).

    Wygoda, skalowalność, replikacja, wyszukiwanie.

    Jeżeli kiedykolwiek przenosiliście zasoby np. serwera WWW,, zapewne spotkaliście się z problemem uszkodzonych linków - po prostu pewne ścieżki w systemie plików nie zostały prawidłowo zmienione i nie trafiamy w odpowiednie dane. W przypadku pamięci obiektowej, zdjęcie numer 15 zawsze będzie dostępne pod numerem 15. Takie podejście daje ciekawe możliwości, zobaczcie jak szybko można napisać aplikację do wykonywania kopii zapasowych. Chcąc zapisać dane, podajemy np. datę, numer systemu, jaki kopiujemy, możemy dodać metadane np. do kiedy kopia ma być przechowywana. Podczas odtwarzania podajemy interesujące nas parametry i otrzymujemy plik kopii zapasowej.

    Co się stanie jeżeli zapomnimy metadane pliku? Wystarczy poszukać... Poza danymi mamy rozbudowane metadane, których wyszukiwanie jest szybkie i sprawne. Możemy np. podać przedział czasowy lub nazwę maszyny i otrzymamy listę plików kopii zapasowej.

    Co z replikacją, czyli kopiowaniem danych do innego systemu w innej lokalizacji?
    Nie jesteśmy związani systemem plików, replikowane są obiekty i niezależnie, w której lokalizacji systemu (np. oddziale firmy lub kontynencie) zapytamy o zdjęcie numer 15, otrzymamy ten sam obiekt.


    System pamięci obiektowej możemy łatwo skalować. Operujemy na obiektach i niekoniecznie interesuje nas, gdzie są składowane. Można umieszczać kolejne węzły pamięci masowej z kolejnymi węzłami obliczeniowymi, co zapewnia skalowanie pojemności i wydajności systemu.

    Pamięć obiektowa - alternatywa dla bloków i plików?

    Co dzieje się w "czarnej skrzynce"?

    Procesy wewnątrz pamięci obiektowej mogą być dla naszej wygody schowane wewnątrz "czarnej skrzynki". Podczas zapisu obiektu można policzyć skrót z bloków danych i porównać z już istniejącymi, dzięki czemu dane będą zdeduplikowane (nie będziemy zapisywać tych samych danych wielokrotnie). Wewnątrz macierzy obiektowej dane mogą podlegać kompresji, dzięki czemu pewne rodzaje danych będą zajmować mniej miejsca, a dostęp do nich będzie wydajniejszy. Wymienione procesy pomagają w oszczędzaniu przepustowości łączy podczas replikacji pomiędzy lokalizacjami z pamięciami obiektowymi. Pamięć obiektowa dba o dostępność danych (np. mechanizmy ochrony w postaci RAID), a także wydajność (np. pule pamięci flash, cache kontrolerów itp.).

    Jak zrobiona jest pamięć obiektowa?

    Oczywiście nie ma tu żadnej magii i obiektowych dysków (na razie dostępne są dyski dedykowane do obiektowego składowania danych). Najczęściej w systemie znajdują się wydajne macierze dyskowe udostępniające przestrzeń dyskową protokołami blokowymi lub plikowymi. Z dostępnej przestrzeni korzysta aplikacja pamięci obiektowej, która otrzymuje nasze żądania i realizuje je zapisując i odczytując dane na macierzach. Całość działa dzięki bazie danych (metadanych), która wiąże bloki/pliki zapisane na dyskach z definicjami metadanych. System pamięci masowej może działać jako wysokodostępna maszyna wirtualna. Odrywamy się w tym momencie od tradycyjnego przywiązania do sprzętu i mamy wirtualną maszynę (maszyny) działającą w środowisku wirtualizacji opartym o określone zasoby (serwery z CPU i RAM). Maszyna wirtualna pamięci obiektowej potrzebuje jeszcze dostępi do pamięci masowej, na której będzie zapisywać nasze dane. Takie podejście do architektury rozwiązania pozwala na łatwe przenoszenie i skalowanie rozwiązania.

    Obecnie pamięć obiektowa znajduje zastosowanie głównie w aplikacjach biznesowych przetwarzających duże ilości danych, co nie oznacza, że nie korzystamy z niej na co dzień (np. używając popularnych serwisów WEB). Wygląda na to, że pamięć obiektowa na razie nie pojawi się w naszych domach, jednak czy ktoś spodziewał się obecnej popularyzacji urządzeń NAS dla zastosowań domowych?

    Warto wiedzieć, że można przechowywać dane inaczej niż w postaci bloków lub systemie plików. Czy korzystaliście z pamięci obiektowej?


    Materiał przygotowany we współpracy z firmą Arrow ECS www.arrowecs.pl


    Fajne! Ranking DIY
  • Servizza
  • #2 28 Mar 2015 00:39
    freebsd
    Poziom 34  

    TechEkspert napisał:
    Problemem w dużej ilości danych jest wyszukiwanie informacji. Zapewne nie raz szukaliście w swoich komputerach dokumentów, zdjęć, filmów, które kiedyś zostały zapisane w systemie plików.

    Czy system przechowywania danych jest hierarchiczny, czy obiektowy, to nadal mamy problem, że trzeba chcieć właściwie oznaczyć (opisać) dane (pliki). Tylko dane opisane metadanymi można łatwiej wyszukiwać.

    TechEkspert napisał:
    Wyobraźmy sobie serwer WWW,, który udostępnia strony z dużą ilością obrazków. W podejściu plikowym, otwieramy kolejne pliki np. /obrazki/2015/02/news/intro.jpg. W przypadku pamięci obiektowej prosimy o zdjęcie numer 15 i otrzymujemy dane zdjęcia numer 15.

    Wyobrażam sobie... i jakie korzyści daje obiektywność danych przy serwerze www? Rozróżnijmy nazwy "obiektowość"(łączenie stanu z zachowaniem) i "obiekt" (np.: cegła).
    Łączenie "danej_numer_15" z np. "15" zapewnia tablica z haszowaniem. I jest to metoda szeroko wykorzystywana w systemach serwerów http. Zapewnia to np. program memcache. Obsługuje nawet rozproszenie danych na wiele maszyn.
    Obiektowość nie jest też synonimem szybkości. Serwer http wymaga szybkiego dostępu do danych - chyba, że jest mało obciążony. Jakiś mały system może skorzysta, ale nie obciążone farmy serwerów - tu potrzebne są specjalistyczne rozwiązania, a nie ogólne. Lepiej zastosować kilka źródeł danych dla serwerów http, każde przystosowane do konkretnych wymagań.

    TechEkspert napisał:
    Metadane pozwalają także na kontrolę spójności zapisanych danych (funkcja skrótu).
    Tak samo jak inne nowoczesne systemy plików, np.: ZFS.

    TechEkspert napisał:
    Jeżeli kiedykolwiek przenosiliście zasoby np. serwera WWW zapewne trafiliście na problem uszkodzonych linków, po prostu pewne ścieżki w systemie plików nie zostały prawidłowo zmienione i nie trafiamy w odpowiednie dane.

    Nie. Takie coś świadczy o błędach w oprogramowaniu lub pracy administratorów. Ścieżki powinny być trzymane w bazie , a nie w kodzie.

    TechEkspert napisał:
    zobaczcie jak szybko można napisać aplikację do wykonywania kopii zapasowych.
    Lub skorzystać ze snapshots systemu plików lub macierzy. Tak samo jak można skorzystać z oprogramowania wolnego lub komercyjnego do tworzenia kopii, lub po prostu napisać odpowiednie skrypty.

    TechEkspert napisał:
    Co z replikacją czyli kopiowaniem danych do innego systemu w innej lokalizacji ?
    Nie jesteśmy związani systemem plików, replikowane są obiekty i niezależnie, w której lokalizacji systemu (np. oddziale firmy, lub kontynencie) zapytamy o zdjęcie numer 15 otrzymamy ten sam obiekt.

    To samo zapewnia np.: rsync.
    Wyobraźmy sobie :-) dwie lokalizacje i łącze pomiędzy nimi: Budapeszt-Warszawa o przepustowości 1Gb i jego cenę. Nie jest aż tak wysoka, ale może coś tańszego: ww. oddziały mają łącza z internetem pozwalające na zajęcie 1Gb przy transmisji danych pomiędzy oddziałami. Ile potrwa kopiowanie danych do innej lokalizacji? Ile czasu zajmie przekopiowanie 1,5T danych - a to tylko jeden, nie największy dysk. Przecież duże systemy "nie składają się" z jednego dysku i tylko 1,5T danych.
    W przypadku kilku, kilkunastu, dysków (jako określenie ilości danych) szybciej jest wykonać snapshot i wysłać dyski samolotem.

    TechEkspert napisał:
    System pamięci obiektowej możemy łatwo skalować. Operujemy na obiektach i nie koniecznie interesuje nas gdzie są składowane. Można umieszczać kolejne węzły pamięci masowej z kolejnymi węzłami obliczeniowymi co zapewnia skalowanie pojemności i wydajności systemu.

    To prawda, ale potrafi to wiele systemów składowania danych. Oczywiście systemy rozproszone mają największe możliwości.
    Problemem dużego systemu jest minimalna ilość serwerów potrzebna na początku. Do samego przechowywania danych potrzeba trzy-cztery serwery. Często to jest minimum, a sensowna wydajność zapewni dopiero pięć, lub więcej, jednostek z macierzami (lub np.: pięć wydajnych macierzy z interface ETH) przechowująca dane. Do tego klaster przechowujący metadane i mogą być jeszcze potrzebne kontrolery systemu (minimum dwa). Może się okazać, że na początek potrzeba około 10 serwerów, ale zyskujemy jeden spójny system przechowujący dane. Choć nadal podtrzymuję, że uniwersalny nie oznacza dla każdego.

    TechEkspert napisał:
    Podczas zapisu obiektu można policzyć skrót z bloków danych i porównać z już istniejącymi, dzięki czemu dane będą zdeduplikowane (nie będziemy zapisywać tych samych danych wielokrotnie). Wewnątrz macierzy obiektowej dane mogą podlegać kompresji dzięki czemu pewne rodzaje danych będą zajmować mniej miejsca a dostęp do nich będzie wydajniejszy. Wymienione procesy pomagają w oszczędzaniu przepustowości łącz podczas replikacji pomiędzy lokalizacjami z pamięciami obiektowymi. Pamięć obiektowa dba o dostępność danych (np. mechanizmy ochrony w postaci RAID), a także wydajność (np. pule pamięci flash, cache kontrolerów itp.).

    To potrafią nowoczesne systemy plików. Warto jednak podkreślić, że nie dzieje sie to samo. Takie działania wymagają odpowiedniej mocy obliczeniowej.

    TechEkspert napisał:
    Obecnie pamięć obiektowa znajduje zastosowanie głównie w aplikacjach biznesowych przetwarzających duże ilości danych

    Taka pamięć nazywa się Oracle... :-)

  • Servizza
  • #3 28 Mar 2015 09:25
    TechEkspert
    Redaktor

    W jednym rozwiązaniu sprawdzą się bloki w innym pliki a w kolejnych rozwiązaniach pamięć obiektowa będzie dobrą alternatywą dla bloków i plików.

    Pamięć obiektowa "bierze na siebie" przechowywanie dostarczonych metadanych, przetwarzanie metadanych zarówno przy dostępie do zapisanych danych, wyszukiwaniu a także tworzeniu "własnych" metadanych podczas zapisu danych.

    W temacie przechowywania plików graficznych dla serwera WWW można oczywiście pokazać przykłady gdzie optymalnym rozwiązaniem będzie np. nierelacyjna baza danych lub inne ciekawe rozwiązania, ale równie dobrze można przedstawić projekt ogólnopolskiej bazy przechowującej pliki graficzne ze zdjęciami RTG pacjentów i w takim projekcie osobiście wolałbym kilka pamięci obiektowych rozproszonych geograficznie replikujących dane miedzy sobą.

    W przypadkach gdzie potrzebuję zapewnienia integralności danych np. logi z systemu SIEM albo pliki umów dużego operatora. Możliwość zaimplementowania funkcji skrótu (i np. osadzenia podpisu cyfrowego dla wybranych plików) wolałbym posiadać wewnątrz systemu pamięciowego.

    Co do przykładu z uszkodzonymi linkami serwera WWW,, nie mamy do czynienia z idealną rzeczywistością, często trafiamy na projekt i kod zastany oraz dokumentację projektową w różnym stopniu odzwierciedlającą stan faktyczny. Porównując projekt w którym różne dane mieszają się ze sobą w różnych formach i miejscach składowania, wolałbym przejmować/rozwijać rozwiązanie gdzie interfejs pamięci narzuca pewien sposób komunikacji i odrywa projekt od fizycznych ścieżek i plików.

    Przykład z systemem backupu nie jest być może optymalny, ale dość dobrze pokazuje standaryzację i oderwanie od sprzętu i rozmaitych technologii, myśląc o kopii zapasowej jedne osoby pomyślą o migawkach wykonywanych na macierzy, inne o VSS, deduplikacji, kompresji itp. Przykład pokazywał podejście pamięci obiektowej -> daj mi dane, opisz te dane, optymalnym składowaniem zajmie się pamięć obiektowa.

    Co do replikacji, wiele technologii usprawnia ten proces można wykorzystać rsync, można wykorzystać akceleratory WAN, można wykorzystać deduplikację, w niektórych mniejszych rozwiązaniach można zsynchronizować dane lokalnie, następnie przewieźć system lub dyski na lokalizację zdalną i replikować zmiany. W różnych systemach różne rozwiązania będą miały sens. W przypadku podejścia obiektowego mamy szansę na łatwiejsze dopasowanie elementów systemu w czasie jego rozwoju, unikamy problemu gdzie system z rsync będzie trzeba skomunikować z DFS.

    Oracle to bardzo dobre rozwiązanie, podobnie jak Sybase i wiele innych,
    pamięć obiektowa pozwala w pewnym stopniu traktować system składowania danych jako "blok" systemowy o możliwościach znacznie większych niż typowa składnica danych, w dodatku z czasem możemy skalować zarówno pojemność jak również wydajność i funkcjonalność.

    Zobaczymy co przyniosą kolejne lata w temacie pamięci obiektowych,
    tak jak pisałem działanie pamięci obiektowej nie opiera się o magiczne rozwiązania ;) wewnątrz mamy zwykłe macierze blokowe lub plikowe, bazy danych, moc obliczeniową, maszyny wirtualne, wszystko to opakowane w interfejs pozwalający na łatwe i spójne manipulowanie danymi.

    Wsparcie producentów sprzętu jest także elementem napędzającym rozwój pamięci obiektowych:
    Dysk 4TB z interfejsem ethernet

    kinetic-hdd:

    Link


    Obecnie systemy plikowe i blokowe mają i będą miały silną pozycję na rynku, warto jednak mieć świadomość istnienia innych rozwiązań oraz możliwości dokonania optymalnego wyboru do budowanego systemu.

    Obszerniejszy materiał dot. wykorzystania linii dysków kinetic w obiektowym składowaniu danych:

    Link

  • #4 30 Mar 2015 09:38
    necavi
    Poziom 17  

    Artykuł tak napisany to zwykła reklamówka. Autor zapomniał o czymś takim jak wady systemu, a ma je każdy. Bez tego zamiast pełnej informacji jest tylko... na właśnie reklama.

  • #5 30 Mar 2015 09:53
    TechEkspert
    Redaktor

    necavi napisał:
    Artykuł tak napisany to zwykła reklamówka. Autor zapomniał o czymś takim jak wady systemu, a ma je każdy. Bez tego zamiast pełnej informacji jest tylko... na właśnie reklama.


    To że nie ma rozwiązań idealnych do wszystkiego, to raczej oczywiste...

    Pamięć obiektowa to coś nowego w porównaniu z blokami i plikami, dlatego warto przybliżyć i zbadać tą tematykę.

    Ciężko sobie wyobrazić aby np. przekonywać do jakiegoś rozwiązania na siłę i np. próbować zastępować czymś innym storage blokowy na iSCSI lub FC przeznaczony do składowania dysków maszyn wirtualnych...

    Jest wiele firm dostarczających rozwiązania pamięci obiektowej, przedstawiając technologię (a nie konkretne rozwiązanie) to tak jak reklamować koło :D także ciężko nazwać reklamą coś co nią nie jest...

    necavi temat praktycznego zastosowania pamięci obiektowych w projekcie jest dla mnie czymś nowym, może napiszesz o cechach tego rozwiązania, które znasz z praktyki tym samym uzupełniając ten materiał ?

  • #6 01 Kwi 2015 10:32
    OpenCrp
    Poziom 2  

    Przedstawiona definicja Pamięci Obiektowej jakoś dziwnie nawiązuje do definicji Big Data Gartnera. Big Data nic nie mówi o obiektach, strukturach czy bazach danych … ktoś bezmyślnie użyl ciekawy pomysł przedstawiony przez Gartnera ekspertów. W oryginale 3V jest zdefiniowany, jako:
    Big data is high-volume, high-velocity and high-variety information assets that demand cost-effective, innovative forms of information processing for enhanced insight and decision making.
    Object Oriented Data Base też nie jest nowym konceptem. Pierwsza idea definicji informacji jako obiekt została zrealizowana w 80.. Ponadto obiekt jest definiowany, jako kombinacja metadata i operacji (methods) znacznie szerzej opisujący informacji zachowanie i atrybuty.
    Bezmyślne mieszanie różnych pojęć może prowadzić do bzdurny re-definicji istniejąc koncepcji.
    ~~

  • #7 02 Kwi 2015 19:08
    TechEkspert
    Redaktor

    Zarówno Big data jak i Object Storage a także Cloud Storage mogą posiadać wspólne cechy, bazować na podobnych rozwiązaniach a także zawierać się wzajemnie w sobie i przenikać.

    We wspomnianych rozwiązaniach istnieją pewne cechy wiodące i np. dla mnie osobiście każde z tych haseł kojarzy się z pewnym skrótem myślowym:

    Cloud Storage - usługa storage z API do manipulowania danymi, najczęściej od zewnętrznego dostawcy rozliczana abonamentowo+wykorzystanie (np. iaas).
    Big data - duże zbiory danych posiadające potencjał analityczny (data mining).
    Object Storage - traktowanie danych jak obiekty zawierające dane opisane przez metadane (m.in unikalny identyfikator).

    Jestem ciekawy czy Wam także te rozwiązania kojarzą się z tymi cechami ?

    Czy pamięć obiektowa jest czymś nowym ? dla mnie osobiście jako produkt wykorzystany w praktycznych wdrożeniach tak,
    jest to technologia zdobywająca coraz większą popularność, ale co do pomysłu traktowania danych jako obiekty jest to faktycznie idea z ubiegłego wieku,
    co ciekawe wcześniej także istniały standardy definiujące wsparcie sprzętowe dla object storage.

  • #8 04 Kwi 2015 07:25
    OpenCrp
    Poziom 2  

    Big Data

    As far back as 2001, industry analyst Doug Laney (currently with Gartner) articulated the now mainstream definition of big data as the three Vs of big data: volume, velocity and variety.

    Volume. Many factors contribute to the increase in data volume. Transaction-based data stored through the years. Unstructured data streaming in from social media. Increasing amounts of sensor and machine-to-machine data being collected. In the past, excessive data volume was a storage issue. But with decreasing storage costs, other issues emerge, including how to determine relevance within large data volumes and how to use analytics to create value from relevant data.

    Velocity. Data is streaming in at unprecedented speed and must be dealt with in a timely manner. RFID tags, sensors and smart metering are driving the need to deal with torrents of data in near-real time. Reacting quickly enough to deal with data velocity is a challenge for most organizations.

    Variety. Data today comes in all types of formats. Structured, numeric data in traditional databases. Information created from line-of-business applications. Unstructured text documents, email, video, audio, stock ticker data and financial transactions. Managing, merging and governing different varieties of data is something many organizations still grapple with.

    Nic o technologii lub implementacji. V3 to potrzeba przetwarzania olbrzymiej, stale napływającej i nie szablonowej (strukturalnej) informacji.

    Cloud computing is a model for enabling ubiquitous, convenient, on-demand network access to a shared
    pool of configurable computing resources (e.g., networks, servers, storage, applications, and services) that
    can be rapidly provisioned and released with minimal management effort or service provider interaction.
    This cloud model is composed of five essential characteristics, three service models, and four deployment
    models.
    Essential Characteristics:
    On-demand self-service. A consumer can unilaterally provision computing capabilities, such as
    server time and network storage, as needed automatically without requiring human
    interaction with each service provider.
    Broad network access. Capabilities are available over the network and accessed through standard
    mechanisms that promote use by heterogeneous thin or thick client platforms (e.g.,
    mobile phones, tablets, laptops, and workstations).
    Resource pooling. The provider’s computing resources are pooled to serve multiple consumers
    using a multi-tenant model, with different physical and virtual resources dynamically
    assigned and reassigned according to consumer demand. There is a sense of location
    independence in that the customer generally has no control or knowledge over the exact
    location of the provided resources but may be able to specify location at a higher level of
    abstraction (e.g., country, state, or datacenter). Examples of resources include storage,
    processing, memory, and network bandwidth.
    Rapid elasticity. Capabilities can be elastically provisioned and released, in some cases
    automatically, to scale rapidly outward and inward commensurate with demand. To the
    consumer, the capabilities available for provisioning often appear to be unlimited and can
    be appropriated in any quantity at any time.
    Measured service. Cloud systems automatically control and optimize resource use by leveraging
    a metering capability
    1
    at some level of abstraction appropriate to the type of service (e.g.,
    storage, processing, bandwidth, and active user accounts). Resource usage can be
    monitored, controlled, and reported, providing transparency for both the provider and
    consumer of the utilized service.
    Service Models:
    Software as a Service (SaaS). The capability provided to the consumer is to use the provider’s
    applications running on a cloud infrastructure
    2
    . The applications are accessible from
    various client devices through either a thin client interface, such as a web browser (e.g.,
    web-based email), or a program interface. The consumer does not manage or control the
    underlying cloud infrastructure including network, servers, operating systems, storage, or
    even individual application capabilities, with the possible exception of limited userspecific application configuration settings.
    Platform as a Service (PaaS). The capability provided to the consumer is to deploy onto the cloud
    infrastructure consumer-created or acquired applications created using programming

    languages, libraries, services, and tools supported by the provider.
    3
    The consumer does
    not manage or control the underlying cloud infrastructure including network, servers,
    operating systems, or storage, but has control over the deployed applications and possibly
    configuration settings for the application-hosting environment.
    Infrastructure as a Service (IaaS). The capability provided to the consumer is to provision
    processing, storage, networks, and other fundamental computing resources where the
    consumer is able to deploy and run arbitrary software, which can include operating
    systems and applications. The consumer does not manage or control the underlying cloud
    infrastructure but has control over operating systems, storage, and deployed applications;
    and possibly limited control of select networking components (e.g., host firewalls).
    Deployment Models:
    Private cloud. The cloud infrastructure is provisioned for exclusive use by a single organization
    comprising multiple consumers (e.g., business units). It may be owned, managed, and
    operated by the organization, a third party, or some combination of them, and it may exist
    on or off premises.
    Community cloud. The cloud infrastructure is provisioned for exclusive use by a specific
    community of consumers from organizations that have shared concerns (e.g., mission,
    security requirements, policy, and compliance considerations). It may be owned,
    managed, and operated by one or more of the organizations in the community, a third
    party, or some combination of them, and it may exist on or off premises.
    Public cloud. The cloud infrastructure is provisioned for open use by the general public. It may be
    owned, managed, and operated by a business, academic, or government organization, or
    some combination of them. It exists on the premises of the cloud provider.
    Hybrid cloud. The cloud infrastructure is a composition of two or more distinct cloud
    infrastructures (private, community, or public) that remain unique entities, but are bound
    together by standardized or proprietary technology that enables data and application
    portability (e.g., cloud bursting for load balancing between clouds).

    Znów nic o technologii czy implementacji, opisuje koncept jak dostarczyć zasoby komputerowe jako service

    Pamiec Obiektowa jako M$ WinFS :)

    WinFS (short for Windows Future Storage)[1] is the code name for a canceled[2] data storage and management system project based on relational databases, developed by Microsoft and first demonstrated in 2003 as an advanced storage subsystem for the Microsoft Windows operating system, designed for persistence and management of structured, semi-structured as well as unstructured data.

    jako tako totalna klapa


    MS

  • #9 04 Kwi 2015 11:21
    TechEkspert
    Redaktor

    Idea V3 to dobre uogólnienie pasujące do wielu rozwiązań, jednak w praktycznym wdrożeniu zderzymy się z fizyczną infrastrukturą i implementacją. Zwykle wymienionym w V3 cechom da się przydzielić wagi, które zdeterminują optymalne rozwiązanie. Dodatkowo jak każde ogólne podejście teoretyczne, w praktycznym rozwiązaniu może wymagać uzupełnienia i poza cechami objętości, szybkości przetwarzania, zróżnicowania rodzajów danych, mogą pojawić się czynniki takie jak np. złożoność (trudność przetwarzania / zarządzania) danymi, planowana szybkość przyrostu ilości danych lub ogólnie przewidywana zmienność w czasie, oraz rzeczy tak przyziemne jak posiadany budżet i model biznesowy projektu a także obecnie posiadane technologie i standardy oraz wiele innych czynników. Wszystkie te czynniki wpływają zwykle na siebie i po ich analizie ostatecznie zostaje wybrane w miarę optymalne rozwiązanie.

    Cloud computing to osobny ciekawy i obszerny temat, wspomniałem o koncepcji Cloud Storage która w pewnych warunkach może być atrakcyjnym rozwiązaniem pozwalającym na składowanie danych bez posiadania infrastruktury "u siebie", rozwiązanie może (lecz nie musi) być związane zarówno z big data jak i pamięcią obiektową.

    Co do WinFS, cóż zarówno koncepcje jak i implementacje przemijają, czasem nie zdobywają popularności a czasami są utrzymywane mimo, że mogłyby być zastąpione czymś teoretycznie lepszym, wyłącznie ze względu na kompatybilność wsteczną, ilość aktywnych instancji lub inne czynniki.

    Zobaczymy jakie rozwiązania przyniosą nowe technologie i koncepcje oraz które z nich zdobędą popularność.

  Szukaj w 5mln produktów