Strefa czasowa UTC+1godz. [letni]




Nowy temat Odpowiedz w temacie  [ Posty: 5 ] 
Autor Wiadomość
PostZamieszczono: 14 lip 2010, 15:11 
Offline
V-początkujacy

Rejestracja: 15 wrz 2009, 13:16
Posty: 4
Podziękował: 0 razy
Pomógł: 0 razy
Witam, czy ktos moglby mi wyjasnic czym na prawde jest deduplikacja, a raczej jak ten proces przebiega, wiele rozwiazan zarowno sprzetowych jak i programowych wykorzystuje te funkcjonalnosc ale nikt nie pisze jasno jak deduplikacja wyglada w praktyce.


Na górę
 Wyświetl profil  
 
PostZamieszczono: 14 lip 2010, 15:46 
Offline
Moderator
Awatar użytkownika

Rejestracja: 06 lis 2008, 02:01
Posty: 7364
Lokalizacja: Poznań
Podziękował: 15 raz
Pomógł: 138 raz
W zasadzie jakie by nie wziąć pod uwagę rozwiązanie wykorzystujące deduplikację to ich działanie jest niemal identyczne.

Ale by nie pisać ogólnikowo postaram się przybliżyć jak to działa w macierzach NetApp.
Dzięki deduplikacji macierz może wyszukać identyczne obszary i usunąć kopie/duplikaty/dane powielane (np. przesyłając plik dziesięciu współpracownikom, każdy zapisuje go w swoim folderze i tym samy zajmuje on dziesięciokrotnie większą przestrzeń niż powinien). Oczywiście dane pliki mogą być zmieniane (ale z reguły zmieniane są częściowo, a reszta zostaje bez zmian). Deduplikacja działa na poziomie bloków. Macierz oblicza dla każdego bloku hash (np. MD5, SHA-128 bit).
Po czym jest tworzona tabela hashów i dalej porównywane są poszczególne hashe, jeśli są one identyczne to porównywane są bloki (bit po bicie). Jeśli bloki są identyczne to zwalniane są duplikaty i dzięki temu uzyskujemy wolną przestrzeń magazynową.

I tak np. przechowując w macierzy kilka (naście) obrazów z systemem operacyjnym. np. Windows 7, okazuje się, że w każdym z obrazów nawet do 90% danych to dane identyczne. Dzięki deduplikacji można znacznie zmniejszyć przestrzeń poprzez zapisanie 'podstawy' i bloków którymi dane obrazy się różnią.
To tak w skrócie ;)

_________________
Washi
Jeśli mój post okazał się pomocny, zaloguj się i kliknij na kciuk po prawej stronie ----------->
Chmura obliczeniowa, wirtualizacja,... - https://www.virtual-it.pl/


Na górę
 Wyświetl profil  
 
PostZamieszczono: 14 lip 2010, 19:02 
Offline
V-początkujacy

Rejestracja: 15 wrz 2009, 13:16
Posty: 4
Podziękował: 0 razy
Pomógł: 0 razy
Dzięki Washi :)


Na górę
 Wyświetl profil  
 
PostZamieszczono: 18 lip 2011, 19:59 
Offline
V-aplikacja

Rejestracja: 10 gru 2010, 16:11
Posty: 54
Podziękował: 0 razy
Pomógł: 1 razy
Zachęcam do przyjrzenia się innowacyjnym technologiom: system backupowy Avamar oraz urządzenia Data Domain, które wykorzystują deduplikację:
http://www.emc.com/avamar
http://www.emc.com/datadomain


Na górę
 Wyświetl profil  
 
PostZamieszczono: 19 lip 2011, 13:04 
Offline
V-aplikacja

Rejestracja: 10 gru 2010, 16:11
Posty: 54
Podziękował: 0 razy
Pomógł: 1 razy
Artykuł nt Data Domain
http://wikibon.org/wiki/v/EMC_Data_Doma ... iness_Case


Na górę
 Wyświetl profil  
 
Wyświetl posty nie starsze niż:  Sortuj wg  
Nowy temat Odpowiedz w temacie  [ Posty: 5 ] 

Strefa czasowa UTC+1godz. [letni]


Kto jest online

Użytkownicy przeglądający to forum: Nie ma żadnego zarejestrowanego użytkownika i 1 gość


Nie możesz tworzyć nowych tematów
Nie możesz odpowiadać w tematach
Nie możesz zmieniać swoich postów
Nie możesz usuwać swoich postów

Szukaj:
Przejdź do:  
cron
Copyright © 2008-2023. All Rights Reserved Virtual-IT.pl