Artykuły https://klinikadanych.pl/ pl Firmware dysku - aktualizować czy nie https://klinikadanych.pl/artykuly/firmware-dysku-aktualizowac-czy-nie <span>Firmware dysku - aktualizować czy nie</span> <div class="field field--name-field-second-title field--type-string field--label-hidden field__item">Firmware dysku - aktualizować czy nie</div> <span><span>Admin</span></span> <span>wt., 10/13/2020 - 14:10</span> <div class="field field--name-field-images field--type-image field--label-hidden field__items"> <div class="field__item"><a href="https://klinikadanych.pl/sites/default/files/2020-10/firmware-dysku_1.png" title="Czym jest firmware dysku" data-colorbox-gallery="gallery-nd_blog-237-vr4TfYyLYdk" class="colorbox" data-cbox-img-attrs="{&quot;alt&quot;:&quot;Czym jest firmware dysku&quot;}"><img src="/sites/default/files/2020-10/firmware-dysku_1.png" width="2500" height="2200" alt="Czym jest firmware dysku" /> </a> </div> </div> <div class="field field--name-body field--type-text-with-summary field--label-hidden field__item"><p>Istnieje przekonanie, iż ze względu na bezpieczeństwo danych, użytkownik powinien zadbać, aby dysk twardy posiadał zainstalowany zawsze aktualny firmware. Opinii tej nie podzielają jednak wszyscy eksperci. Zdania na temat konieczności aktualizacji tego typu oprogramowania są podzielone.</p> <h3>Czym jest firmware</h3> <p>Firmware jest specjalnym oprogramowaniem zainstalowanym fabrycznie w obwodach elektronicznych urządzenia i służącym obsłudze jego podstawowych funkcji. Jest to oprogramowanie opracowane przez producenta celem właściwego sterowania danym urządzeniem, innymi słowy umożliwia odpowiednią komunikację urządzenia. Aktualnie większość sprzętów elektronicznych posiada tego rodzaju oprogramowanie: telewizory, smartfony, aparaty fotograficzne, kamery, inteligentne urządzenia AGD, konsole wideo.</p> <p>Firmware może być niewielkim programem uruchamiającym urządzenie i definiującym ustawienia fabryczne, lub sporej wielkości systemem sterującym, przy czym należy odróżnić go od systemu operacyjnego; firmware działa na niższym poziomie, i jest od niego niezależny.</p> <p>Wiele urządzeń posiada możliwość aktualizacji tego typu oprogramowania (jest ono zapisywane w pamięci nieulotnej, np. <a href="https://klinikadanych.pl/artykuly/budowa-i-dzialanie-pamieci-flash">flash</a>, <a href="https://iviter.pl/encyklopedia/eeprom/">EEPROM</a>, <a href="https://iviter.pl/encyklopedia/pamiec-rom/">ROM</a>), i dostosowania go do coraz efektywniejszych metod obsługi czy nowego zakresu funkcji. Modyfikacja firmware’u ma także znaczenie w kontekście poprawy współpracy z różnymi wersjami systemów operacyjnych, a także zgodności sprzętowej z komputerami różnych producentów.</p> <p>W większości przypadków urządzeń jego użytkownik może wykonać aktualizację firmware'u we własnym zakresie. Aktualizacje zazwyczaj posiadają różne poprawki i nowe funkcje, które nie były dotąd obsługiwane, stąd istotne jest, aby w przypadku możliwości dokonania takiej “łatki”, czynić to stosownie do zaleceń producenta, nawet jeśli sprzęt pracuje sprawnie i nie zgłasza konieczności wykonania takich działań.</p> <p>Panuje opinia, iż nie należy obawiać się aktualizacji firmware'u, jednak wszelkie działania należy przeprowadzać rozważnie i ostrożnie! Oprogramowanie wspomagające powinno kontrolować poprawność procesu i nie dopuszczać np. do instalacji niewłaściwego rodzaju firmware'u przeznaczonego dla innego typu urządzenia. Unieruchomienie urządzenia w wyniku zaniku zasilania (i w efekcie jego uszkodzenie) minimalizowane jest na przykład przez zastosowanie procedury aktualizacji jedynie przy podłączonym zasilaniu. Oczywiście zawsze pewne ryzyko uszkodzenia sprzętu istnieje, dlatego będąc mało doświadczonym użytkownikiem lepiej zgłosić się z problemem do odpowiedniego punktu serwisowego, gdzie przeprowadzone zostaną w sposób odpowiedni i właściwy stosowne czynności aktualizacyjne.</p> <p>W przypadku większości urządzeń oprogramowanie asystujące sprawdza dostępność nowej wersji, pobiera ją oraz informuje o konieczności instalacji (smartfony, tablety). W niektórych przypadkach asystent przeprowadza użytkownika krok po kroku przez system instalacji firmware’u.</p> <h3>Aktualizacja firmware dysku</h3> <p>Dyski twarde także posiadają swój specjalny firmware, ale jego instalacja może być nieco bardziej skomplikowana. Jest on odpowiedzialny za inicjalizację pracy dysku - wprowadzenia w stan gotowości do wykrycia przez komputer. Jeśli firmware nie zadziała prawidłowo, dysk może nie zostać znaleziony przez system operacyjny komputera. W zależności od konstrukcji nośnika, firmware może być krótkim programem (rodzaj BIOS’u) uruchamiającym urządzenie i warunkującym jego ustawienia fabryczne, lub poważnym systemem sterującym (w dyskach SSD).</p> <p>W oprogramowaniu dysku można wyróżnić “PCB firmware” oraz “disk firmware”.</p> <h3>PCB firmware</h3> <p>Każdy model dysku posiada płytkę z elektroniką sterującą jego pracą. Oprócz podzespołów elektronicznych znajduje się tam również część firmware’u. Jest on zaimplementowany w pamięci dysku (ROM, <a href="https://iviter.pl/encyklopedia/nvram/">NVRAM</a>) i odpowiada za rozruch urządzenia - uruchomienie silnika oraz kalibrację głowic.</p> <h3>Disk firmware</h3> <p>To główna część firmware'u, która znajduje się na talerzach dysku, w niewidocznym dla użytkownika miejscu, zwanym “strefą serwisową”. Dostęp do strefy serwisowej odbywa się poprzez specjalne komendy VSC (Vendor Specific Commands). Ze względu na coraz większą złożoność dysków, także firmware staje się coraz bardziej rozbudowany, przy czym jego wielkość skorelowana jest z pojemnością, wersją oprogramowania i daną grupą dysków, będąc oczywiście także zależny od samego producenta urządzenia.</p> <h3>Aktualizować czy nie</h3> <p>Jeśli producent oferuje możliwość oraz narzędzia służące aktualizacji firmware’u dysku, użytkownik może skorzystać z takiego rozwiązania i przeprowadzić stosowne czynności. Dotyczy to zwłaszcza dysków do profesjonalnych zastosowań serwerowych i konstrukcji SSD. Niekiedy są to jednak procedury skomplikowane i wymagające. Za względów bezpieczeństwa, na wypadek niepowodzenia i utraty danych, przed każdym procesem aktualizacji należy wykonać backup (ryzyko można zminimalizować także poprzez zlecenie usługi stosownym punktom serwisowym).</p> <p>Producenci dysków na swych stronach udostępniają aktualizacje oprogramowania układowego produkowanych modeli urządzeń. Są one udostępniane w ramach naprawy błędów starszych wersji oprogramowania, oraz implementacji różnych optymalizacji wpływających teoretycznie na przykład na efektywność pracy dysku. Metody oraz procedury aktualizujące firmware'u różnią się w zależności od modelu dysku, jego producenta i systemu operacyjnego komputera. Starsze modele dysków wymagały bootowalnych nośników z oprogramowaniem aktualizującym firmware, współczesne konstrukcje (dyski SSD) przewidują wykorzystanie stosownych aplikacji uruchamianych z poziomu systemu operacyjnego. Przed rozpoczęciem procedury aktualizacji zawsze należy zapoznać się ze stosowną instrukcją postępowania (rozpoznanie dysku, zastosowanie odpowiednich narzędzi programowych), aby zminimalizować prawdopodobieństwo ewentualnego uszkodzenia. Takie ryzyko istnieje, stąd sceptyczne podejście niektórych ekspertów do omawianych kwestii.</p> <p>Czy zatem korzystać z możliwości aktualizacji, czy raczej jej unikać. Niektórzy są zdania, iż ryzyko awarii lub przeprowadzenia procedury niewłaściwie jest w takich przypadkach jednak zbyt wysokie. Efekty takich działań także nie muszą spełniać oczekiwań. Zalecają oni aktualizację jedynie w sytuacjach wystąpienia wadliwego oprogramowania, gdzie uaktualnienie firmware'u staje się po prostu koniecznością i jest przez producenta wymagane. Zdarzały się bowiem serie dysków, których błędy w oprogramowaniu stwarzały warunki do uszkodzeń urządzenia i utraty danych. Ze swej strony zalecamy wizytę w naszym laboratorium odzyskiwania danych - każdy przypadek zostanie odpowiednio przeanalizowany, możliwość przeprowadzenia tego typu działań zweryfikowana, stosowne rozwiązanie problemu zarekomendowane, a ewentualna aktualizacja przeprowadzona właściwie, z zachowaniem wszelkich standardów bezpieczeństwa.</p> </div> <section> <div class="mb-60 mb-xs-30"> <div class="media-list text comment-list"> </div> </div> <h4 class="blog-page-title font-alt">Leave a Comment</h4> <drupal-render-placeholder callback="comment.lazy_builders:renderForm" arguments="0=node&amp;1=237&amp;2=field_comments&amp;3=comment" token="ymBEtUkEk9afTq0MNqR4544OxQHr-_sxtGVi1dPbmQM"></drupal-render-placeholder> </section> Tue, 13 Oct 2020 12:10:22 +0000 Admin 237 at https://klinikadanych.pl HAMR - zaspokojenie potrzeb coraz większych przestrzeni danych https://klinikadanych.pl/artykuly/hamr-zaspokojenie-potrzeb-coraz-wiekszych-przestrzeni-danych <span>HAMR - zaspokojenie potrzeb coraz większych przestrzeni danych</span> <div class="field field--name-field-second-title field--type-string field--label-hidden field__item">HAMR - zaspokojenie potrzeb coraz większych przestrzeni danych</div> <span><span>Admin</span></span> <span>czw., 10/08/2020 - 17:33</span> <div class="field field--name-field-images field--type-image field--label-hidden field__items"> <div class="field__item"><a href="https://klinikadanych.pl/sites/default/files/2020-10/hamr_0.png" title="HAMR - zaspokojenie potrzeb coraz większych przestrzeni danych" data-colorbox-gallery="gallery-nd_blog-234-sKep_im5FFQ" class="colorbox" data-cbox-img-attrs="{&quot;alt&quot;:&quot;HAMR - zaspokojenie potrzeb coraz większych przestrzeni danych&quot;}"><img src="/sites/default/files/2020-10/hamr_0.png" width="1561" height="1241" alt="HAMR - zaspokojenie potrzeb coraz większych przestrzeni danych" /> </a> </div> </div> <div class="field field--name-body field--type-text-with-summary field--label-hidden field__item"><p>Dyski SSD z powodzeniem zastępują tradycyjne dyski magnetyczne, niemniej jednak konstrukcje HDD wciąż znajdują zastosowanie wszędzie tam, gdzie podstawowym kryterium jest konieczność instalacji dużych pojemności celem organizacji ogromnych magazynów danych. Cena przestrzeni dyskowej w przypadku SSD nadal jest po prostu zbyt wysoka. Dlatego producenci HDD wciąż pracują nad nowymi technologiami mogącymi mieć swoje implementacje w konstrukcjach klasycznych dysków twardych.</p><h3>Na czym polega HAMR</h3><p>Jedną z takich technologii jest HAMR (heat-assisted magnetic recording, czyli zapis magnetyczny wspomagany termicznie) opracowana i wdrażany przez Seagate. Inżynierowie Seagate pracowali nad tym pomysłem od 1998 roku - dużo czasu pochłonęło uruchomienie technologii w warunkach laboratoryjnych. Dzięki HAMR można uzyskać znaczny wzrost powierzchniowej gęstości zapisu danych i tym samym bardziej efektywne wykorzystanie przestrzeni dyskowej. Zwiększenie pojemności dysku uzyskano tutaj dzięki podgrzaniu nośnika (400 - 700 stopni Celsjusza) w miejscu gdzie zapisane zostają bity informacji. Wyższa temperatura generuje spadek oporności magnetycznej i możliwość zapisu danych na mniejszej powierzchni niż w przypadku tradycyjnego dysku HDD. Ciepło sprawia, że dysk łatwiej poddaje się procesowi zapisu, rozmiar bitów może ulec zmniejszeniu (wzrost gęstości), a odpowiednia stabilność magnetyczna uzyskana zostaje dzięki procesowi szybkiego chłodzenia rozgrzanej powierzchni nośnika.</p><p>Głowica HAMR podczas procesu zapisu pobiera maksymalnie 200 mW, i jest to niewielki procent mocy pobieranej przez dysk z zapisem prostopadłym, przy czym każdy bit nagrzewa się i stygnie w ciągu nanosekundy, tak więc technologia laserowa nie wpływa na wzrost temperatury napędu i przez to na niezawodność i stabilność konstrukcji. Wzrost temperatury powierzchni talerza uzyskuje się za pomocą laserowego promienia. Dioda lasera współpracuje z każdą głowicą zapisującą, podgrzewając poszczególne punkty na platerze dysku. Chociaż używa się terminu technologia “laserowa”, w istocie nie mamy tutaj do czynienia z konstrukcjami znanymi z tradycyjnych laserów. W przypadku tej technologii wykorzystywany jest transport energii dzięki tzw. koherentnym strukturom kwantowym, choć szczegóły zastosowanych rozwiązań nie są przez producenta ujawniane.</p><p>Dyski HAMR nie wymagają żadnych dodatkowych zabiegów ze strony użytkownika - podłączane są dokładnie w taki sam sposób jak modele tradycyjne, i od strony systemu widziane są tak samo.</p><h3>Przyszłość HDD ​​</h3><p>Rynkowe raporty przewidują, że klasyczne dyski HDD w najbliższej przyszłości nadal będą pełnić wiodącą rolę w zarządzaniu około siedemdziesięcioma procentami danych zgromadzonych w przestrzeni wirtualnej. Rozwój nowych technologii opracowanych dla zwiększenia pojemności dysków magnetycznych czy prędkości przetwarzania danych (<a href="https://klinikadanych.pl/artykuly/mach2-multi-actuator-szybsze-hdd/">MACH.2 Multi Actuator</a>) ma więc istotne znaczenie w kontekście przyszłego rozwoju pamięci masowych. Inwestycje w tego typu rozwiązania, o tak szerokim zakresie zastosowań, mogą być bardzo opłacalne.</p><p>Technologia HAMR ma znaleźć swą implementację w serii dysków Seagate przeznaczonych do zastosowań korporacyjnych. Wyposażane w nią mają zostać modele o pojemności powyżej 16 TB. Dzięki tej technologii na przełomie lat 2025/26 Seagate przewiduje opracowanie dysków o przestrzeni magazynowej dochodzącej nawet do 100 TB.</p> </div> <section> <div class="mb-60 mb-xs-30"> <div class="media-list text comment-list"> </div> </div> <h4 class="blog-page-title font-alt">Leave a Comment</h4> <drupal-render-placeholder callback="comment.lazy_builders:renderForm" arguments="0=node&amp;1=234&amp;2=field_comments&amp;3=comment" token="IGt7uRNuziqzjFbRXF2Omi2nEI2_6fLU4oNbRitAQS4"></drupal-render-placeholder> </section> Thu, 08 Oct 2020 15:33:31 +0000 Admin 234 at https://klinikadanych.pl Rodzaje i typy systemów bazodanowych https://klinikadanych.pl/artykuly/rodzaje-i-typy-systemow-bazodanowych <span>Rodzaje i typy systemów bazodanowych</span> <div class="field field--name-field-second-title field--type-string field--label-hidden field__item">Rodzaje i typy systemów bazodanowych</div> <span><span>Admin</span></span> <span>pt., 10/02/2020 - 16:02</span> <div class="field field--name-field-images field--type-image field--label-hidden field__items"> <div class="field__item"><a href="https://klinikadanych.pl/sites/default/files/2020-10/rodzaje-i-typy-systemow-bazodanowych.png" title="Rodzaje i typy systemów bazodanowych" data-colorbox-gallery="gallery-nd_blog-233-JeCM1wa_AnE" class="colorbox" data-cbox-img-attrs="{&quot;alt&quot;:&quot;Rodzaje i typy systemów bazodanowych&quot;}"><img src="/sites/default/files/2020-10/rodzaje-i-typy-systemow-bazodanowych.png" width="2000" height="1400" alt="Rodzaje i typy systemów bazodanowych" /> </a> </div> </div> <div class="field field--name-body field--type-text-with-summary field--label-hidden field__item"><p>Podstawowe informacje dotyczące baz danych i wyzwań stojących przed projektantami systemów znaleźć można w jednym z poprzednich <a href="https://klinikadanych.pl/artykuly/bazy-danych-ewolucja-systemy-zarzadzania-wyzwania">wpisów</a>. Dziś przedstawimy główne typy występujących systemów, których klasyfikacja przebiega według struktur organizacyjnych administrowanych informacji.</p> <h3>Bazy kartotekowe</h3> <p>Bazy kartotekowe - to jeden z najprostszych rodzajów baz danych. System taki zbudowany jest w oparciu o jedną tablicę, które posiadają tożsamą strukturę wszystkich pól. Każda tablica jest autonomicznym dokumentem i nie może współpracować z innymi tablicami tego typu. Dane gromadzone w tego rodzaju bazach poddawane są podstawowym zabiegom administracyjnym (przeszukiwanie, filtracja, sortowanie). Bazy kartotekowe realizowane są za pomocą programów administrujących, arkuszy kalkulacyjnych, czy nawet zwykłych edytorów tekstowych. Przykładami tego rodzaju baz są książki telefoniczne, czy innego rodzaju spisy.</p> <h3>Bazy hierarchiczne</h3> <p>Bazy hierarchiczne - model, w którym dane zorganizowane są w strukturze drzewa, tworząc rekordy (węzły) podrzędne i nadrzędne, przy czym każdy rekord podrzędny jest skorelowany tylko z jednym rekordem nadrzędnym (z wyjątkiem głównego rekordu, który nie jest skorelowany). System ten jest często przedstawiany jako relacja rodzic - potomek. Przykładem takiej organizacji mogą być powiązania folderów w systemie operacyjnym komputera.</p> <p>Wyszukiwanie danych w tym modelu polega na przemieszczaniu się przez kolejne rekordy (zbiory) danych, czyli na wyszukiwaniu rekordów podrzędnych względem rekordu nadrzędnego. Ponieważ informacje ustrukturyzowane są w tym modelu w kierunku od informacji ogólnej do coraz bardziej szczegółowej, wyszukiwanie odbywa się tutaj poprzez kolejne poziomy uszczegółowienia.</p> <p>Wadą tego systemy jest niestety brak możliwości tworzenia relacji pomiędzy różnymi drzewami, jak również sztywność łącza, która nie pozwala na modyfikację relacji. Wśród wad należy wymienić także konieczność usunięcie wszystkich rekordów podrzędnych podczas usunięcia jednego rekordu - rodzica. Utrudnione wprowadzanie zmian, które często zaburza całą strukturę modelu, także nie należy do czynników utrzymujących wysoką popularność tego rodzaju modelu (podczas zmian na ogół trzeba odtworzyć strukturę bazy od nowa).</p> <p>Pomimo zalety w postaci przewidywalności struktury i wyszukiwania, a co za tym idzie wysokiego stopnia optymalizacji ewentualnych aktualizacji przez systemy DBMS, model ten uznawany jest za przestarzały i na ogół nie jest już wykorzystywany.</p> <h3>Bazy relacyjne</h3> <p>Bazy relacyjne - bazy tego typu zyskały popularność w latach osiemdziesiątych i od tego czasu ciągle znajdują się w użyciu. Technologia baz danych tego rodzaju zapewnia efektywny sposób dostępu, administrowania i zarządzania informacją. Relacyjna baza służy realizacji dowolnych potrzeb związanych z bezpiecznym gromadzeniem i administrowaniem informacją, w przypadku gdy elementy danych muszą być ze sobą powiązane.</p> <p>Bazy relacyjne posiadają wewnętrzne języki programowania (wykorzystujące na ogół SQL), które realizują zaprojektowane dla danej bazy funkcje administracyjno - zarządzające. Bazy typu relacyjnego ustandaryzowały metody korzystania z zasobów i uczyniły je możliwymi z poziomu każdej aplikacji. Podstawową zaletą było tu wykorzystanie tablic (tabel), które oferowały intuicyjny i niezwykle wydajny system gromadzenia, przechowywania i dostępu do plików informacji.</p> <h4>Budowa</h4> <p>Bazy relacyjne budowane są w oparciu o tablice zawierające wiersze i kolumny, które są wzajemnie ze sobą powiązane. Tablice reprezentują relacje w jakich organizowane są dane. Relacje występują w formie zbioru rekordów wzajemnie ze sobą powiązanych i grupowane są w tzw. schematach. Wiersze tablicy występują jako rekordy z charakterystycznym kluczem, kolumny zawierają atrybuty danych, zaś dany rekord przechowuje wartość dla każdego atrybutu.</p> <h4>Organizacja</h4> <p>W systemach tego rodzaju struktury logiczne danych oddzielone są od fizycznych układów pamięci, przez co istnieje możliwość fizycznego zarządzania danymi bez wpływu na ich strukturę logiczną. To rozróżnienie ma także związek z wydzieleniem operacji logicznych (określenie zawartości) i operacji fizycznych (dostęp i realizacja zadań). Aby zmaksymalizować skuteczność działań wprowadzone zostały pewne reguły integralności, które związane są np. z eliminacją możliwości wprowadzenia duplikujących się wierszy.</p> <h4>Wykorzystanie</h4> <p>Pomimo pojawienia się nowszych modeli rozwiązań bazy relacyjne są nadal chętnie wykorzystywane. Ma na to wpływ np. skuteczne zachowanie spójności danych. Gdy inne systemy zachowują tzw. spójność końcową, bazy relacyjne aktualizują swoje dane w niezwykle szybko, co ma szczególne znaczenie w przypadku operacji finansowych, gdy z bazy korzysta wielu użytkowników w tym samym czasie i nie można sobie pozwolić na opóźnioną aktualizację.</p> <h3>Temporalne bazy danych</h3> <p>To specjalny rodzaj relacyjnej bazy danych, której sposób działania opiera się na korelacji powiązanych elementów bazy z czasem, w którym wartość gromadzonych informacji jest prawdziwa (każdy rekord posiada specjalne oznaczenia). Temporalne bazy danych na ogół są zarządzane automatycznie - nieaktualne dane są usuwane lub archiwizowanie.</p> <h4>Zastosowania</h4> <p>Wykorzystywane są przez medyczne archiwa cyfrowe (historie chorób), systemy gromadzące dane statystyczne oraz gospodarcze (finansowe), terenowe systemy informacji (dane dotyczące np. praw własności), archiwa biurowe, systemy rezerwacji biletów, pokoi hotelowych, czy systemy zarządzania sieciami komputerowymi oraz telekomunikacyjnymi.</p> <h3>Bazy obiektowe</h3> <p>Dane zarządzane przez bazy tego typu mają postać obiektów. Obiekt jest w tym przypadku podstawowym pojęciem definiowanym jako abstrakcyjny byt, który reprezentuje (opisuje) przedmiot, zjawisko itp. Obiekty posiadają identyfikatory odróżniające je od innych obiektów, oraz służące do budowy odwołań, które nadawane są przez system i nie mają odniesień do świata rzeczywistego.</p> <p>Zaletą tych modeli jest udostępnianie danych w postaci obiektowej, tożsamej postaci danych, w jakiej występują w programach napisanych w obiektowych językach programowania. Nie istnieje więc w tym przypadku konieczność odwzorowania danych pomiędzy różnymi modelami (np. pomiędzy relacyjnym a obiektowym w przypadku stosowania relacyjnej bazy danych).</p> <p>Wytężone prace nad tego rodzaju bazami trwały w latach dziewięćdziesiątych, obecnie zainteresowanie nimi osłabło. Do najważniejszych standardów występujących wśród baz obiektowych zaliczyć można ODMG oraz JDO.</p> <h3>Nieralacyjne bazy danych (NoSQL)</h3> <p>Bazy tego rodzaju zaczęły zyskiwać na popularności wraz ze wzrostem stopnia skomplikowania aplikacji internetowych, w kontekście rosnącej liczby rozwiązań z obszaru Big Data, gdyż w przeciwieństwie do modeli relacyjnych umożliwiają przechowywanie i zarządzanie częściowo uporządkowanych oraz nieuporządkowanych danych. NoSQL nie posiadają jednak standardowego języka zapytań oraz interfejsu.</p> <p>NoSQL mogą magazynować informacje dla których nie występują powiązania relacyjne. Obiekty w takiej bazie nie muszą być strukturalnie jednorodne. Na ogół struktury takie mają postać klucz - wartość, choć niekiedy rozumiane są szerzej jako pozbawione tabel i relacji. Wśród innych rodzajów NoSQL należy wymienić: bazy danych dokumentów, kolumnowe, pamięci podręcznej i grafowe.</p> <p>Ich przewaga nad bazami rodzaju SQL polega na większej wydajności podczas przetwarzania Big Data, większej elastyczności, możliwości przetwarzania danych niestrukturalnych i niższych kosztach utrzymania. Jednak dla danych, w których występują relacje nadal zalecane jest stosowanie tradycyjnych rozwiązań relacyjnych. NoSQL nie występują jednak jako rozwiązania konkurencyjne dla SQL, oba systemy mogą znakomicie się uzupełniać i być wykorzystywane równolegle.</p> <h4>Zastosowanie NoSQL</h4> <p>Bazy tego rodzaju znajdują zastosowanie w każdej większej aplikacji internetowej (np. utrzymanie pamięci podręcznej). Wśród najpopularniejszych rozwiązań należy wymienić Redis (Twitter, Pinterest, Snapchat), Memcached (Facebook) i Cassandra (Instagram, Netflix i Apple).</p> <h3>Grafowe bazy danych</h3> <p>Bazy grafów budowane są w oparciu o węzły (encje), krawędzie (relacje między encjami), właściwości i teorie grafów. Ten typ bazy danych jest projektowany dla informacji, których relacje są reprezentowane poprzez wykres zbudowany z komponentów powiązanych w skończonej liczbie relacji (niewielkie rekordy z rozbudowanymi połączeniami). Danymi mogą być w tym przypadku stosunki społeczne, siatka transportu, mapy drogowe itp. W bazach tego rodzaju każdy element posiada bezpośredni wskaźnik kierujący na sąsiednie elementy i w związku z tym nie istnieje konieczność stosowania wyszukiwania indeksowego. Znajdują one zastosowanie wszędzie tam gdzie modele relacyjne nie są efektywne.</p> <h3>Rozproszone bazy danych</h3> <p>Terminem tym określana jest baza danych istniejąca przynajmniej w dwóch różnych lokalizacjach. Traktowana jest jednak logicznie jako całość - zmiany dokonywane na jednym komputerze uwzględniane są także w innych urządzeniach, przy czym komputery mogą znajdować się w różnych sieciach. Użytkownik korzystający z danych znajdujących się w bazie nie musi posiadać wiedzy na temat fizycznej lokalizacji wykorzystywanych informacji. Bazy tego rodzaju mogą być współdzielone przez serwery różnych podmiotów. Cechą charakterystyczną takich baz jest zwiększona wydajność przetwarzania informacji.</p> <h3>Bazy danych OLTP (Online Transaction Processing)</h3> <p>To bazy o specyfice transakcyjnej (model klient - serwer). Projektowane są w celu szybkiej obsługi dużej liczby transakcji bieżących przez wielu klientów systemu, którzy zamiast z serwerem bazy danych komunikują się z serwerem transakcji. Inne systemy bazodanowe w takich warunkach zawodzą.</p> <p>Zadaniem OLTP nie jest zastąpienie istniejących systemów bazodanowych, lecz wykorzystanie ich w charakterze podsystemów w bardziej rozbudowanych strukturach. Systemy takie stają się niezależne od konkretnej bazy danych czyniąc go wymiennym elementem tego rodzaju obiektów.</p> <p>Podstawowymi elementami systemu OLTP są:</p> <ul> <li>Presentation Manager (PM) - podsystem odpowiedzialny za komunikację z użytkownikami i obsługę interfejsu.</li> <li>Transaction Manager (TM) - podsystem odpowiedzialny za wykonywanie transakcji lokalnych i rozproszonych.</li> <li>Communication Manager (CM) - podsystem realizujący zadania komunikacyjne między komponentami systemu OLTP w środowisku rozproszonym.</li> <li>Resource Manager (RM) - system bazodanowy.</li> <li>Aplikacja (App) - odpowiedzialna za komunikację z użytkownikiem za pośrednictwem PM oraz operacje na bazie danych wykonywane przez RM.</li> </ul> <p>OLTP znajdują zastosowanie jako narzędzia obsługi systemów rezerwacji i sprzedaży.</p> <h3>Strumieniowe baza danych</h3> <p>Strumieniowe bazy danych oparte zostały na idei przetwarzania danych jako zbioru strumieni informacyjnych. Powstały z potrzeby realizacji rozwiązań, które nie mogą być skuteczne w przypadku zastosowania relacyjnych modeli, czyli przy założeniu aktywności użytkownika (wprowadzenie żądania informacji ze zbioru danych).</p> <p>Obecnie wymagane jest przetwarzanie dużych ilości danych płynących z różnych źródeł - notowania giełdowe, monitoring, systemy drogowe. Konieczna jest w takich przypadkach minimalizacja opóźnień przetwarzania informacji. Klasyczne systemy bazodanowe mogą okazać się nieefektywne, ponieważ ich procesy spowalnia konieczność zapisu przed ich przetworzeniem.</p> <p>Systemy relacyjne stosują model typu zapytanie-odpowiedź, systemy strumieniowe mają postać zapytanie - odpowiedź, odpowiedź, odpowiedź,... (występują w pętli). Ciągłe zapytanie jest zapytaniem, które przetwarza strumienie bez przerwy, aż do momentu wycofania zapytania. Strumieniowy model zakłada, że dane napływające do systemu nie są znane w chwili powstania zapytania. Dane takie napływają na bieżąco i zapisywane są właśnie w strumieniu. W modelu strumieniowym napływające do systemu dane nie są dostępne w dowolnym momencie. Możliwy czas, w jakim można je zarejestrować jest skończony.</p> <h3>Chmurowe bazy danych</h3> <p>Chmurowa baza danych jest zbiorem informacji, przechowywanych i obsługiwanych w chmurze. Oferowane przez taki system funkcje nie odbiegają od tych, które zapewnia tradycyjna baza danych, zapewniając przy tym wysoką elastyczność przetwarzania danych. Wykorzystanie takiej struktury związane jest z instalacją przez użytkownika odpowiedniego oprogramowania. Istnieją dwa rodzaje chmurowych baz danych: tradycyjny (zbliżony do lokalnej bazy danych) i w formie usługi (DBaaS). W drugim przypadku dostawca usługi zapewnia ze swej strony prowadzenie szeregu czynności konserwacyjnych, administracyjnych i zarządzających, obejmujących działania w zakresie tworzenia kopii zapasowych, skalowania, zabezpieczeń, instalacji łatek systemowych i ciągłego monitorowania.</p> <p>Wśród zalet takiego rozwiązania należy wymienić:</p> <ul> <li>brak konieczności posiadania odpowiedniego sprzętu po stronie użytkownika (baza danych może powstać bardzo szybko),</li> <li>zarządzanie przez użytkownika lub dostawcę usługi,</li> <li>obsługa systemów SQL (także MySQL) lub NoSQL,</li> <li>dostęp za pomocą interfejsu www (lub interfejsu API),</li> <li>rozmiar chmurowej bazy danych można dostosowywać do potrzeb użytkownika,</li> <li>w przypadku formy usługi zapewnionych jest szereg wspomnianych wyżej czynności administracyjnych oraz zabezpieczających dane, które wpływają na zmniejszenie stopnia ryzyka,</li> <li>duża elastyczność i swoboda - szybka konfiguracja i bezproblemowe wycofywanie z eksploatacji,</li> <li>niższe koszty - opłaty wnoszone są tylko za wykorzystane zasoby (skalowanie może odbywać się zarówno w górę, jak i w dół, w zależności od okresowej aktywności użytkownika).</li> </ul> <p>Dynamiczny rozwój cyfryzacji i konieczność gromadzenia oraz zarządzania rosnącymi zasobami różnych rodzajów danych generują konieczność projektowania wciąż nowych systemów, wśród których znajdują się:</p> <h3>Bazy danych typu open source</h3> <p>To rodzaj systemu bazy danych, którego kod źródłowy jest otwarty. Może on występować jako SQL lub NoSQL.</p> <h3>Wielomodelowe bazy danych</h3> <p>To rodzaj zintegrowanego wielosystemowego modelu projektowanego pod kątem zbierania i przetwarzania różnych typów danych.</p> <h3>Samoczynne (autonomiczne) bazy danych</h3> <p>To działające w chmurze systemy wykorzystujące zautomatyzowane procesy (oparte na metodach samouczenia maszyn) skalowania, zabezpieczania przed awariami, tworzenia kopii zapasowych i aktualizacji oraz innych zadań, które w przypadku struktur bazodanowych innego rodzaju realizowane są przez administratorów. Autonomiczne bazy pozwalają znacznie zredukować koszty zarządzania systemami gromadzenia informacji.</p> <h3>Dokumentowe bazy danych (JSON)</h3> <p>To rodzaj systemu bazodanowego zaprojektowany specjalnie pod kątem gromadzenia i obsługi danych w formie dokumentów. W architekturze tego typu bazy zamiast struktury wierszy i kolumn przechowywane są w formacie JSON (JavaScript Object Notation), co umożliwia ich naturalne przetwarzanie, wraz z możliwością ich hierarchizowania oraz indeksowania. System taki cechuje duża skalowalność i wydajność.</p> </div> <section> <div class="mb-60 mb-xs-30"> <div class="media-list text comment-list"> </div> </div> <h4 class="blog-page-title font-alt">Leave a Comment</h4> <drupal-render-placeholder callback="comment.lazy_builders:renderForm" arguments="0=node&amp;1=233&amp;2=field_comments&amp;3=comment" token="NNrey4B-iN2UfiPRFMnavo97MS4oi89YNs_uP768FSs"></drupal-render-placeholder> </section> Fri, 02 Oct 2020 14:02:22 +0000 Admin 233 at https://klinikadanych.pl MACH.2 Multi Actuator - szybsze HDD https://klinikadanych.pl/artykuly/mach2-multi-actuator-szybsze-hdd <span>MACH.2 Multi Actuator - szybsze HDD</span> <div class="field field--name-field-second-title field--type-string field--label-hidden field__item">MACH.2 Multi Actuator - szybsze HDD</div> <span><span>Admin</span></span> <span>wt., 09/29/2020 - 12:40</span> <div class="field field--name-field-images field--type-image field--label-hidden field__items"> <div class="field__item"><a href="https://klinikadanych.pl/sites/default/files/2020-09/mach.2_multi_actuator_-_szybsze_hdd.png" title="MACH.2 Multi Actuator - szybsze HDD" data-colorbox-gallery="gallery-nd_blog-232-NhiOmd9pvhQ" class="colorbox" data-cbox-img-attrs="{&quot;alt&quot;:&quot;MACH.2 Multi Actuator - szybsze HDD&quot;}"><img src="/sites/default/files/2020-09/mach.2_multi_actuator_-_szybsze_hdd.png" width="1695" height="1578" alt="MACH.2 Multi Actuator - szybsze HDD" /> </a> </div> </div> <div class="field field--name-body field--type-text-with-summary field--label-hidden field__item"><p>Opinie niektórych ekspertów na temat technologii zapisu, magazynowania i odczytu informacji w kontekście magnetycznych dysków HDD nie pozostawiają raczej wątpliwości co do wyczerpywania się ich możliwości rozwoju. Niemniej jednak producenci nie zawieszają badań na tym polu. Prace nad nowymi rozwiązaniami poprawiającymi osiągi dysków magnetycznych oraz ich wdrożeniem do masowej produkcji ciągle trwają. Przykładem jest tu marka Seagate oraz MACH.2 Multi Actuator, technologia pozwalająca na podniesienie szybkości transferu danych dzięki zastosowaniu dwóch równoległych strumieni transferu informacji, umożliwiających jednostce sterującej jednoczesne żądanie i odbieranie danych z dwóch obszarów dysku HDD.</p><h3>Jak działa MACH.2 Multi Actuator</h3><p>W tradycyjnych dyskach HDD wszystkie głowice umieszczane są na jednym ramieniu. Inżynierowie Seagate projektując dyski z większą ilością talerzy znaleźli odpowiednio dużo miejsca na umieszczenie na jednej osi dwóch oddzielnych serwomechanizmów z głowicami. Każdy z zestawów głowic działa w tym przypadku niezależnie, co jednak dla systemu nie stanowi żadnej różnicy. Takie rozwiązanie teoretycznie pozwala nawet na podwojenie wykonywanych przez dysk operacji wejścia-wyjścia, co jest szczególnie istotne w przypadku dysków o dużej pojemności (podczas testów prototypy osiągały wyniki zbliżone do dysków SSD z interfejsem SATA, co było rekordem dla modeli HDD). Czas dostępu oczywiście nadal pozostaje niższy, niemniej jednak wzrost transferu stanowi duże osiągnięcie.</p><h3>Zastosowanie</h3><p>Technologia ta znalazła swoją implementacją w serii dysków Seagate Exos, które adresowane są do przedsiębiorstw oraz instytucji, mogą znaleźć zastosowanie w macierzach dyskowych oraz serwerowniach czy systemach monitoringu zgłaszających wciąż rosnące zapotrzebowanie na coraz większe rozmiary przestrzeni pamięci oraz konieczność coraz wyższej gęstości przechowywania informacji. Odnajdą się w systemach Big Data, w platformach rozproszonego składowania i przetwarzania wielkich zbiorów danych oraz hiperskalowych centrach danych. Miniaturyzacja systemu MACH.2 Multi Actuator będzie jednak trudna do osiągnięcia, stąd wyprodukowanie 2,5-calowego dysku do laptopa może nie leżeć w granicach obecnych możliwości technologicznych.</p><p>Dzięki tego typu dyskom użytkownicy korzystający z aplikacji intensywnie operujących danymi będą mogli pracować na możliwie najwyższym poziomem wydajności dysku HDD, jednocześnie zarządzając dużymi i wciąż rosnącymi zbiorami danych. Teoretyczna możliwość zwiększenia transferu danych do 480 MB/s dzięki MACH.2 plus zalety technologii HAMR stwarzają warunki do zaspokojenia oczekiwań administratorów i użytkowników centrów danych pracujących w reżimie maksymalnej efektywności.</p> </div> <section> <div class="mb-60 mb-xs-30"> <div class="media-list text comment-list"> </div> </div> <h4 class="blog-page-title font-alt">Leave a Comment</h4> <drupal-render-placeholder callback="comment.lazy_builders:renderForm" arguments="0=node&amp;1=232&amp;2=field_comments&amp;3=comment" token="dFLQa2r-a4WT6CTBDgJc66pOYmliYwUUvkSXiRhbvDM"></drupal-render-placeholder> </section> Tue, 29 Sep 2020 10:40:53 +0000 Admin 232 at https://klinikadanych.pl Big Data - wyzwania technologiczne i analityczne https://klinikadanych.pl/artykuly/big-data-wyzwania-technologiczne-i-analityczne <span>Big Data - wyzwania technologiczne i analityczne</span> <div class="field field--name-field-second-title field--type-string field--label-hidden field__item">Big Data - wyzwania technologiczne i analityczne</div> <span><span>Admin</span></span> <span>wt., 09/22/2020 - 13:21</span> <div class="field field--name-field-images field--type-image field--label-hidden field__items"> <div class="field__item"><a href="https://klinikadanych.pl/sites/default/files/2020-09/big_data_-_wyzwania_technologiczne_i_analityczne.png" title="Big Data - wyzwania technologiczne i analityczne" data-colorbox-gallery="gallery-nd_blog-231-xSay7pAIU6E" class="colorbox" data-cbox-img-attrs="{&quot;alt&quot;:&quot;Big Data - wyzwania technologiczne i analityczne&quot;}"><img src="/sites/default/files/2020-09/big_data_-_wyzwania_technologiczne_i_analityczne.png" width="1800" height="1800" alt="Big Data - wyzwania technologiczne i analityczne" /> </a> </div> </div> <div class="field field--name-body field--type-text-with-summary field--label-hidden field__item"><p>Kilka podstawowych kwestii związanych z <a href="https://klinikadanych.pl/artykuly/big-data">Big Data</a> już omówiliśmy. Pora na przedstawienie technologicznych wyzwań jakie pojawiają się w kontekście coraz bardziej wartkiego strumienia napływających informacji.</p><p>Obecny napływ informacji liczony jest na poziomie trylionów bajtów dziennie. Olbrzymia ilość generowanych plików danych stała się zjawiskiem globalnym i powszechnym, dotyczącym wszystkich podmiotów, w każdej dziedzinie życia. Konwencjonalne metody zarządzania informacją już dawno stały się nieadekwatne, Big Data stało się wyzwaniem zdigitalizowanej współczesności.</p><p>Termin “Big Data” jest trudny do scharakteryzowania, najogólniej rzecz ujmując dotyczy kwestii gromadzenia i zarządzania dużymi pod względem objętości i skomplikowanymi pod względem złożoności zasobami informacji. Źródła pochodzenia danych są tutaj wielorakie - bazy danych, dokumenty, maile, wpisy z blogów, mediów społecznościowych, informacje płynące z różnego rodzaju sensorów rejestrujących (internet rzeczy), urządzeń lokalizacyjnych (GPS) itp. Dane mają przy tym różnoraką strukturę; określoną, jak i nieokreśloną, co znacznie utrudnia ich analizę oraz przetwarzanie. Między innymi owa złożoność jest wyzwaniem dla analityków i architektów trudniących się projektowaniem adekwatnych do potrzeb systemów informatycznych. Ale nie tylko ona. Wyzwaniem w kontekście Big Data jest już sama ilość generowanych danych, ich różnorodność oraz liczba źródeł informacji. Najogólniej problemy przed którymi stajemy w kontekście ogromnej liczby informacji podzielić można na wyzwania technologiczne oraz te, które są związane bezpośrednio z danymi.</p><h3>Wyzwania technologiczne</h3><p>Wyzwania technologiczne związane są z projektowaniem adekwatnej do potrzeb architektury systemu. Architektura rozumiana jest tutaj holistycznie, jako całościowy proces skorelowany ze źródłami danych, przesyłem, gromadzeniem, przetwarzaniem, modelowaniem, wnioskowaniem i udostępnianiem informacji.</p><p>Big Data to informacje płynące z wielu różnych źródeł. Istotna jest więc kwestia odpowiedniej identyfikacji źródeł, określenia stopnia ich istotności dla danych celów, czy problemów automatycznej weryfikacji. Kłopotliwe są tu kwestie odpowiedniej filtracji i segregacji napływającego strumienia informacji. Odrzucenie danych nieistotnych stanowi ważną kwestię w kontekście ograniczania kosztów procesu ich przetwarzania. Odpowiednia automatyczna generacja metadanych (informacji opisujących dane, o których szerzej piszemy <a href="https://klinikadanych.pl/artykuly/metadane-kwestie-bezpieczenstwa">tutaj</a>) także stanowi problematykę wymagającą zastosowania przemyślanego podejścia.</p><p>Problematyczna jest także różnorodność źródeł informacji. Dane z nich napływające nie są jednolite pod kątem posiadanych formatów. Wyzwaniem jest w tym przypadku projektowanie systemów integrujących różne rodzaje danych, systemów charakteryzujących się możliwościami korelacji różnych rodzajów danych, znajdowania zależności i porządkowania pod kątem powiązań między nimi.</p><p>Przetwarzanie informacji w czasie rzeczywistym stało się koniecznością (rosnące wymagania chociażby systemów transakcyjnych). Nie do przyjęcia jest wydłużony czas oczekiwania na wyniki analizy, czy ich prezentacja w tradycyjnych formach np. w postaci wykresów czy tabel. Ogromny wolumen płynących zewsząd danych stanowi więc i w tych kwestiach wyzwanie któremu podołać muszą projektanci systemów - możliwości starszych typów baz danych wyczerpały się.</p><p>Ciągły strumień danych stwarza konieczność przetworzenia wciąż przybywających informacji oraz aktualizacji zgromadzonych zasobów, przy czym nie tylko wolumen jest tutaj istotny, prędkość przepływu także ma niebagatelne znaczenie. Szybkość stanowi ogromne wyzwanie dla struktur administrujących, zwłaszcza dla systemów przechowywania i obsługi zapytań. Odpowiednia wydajność jest w obu przypadkach niezwykle istotna.</p><p>Niebagatelne znaczenie ma też odpowiednia infrastruktura. Przetwarzanie dużych wolumenów danych na ogół związane jest z odpowiednimi inwestycjami - zakup sprzętu, np. serwerów, pamięci, czy oprogramowania. Szczególnie istotne jest inwestowanie w narzędzia służące bardziej efektywnemu zarządzaniu i wzrostowi wydajności działań.</p><h3>Wyzwania skorelowane bezpośrednio z danymi</h3><p>Jak już zostało wspomniane, niezwykle istotna jest odpowiednia filtracja napływających informacji. Nie wszystkie bowiem dane są równoważne jakościowo. Wiele z nich nie jest przydatna z punktu widzenia danego użytkownika. Niektóre z nich mogą zawierać błędy lub być kompletnie nieprawdziwe (wpisy na portalach społecznościowych). Wyzwanie stanowi tutaj opracowanie odpowiednich systemów weryfikujących i dokonujących selekcji. W oparciu o błędne informacje mogą być podejmowane poważne decyzje biznesowe, których wyniki generować będą straty finansowe.</p><p>Wśród trudności, z którymi muszą mierzyć się analitycy jest kwestia wymiarowości danych i stosowanie właściwych metod jej redukcji, co ma znaczenie w kontekście obróbki i odpowiedniej prezentacji informacji. Ze względu na ogromną wielowymiarowość rekordów, ich występowanie w formie dużych zbiorów, wizualizacja danych często staje się po prostu niemożliwa albo przestaje być czytelna. Szybkość realizacji odpowiedniej prezentacji danych jest oczywiście ograniczana także przez operujące nimi systemy cyfrowe. Ograniczenie wymiarowości danych przez zastosowanie odpowiednich algorytmów oraz zarządzania nimi i skalowalności staje się zatem palącym wyzwaniem w kontekście ich właściwej prezentacji (wizualizacji). Problematyczne stają się także kwestie związane z konkretnymi metodami wizualizacji i przestrzenią ich możliwego i najbardziej odpowiedniego wykorzystania.</p><p>Wyzwaniem staje się także odpowiednie odczytanie otrzymanych wyników w kontekście celów wyznaczonych przez odbiorcę informacji. Ustalenie celów prowadzonych analiz jest oczywiście priorytetowe. Dopiero w tym kontekście można przystąpić do wyznaczenia zakresu potrzebnych danych oraz źródeł ich pozyskiwania. Określenie rodzaju gromadzonych dane jest tutaj kluczowe w kontekście przyjętych celów biznesowych. Świadomość celów, ich jasne sprecyzowanie, jest zatem priorytetowe. Właściwe wnioski płynące z analiz otrzymywanych informacji otrzymane być mogą jedynie w oparciu o właściwe narzędzia analityczne oraz umiejętności i kompetencje osób z nich korzystających. Czynnik ludzki ma tu bardzo duże znaczenie, bowiem odpowiednia interpretacja otrzymanych wyników wymaga właściwej kadry o najwyższych zdolnościach analitycznych. Zatrudnienie właściwego specjalisty bywa jednak niezwykle trudne, warto zatem rozważyć wdrożenie odpowiednich systemów kształcenia i szkolenie własnych pracowników o pożądanym profilu analitycznym.</p><p>Niezwykle istotne jest także łączenie działań na polach technologicznych, biznesowych i produktowych. Praktyka wykazuje, iż współpraca różnie zorientowanych zespołów przynosi wymierne korzyści. Dzielenie się informacjami, komunikowanie intencji i zamierzeń to także dobra strategia, która znajduje odzwierciedlenie w otrzymywanych wynikach.</p><p>Obecnie nie ma już wątpliwości, że analizy związana z Big Data umożliwiają podmiotom biznesowym wstąpienie na nowy poziom rozwoju. Strategie budowane w oparciu o tego typu analizy mogą przekładać się na znaczną przewagę konkurencyjną. Zmierzenie się z wyzwaniami jakie przed nimi stawiają duże zbiory danych staje się zatem powoli koniecznością.</p> </div> <section> <div class="mb-60 mb-xs-30"> <div class="media-list text comment-list"> </div> </div> <h4 class="blog-page-title font-alt">Leave a Comment</h4> <drupal-render-placeholder callback="comment.lazy_builders:renderForm" arguments="0=node&amp;1=231&amp;2=field_comments&amp;3=comment" token="dDdo4AUdh485xtEIuxJOsTCtVQPqppFJBKWU2ioDCcs"></drupal-render-placeholder> </section> Tue, 22 Sep 2020 11:21:20 +0000 Admin 231 at https://klinikadanych.pl Bazy danych - ewolucja, systemy zarządzania, wyzwania https://klinikadanych.pl/artykuly/bazy-danych-ewolucja-systemy-zarzadzania-wyzwania <span>Bazy danych - ewolucja, systemy zarządzania, wyzwania</span> <div class="field field--name-field-second-title field--type-string field--label-hidden field__item">Bazy danych - ewolucja, systemy zarządzania, wyzwania</div> <span><span>Admin</span></span> <span>czw., 09/17/2020 - 12:30</span> <div class="field field--name-field-images field--type-image field--label-hidden field__items"> <div class="field__item"><a href="https://klinikadanych.pl/sites/default/files/2020-09/bazy-danych-ewolucja-systemy-zarzadzania-wyzwania.png" title="Bazy danych - ewolucja, systemy zarządzania, wyzwania" data-colorbox-gallery="gallery-nd_blog-230-N1D82o7s3D8" class="colorbox" data-cbox-img-attrs="{&quot;alt&quot;:&quot;Bazy danych - ewolucja, systemy zarządzania, wyzwania&quot;}"><img src="/sites/default/files/2020-09/bazy-danych-ewolucja-systemy-zarzadzania-wyzwania.png" width="1600" height="1004" alt="Bazy danych - ewolucja, systemy zarządzania, wyzwania" /> </a> </div> </div> <div class="field field--name-body field--type-text-with-summary field--label-hidden field__item"><p>Przyrost zasobów informacji posiada dziś zawrotne tempo. Bez odpowiednich systemów zarządzania dane byłyby bezużyteczne, w najlepszym razie korzystanie z nich byłoby niezwykle trudne. Bazy danych tworzą zatem ustrukturyzowane systemy informacji, wzajemnie ze sobą powiązanych w celu umożliwienia sprawnego korzystania z gromadzonych zbiorów.</p><p>Choć niekiedy bazą danych nazywa się każdy zorganizowany zbiór informacji, na ogół używając tego terminu rozumiemy wszelkie informacje z określonych przestrzeni działania, np. baza danych firmy handlowej będzie zawierać informacje związane z finansami, dostawami, zaopatrzeniem, płacami itp. Obsługa tego rodzaju systemów należy do najbardziej podstawowych zastosowań komputerów.</p><p>Bazy danych są podstawowym elementem informatycznym każdego przedsiębiorstwa. Ich działanie analizowane jest pod kątem wydajności, czy sposobu obsługi, nie mniej istotna jest także kwestia bezpieczeństwa gromadzonych danych. Informacje przechowywane w systemach bazodanowych mogą być obiektem ataków ze strony osób nie posiadających odpowiedniej autoryzacji, ale także ofiarą uszkodzeń i awarii powodujących ich utratę. Utrata informacji, bądź dostępu do plików bazy danych stanowi zawsze poważny problem dla funkcjonowania podmiotu gospodarczego.</p><h3>DBMS</h3><p>Bazy danych przechowywane są w systemach komputerowych, a zarządzane przez odpowiednie oprogramowanie umożliwiające ich wykorzystanie, definiowanie i szybkie modyfikowanie zawartości. Zwykle są to rozbudowane struktury zarządzania (DBMS - database management system), które wraz z danymi oraz różnymi współpracującymi aplikacjami tworzą całe systemy nazywane potocznie bazami danych.</p><p>DBMS stanowią rodzaj łącznika pomiędzy gromadzonymi zasobami a jego użytkownikami lub oprogramowaniem. Umożliwiają wykorzystanie informacji oraz ich zarządzanie i organizację. Rolą DBMS jest także nadzorowanie bazy, jak również sprawowanie czynności administracyjnych (optymalizacja, tworzenie oraz aktualizowanie kopii backupowych, kontrola stopnia wydajności całego systemu).</p><p>Programy DBMS operują głównie na danych tekstowych i liczbowych. Większość systemów umożliwia jednak gromadzenie i obróbkę danych różnego rodzaju: graficznych, dźwiękowych, obiektów o nieokreślonej strukturze itp.</p><h3>Podstawowe rodzaje baz danych</h3><p>Bazy danych podzielić można na proste (hierarchiczne, kartotekowe) i złożone. Wśród tej drugiej grupy wyróżnić można bazy relacyjne, obiektowe, rozproszone, temporalne, strumieniowe i nierelacyjne (NoSQL), gryfowe, OLTP, open source, chmurowe, wielomodelowe oraz samoczynne. To tylko niektóre z dziesiątek wykorzystywanych typów. Wśród mniej popularnych znajdują się te, realizujące wąskie, ściśle wydzielone funkcje. Do najbardziej powszechnych baz zalicza się struktury o charakterze relacyjnym.</p><h3>SQL</h3><p>Większość baz danych do obsługi (zapytania, definiowanie, kontrola dostępu) wykorzystuje język SQL (Structured Query Language - strukturalny język zapytań). Język ten został opracowany przez IBM i Oracle jeszcze w latach siedemdziesiątych. Choć od tamtego czasu wprowadzono nowe standardy SQL ANSI i wiele rozszerzeń SQL, język SQL nadal znajduje się w powszechnym użyciu.</p><h3>Ewolucja</h3><p>Pierwsze bazy danych pojawiły się w użyciu jeszcze na początku lat sześćdziesiątych. Zaprojektowano wówczas dwa modele: hierarchiczny, pracujący w systemie North American Rockwell International Corporation i wykorzystany później przez IBM dla systemu IMS, oraz sieciowy (opracowany przez CODASYL), bardziej elastyczny, umożliwiający aranżowanie wielu relacji.</p><p>Jeszcze w roku 1970 zaprojektowany został model relacyjny, jednak praktycznie przez całą dekadę pozostawał w sferze badań. Podczas gdy model relacyjny czekał na odpowiedni poziom technologii, dominowały struktury zaprojektowane przez CODASYL (IDMS) oraz IBM (IMS). Dopiero w latach osiemdziesiątych poziom technologii (powstanie odpowiedniego sprzętu i oprogramowania) pozwolił aby relacyjne bazy danych zaczęły zyskiwać na popularności. Jednymi z prototypowych rozwiązań, choć już powszechnie stosowanych, były Oracle i DB2, zaś dla mikrokomputerów dBASE, pracujący pod systemami CP/M oraz PC-DOS i MS-DOS.</p><p>W latach dziewięćdziesiątych pojawiły się obiektowe bazy danych, obsługujące nieco bardziej skomplikowane struktury niż te, które mogły być realizowane dzięki bazom relacyjnym. W okresie tym rozwijały się także bazy danych typu open source.</p><p>Wiek XXI i rozwój sieci internetowej sprowokował konieczność szybszego przetwarzania informacji, co doprowadziło do rozwoju baz danych typu NoSQL. W tym samym czasie trwały prace nad systemami typu XML, bazami których celem było usunięcie podziału na różnego rodzaju informacje, co pozwoliłoby na wspólne gromadzenie różnych zasobów danych, bez względu na ich rodzaj i stopień strukturalizacji.</p><p>Współcześnie odnotowany zostaje rozwój chmurowych oraz samoczynnych baz danych wyznaczających nowe kierunki przechowywania i zarządzania informacją.</p><h3>Wyzwania stojące przed współczesnymi systemami baz danych</h3><ul class = "list"> <li>Bezpieczeństwo - jak już zostało wspomniane kwestie bezpieczeństwa należą w tym przypadku do najbardziej palących. Zabezpieczenie dostępu przy jednoczesnym zagwarantowaniu szerokich możliwości wykorzystania baz danych stanowią poważne wyzwanie dla projektantów systemów. Sposoby ataków cyberprzestępców są coraz bardziej wyszukane i skuteczne, dlatego działania zabezpieczające na tym polu muszą podążać za rozwijającą się technologią. Bardzo istotna w przypadku łatwego i szerokiego dostępu jest także odporność systemu na wszelkie pomyłki ze strony podmiotów posiadających dostęp do przechowywanych informacji. Posiadanie kopii zapasowej jest oczywiście niezbędne dla prawidłowego funkcjonowania przedsiębiorstwa. Odzyskiwanie dostępu do uszkodzonej bazy danych bywa kłopotliwe i kosztowne.</li> <li>Wzrost ilości przetwarzanych informacji - zaobserwowany współcześnie ogromny przyrost liczby urządzeń zbierających wszelkie rodzaje danych w kontekście ich magazynowania i obróbki także stanowi wyzwanie dla współcześnie rozwijanych systemów bazodanowych. Wszystko to wymaga oczywiście wytężonych działań administracyjnych i organizacyjnych podmiotu zaangażowanego w przetwarzanie gromadzonych plików danych.</li> <li>Zarządzanie infrastrukturą systemu - systemy bazodanowe stają się coraz bardziej rozbudowane, co wraz z ogromną liczbą magazynowanych informacji stawia wyzwania dla ich administratorów. Konieczność ciągłego monitorowania stanu systemu, jego konserwacji, aktualizacji programowych powoduje konieczność zatrudniania specjalnego personelu oraz ciągłego szkolenia pracowników odpowiedzialnych za sprawne funkcjonowanie struktury.</li> <li>Zaspokojenie rosnących wymagań użytkowników - potrzeba ciągłego dostępu do zasobów informacji, a także potrzeba rozwoju podmiotów gospodarczych i wynikająca z tego konieczność rozszerzenia możliwości systemu stawia przed ich projektantami wyzwanie ciągłego rozszerzania funkcjonalności i sposobów zarządzania bazami.</li></ul> </div> <section> <div class="mb-60 mb-xs-30"> <div class="media-list text comment-list"> </div> </div> <h4 class="blog-page-title font-alt">Leave a Comment</h4> <drupal-render-placeholder callback="comment.lazy_builders:renderForm" arguments="0=node&amp;1=230&amp;2=field_comments&amp;3=comment" token="uBk9SLgWtCJjVtTlWKQTT-4OccIF8LxGCdyC0KVoAcg"></drupal-render-placeholder> </section> Thu, 17 Sep 2020 10:30:34 +0000 Admin 230 at https://klinikadanych.pl Metadane a kwestie bezpieczeństwa https://klinikadanych.pl/artykuly/metadane-kwestie-bezpieczenstwa <span>Metadane a kwestie bezpieczeństwa</span> <div class="field field--name-field-second-title field--type-string field--label-hidden field__item">Metadane a kwestie bezpieczeństwa</div> <span><span>Admin</span></span> <span>pt., 09/11/2020 - 13:39</span> <div class="field field--name-field-images field--type-image field--label-hidden field__items"> <div class="field__item"><a href="https://klinikadanych.pl/sites/default/files/2020-09/metadane-a-kwestie-bezpieczenstwa.png" title="Metadane a kwestie bezpieczeństwa" data-colorbox-gallery="gallery-nd_blog-229-XOOtDASEaAI" class="colorbox" data-cbox-img-attrs="{&quot;alt&quot;:&quot;Metadane a kwestie bezpieczeństwa&quot;}"><img src="/sites/default/files/2020-09/metadane-a-kwestie-bezpieczenstwa.png" width="1549" height="969" alt="Metadane a kwestie bezpieczeństwa" /> </a> </div> </div> <div class="field field--name-body field--type-text-with-summary field--label-hidden field__item"><p>Metadane - informacje opisujące i charakteryzujące dane obiekty lub całe zasoby informacji, stanowiące rodzaj standaryzowanych informacji, których zadaniem jest identyfikacja i zarządzanie określonymi zasobami informacji. Metadane mają nieść pomoc organizacyjną podczas procesów strukturalizowania i opisów cyfrowych zasobów. W praktyce mogą jednak stanowić źródło potencjalnego zagrożenia dla nieświadomego pozostawiania śladów swojej aktywności użytkownika, zagrożenia wynikającego ze strony różnych podmiotów mogących mieć dostęp do treści metadanych. Jakie zagrożenia niosą zatem metadane i dlaczego korzystna dla użytkownika jest właściwa higiena internetowej działalności?</p><h3>Czym są metadane</h3><p>Każdy plik danych posiada swój opis w formie charakterystycznych informacji. I tak, na przykład cyfrowa fotografia będzie zawierała wykaz wielu parametrów, w tym informacje o modelu aparatu, lokalizacji, ustawieniach, ekspozycji, rozdzielczości itp. W przypadku plików obrazkowych standardem w takim przypadku jest w format EXIF (Exchangeable Image File Format), w którym zapisywane są stosowne informacje. Oczywiście liczba takich informacji może być różna w zależności od rodzaju i modelu urządzenia.</p><p>Najogólniej rzecz ujmując można powiedzieć, iż metadane służą sprawnej organizacji zasobów dokumentów elektronicznych, ich klasyfikacji, wyszukiwaniu, archiwizacji oraz przetwarzaniu. Metadane klasyfikowane są według trzech podstawowych typów:</p><ul class = "list"> <li>metadane opisowe – zawierają informacje przydatne podczas przeszukiwania oraz identyfikacji danego zbioru (wśród nich może znajdować się np. tytuł, autor, słowa kluczowe).</li> <li>metadane strukturalne – charakteryzują powiązania pomiędzy poszczególnymi zbiorami oraz ich elementami.</li> <li>metadane administracyjne – zawierają informacje przydatne podczas organizacji zasobów. W ich skład wchodzą dane dotyczące daty ich utworzenia, rodzaju plików i informacje o sposobach dostępu.</li></ul><p>Metadane dołączane są do każdego rodzaju pliku: graficznego, tekstowego, dźwiękowego czy wideo. Ale metadane opisują także wszelką aktywność właściciela danego urządzenia, która choć związana jest ze sprzętem, wiele może powiedzieć o jego użytkowniku (dane lokalizacyjne, wyniki wyszukiwania). Metadane odpowiednio wykorzystane dają możliwość stworzenia profilu danej osoby wraz z siatką działań. Takie informacje mogą być rozmaicie wykorzystane, zarówno do działań legalnych, jak i stojących w sprzeczności z prawem, zarówno w kontekście profilowania, jak inwigilacji.</p><h3>Ochrona metadanych</h3><p>O ile w przypadku plików metadane mogą zostać usunięte (niektóre portale społecznościowe czynią to automatycznie, własnoręcznie można to zrealizować dzięki oprogramowaniu w rodzaju Photoshop, GIMP), o tyle niestety w kwestii ochrony bądź ukrycia metadanych dotyczących aktywności niewiele można zrobić. Metadane tego rodzaju mogą być zbierane i analizowane dlatego jedyną strategią jest rozsądne poruszanie się w sieci. Należy pamiętać, iż metadane to bezcenne źródło informacji na temat przyzwyczajeń, czy posiadanych dóbr użytkowników urządzeń, dlatego trzeba zdawać sobie sprawę z ewentualnych zagrożeń i działać rozważnie.</p><p>Choć metadane mogą służyć inwigilacji i profilowaniu, należy jednak zdawać sobie sprawę, iż jest to oczywiście także narzędzie skutecznej walki z przestępczością (np. możliwość określenia położenia danej osoby czy skradzionego urządzenia dzięki danym dotyczącym logowania telefonu do poszczególnych stacji bazowych, czy połączeń wi-fi).</p><p>Nie można zatem demonizować znaczenia metadanych, należy po prostu być świadomym ich istnienia oraz potencjalnych znaczeń.</p> </div> <section> <div class="mb-60 mb-xs-30"> <div class="media-list text comment-list"> </div> </div> <h4 class="blog-page-title font-alt">Leave a Comment</h4> <drupal-render-placeholder callback="comment.lazy_builders:renderForm" arguments="0=node&amp;1=229&amp;2=field_comments&amp;3=comment" token="uycXdOg61d8DjU3_98YyNE9N5a3FMEM4GnlXtre2Nog"></drupal-render-placeholder> </section> Fri, 11 Sep 2020 11:39:19 +0000 Admin 229 at https://klinikadanych.pl Co się dzieje z usuniętym z dysku plikiem https://klinikadanych.pl/artykuly/co-sie-dzieje-z-usunietym-z-dysku-plikiem <span>Co się dzieje z usuniętym z dysku plikiem</span> <div class="field field--name-field-second-title field--type-string field--label-hidden field__item">Co się dzieje z usuniętym z dysku plikiem</div> <span><span>Admin</span></span> <span>pon., 09/07/2020 - 13:35</span> <div class="field field--name-field-images field--type-image field--label-hidden field__items"> <div class="field__item"><a href="https://klinikadanych.pl/sites/default/files/2020-09/co-sie-dzieje-z-usunietym-plikiem.png" title="Co się dzieje z usuniętym z dysku plikiem" data-colorbox-gallery="gallery-nd_blog-228-XOOtDASEaAI" class="colorbox" data-cbox-img-attrs="{&quot;alt&quot;:&quot;Co się dzieje z usuniętym z dysku plikiem&quot;}"><img src="/sites/default/files/2020-09/co-sie-dzieje-z-usunietym-plikiem.png" width="1573" height="1237" alt="Co się dzieje z usuniętym z dysku plikiem" /> </a> </div> </div> <div class="field field--name-body field--type-text-with-summary field--label-hidden field__item"><p>Usunięcie pliku przy użyciu zwykłej komendy systemowej przenosi go do kosza. To, iż możemy go stamtąd “wyjąć” i przywrócić w miejscu skąd został usunięty sugeruje, iż jego obecność w koszu nie likwiduje go fizycznie. Jakie są zatem losy usuniętego pliku? Czym jest kosz, i jak odzyskać skasowane pliki, a jak pozbyć się definitywnie usuwanych informacji?</p><h3>Usuwanie plików w przypadku dysków HDD</h3><p>Kosz jest jedynie folderem zajmującym pewien obszar przestrzeni dyskowej, w której znajdują się ikony niepotrzebnych plików po ich usunięciu przez użytkownika. Usunięty plik (komenda “Usuń”) zmienia swoją lokalizację, ale fizycznie nadal pozostaje na dysku. Jak łatwo można się przekonać ilość wolnego miejsca na dysku nie ulega zmianie w momencie usunięcia pliku i umieszczeniu go w folderze kosz. Kosz jest tutaj zatem rodzajem przechowalni plików niepotrzebnych, z której do pewnego momentu (o tym za chwilę) można skorzystać jeśli plik okaże się potrzebny.</p><p>Sytuacja ulega nieco zmianie w momencie usunięcia plików z kosza (komenda “opróżnij kosz”). Po opróżnieniu kosza pliki w nim umieszczone przestają być widoczne dla użytkownika. Nadal jednak fizycznie są obecne w przestrzeni dyskowej. Ich miejsce zostaje teraz zaznaczone jako wolne i przeznaczone do wykorzystania przez system w przypadku zapisania kolejnych informacji. Dopiero wówczas, podczas kolejnego zapisu, czyli po tzw. <a href="https://klinikadanych.pl/artykuly/nadpisywanie-czyli-jak-odzyskac-dane-po-gutmannie">nadpisaniu</a>, plik znika z dysku. Tak wygląda sytuacja w przypadku tradycyjnych dysków magnetycznych HDD.</p><p>Dyski tego typu fizycznie zbudowane są z talerzy pokrytych warstwą nośnika magnetycznego, a przestrzeń talerzy podzielona jest logicznie na sektory, w których umieszczane są zapisywane dane. W chwili usunięcia pliku, dysk odbiera tę informację oznaczając takie miejsce jako przeznaczone do przyszłego zapisu. Jest to łatwiejsza, szybsza i bardziej sensowna procedura niż uprzednie nadpisywanie przeznaczonych do usunięcie sektorów dysku w celu późniejszego zapisania w tym miejscu bitów informacji. Nadpisanie zajętego sektora, jak i nadpisanie pustego sektora, po prostu nie różnią się, więc nie ma potrzeby wykonywania danej czynności dwukrotnie. W przypadku dysków SSD proces ten wygląda nieco inaczej.</p><h3>Usuwanie plików z dysku SSD</h3><p>Ze względu na swą odmienną budowę i sposób zapisu informacji (komórki pamięci wykonane z materiałów półprzewodnikowych) bity danych przechowywane na dysku SSD przy aktywnej funkcji Trim są usuwane wraz z systemową komendą kasowania. W przypadku pamięci tego typu bardziej efektywne (przyspieszające działanie urządzenia) jest nadpisywanie nową informacją uprzednio zwolnionej przestrzeni dysku (szerzej o funkcji Trim i usuwaniu plików z dysku SSD można przeczytać <a href="https://klinikadanych.pl/artykuly/funkcja-trim-odzyskiwanie-danych-z-dyskow-ssd">tutaj</a>).</p><h3>Co dzieje się po opróżnieniu kosza</h3><p>Opróżnienie kosza dysku SSD czyni praktycznie niemożliwym odzyskanie pliku. Jest on nadpisywany w zasadzie w momencie jego usuwania. Inaczej jest w przypadku dysków HDD.</p><p>Usunięcie pliku z kosza dysku może odbywać się za pomocą stosownej komendy, i być wykonane przez użytkownika, albo zrealizowane przez system operacyjny po upływie określonego czasu, zgodnego z wcześniejszym predefiniowaniem (np. po upływie 30 dni od momentu umieszczenia pliku w koszu). Tak usunięty plik w przypadku dysku HDD przestaje być widoczny dla użytkownika, jednak do momentu jego nadpisania (zastąpienia go nową informacją) jest on wciąż fizycznie obecny w przestrzeni dyskowej. Obecność ta ma dwa aspekty: jeden związany z jego trwałym usunięciem w przypadku np. sprzedaży komputera, drugi dotyczy możliwości jego ewentualnego odzysku.</p><h3>Kasowanie/odzyskiwanie danych</h3><p>Nadpisanie definitywnie usuwa informacje. Ich odzyskanie w świetle obecnego poziomu technologicznego przestaje być możliwe. Ponieważ system nadpisuje pliki zgodnie z własnymi ustaleniami, użytkownik nie ma możliwości wskazania plików, które powinny być nadpisane, a przez to definitywnie usunąć je z przestrzeni pamięci. Aby mieć pewność, że plik nie zostanie odczytany w przyszłości przez niepowołanego do tego użytkownika należy skorzystać z odpowiednich narzędzi programowych, a najlepiej z usług laboratorium świadczącego usługi tego rodzaju (o skutecznym usuwaniu danych przeczytać <a href="https://klinikadanych.pl/artykuly/bezpieczne-usuwanie-danych-z-firmowych-nosnikow">tutaj</a>)</p><p>Ponieważ system nie nadpisuje danych od razu możliwe jest odzyskanie plików gromadzonych na dyskach twardych nawet w przypadku ich skasowania i opróżnienia kosza, pod warunkiem szybkiego dostarczenia dysku do laboratorium data recovery. Im mniej czasu pozostawimy systemowi na działanie, tym większe prawdopodobieństwo odzyskania plików (system nie zdąży ich nadpisać). Niedoświadczonym użytkownikom nie zalecamy własnoręcznych prób odzysku z zastosowaniem służącego tym celom oprogramowania. Nieumiejętne ich użycie może zaprzepaścić być może jedyną szansę ich odzysku.</p><p>Na możliwość przywrócenia dostępu do skasowanych plików wpływ ma kilka czynników: wspomniany już upływ czasu, ale także intensywność pracy urządzenia, czyli liczba operacji wykonanych przez użytkownika po opróżnieniu kosza i zwolnieniu przestrzeni dyskowej, oraz oczywiście sama ilość nowych danych zapisanych w pamięci urządzenia. Z tych wszystkich powodów niekiedy możliwe jest odzyskanie dostępu jedynie do pewnej części usuniętych informacji, ich nadpisana część pozostaje utracona na zawsze.</p> </div> <section> <div class="mb-60 mb-xs-30"> <div class="media-list text comment-list"> </div> </div> <h4 class="blog-page-title font-alt">Leave a Comment</h4> <drupal-render-placeholder callback="comment.lazy_builders:renderForm" arguments="0=node&amp;1=228&amp;2=field_comments&amp;3=comment" token="F017HooqnwYJ7sGxf8Bh8MKzpSkng0wENNKONQ8fG-k"></drupal-render-placeholder> </section> Mon, 07 Sep 2020 11:35:41 +0000 Admin 228 at https://klinikadanych.pl Kryptoanaliza - podstawowe metody ataków https://klinikadanych.pl/artykuly/kryptoanaliza-podstawowe-metody-atakow <span>Kryptoanaliza - podstawowe metody ataków</span> <div class="field field--name-field-second-title field--type-string field--label-hidden field__item">Kryptoanaliza - podstawowe metody ataków</div> <span><span>Admin</span></span> <span>pon., 08/31/2020 - 13:04</span> <div class="field field--name-field-images field--type-image field--label-hidden field__items"> <div class="field__item"><a href="https://klinikadanych.pl/sites/default/files/2020-08/kryptoanaliza-podstawowe-metody-atakow.png" title="Kryptoanaliza - podstawowe metody ataków" data-colorbox-gallery="gallery-nd_blog-227-XOOtDASEaAI" class="colorbox" data-cbox-img-attrs="{&quot;alt&quot;:&quot;Kryptoanaliza - podstawowe metody ataków&quot;}"><img src="/sites/default/files/2020-08/kryptoanaliza-podstawowe-metody-atakow.png" width="2000" height="1200" alt="Kryptoanaliza - podstawowe metody ataków" /> </a> </div> </div> <div class="field field--name-body field--type-text-with-summary field--label-hidden field__item"><p>Kryptoanaliza jest nauką prowadzącą swe badania na polu przełamywania szyfrów. Odczytanie tekstu jawnego, bądź klucza na podstawie szyfrogramu albo ustalenie klucza w oparciu o wiadomość jawną i zaszyfrowaną jest sytuacją określaną mianem przełamania szyfru. Działania takie mają szczególne znaczenie w kontekście bezpieczeństwa danych w sieci, a badania kryptoanalityczne spełniają m.in. zadanie weryfikacji stopnia zaufania względem stosowanych zabezpieczeń. Rozróżnia się kilka podstawowych rodzajów ataku, czyli działań w przestrzeni sposobów przełamania szyfru.</p><ul class = "list"> <li>Atak z tekstem jawnym - na podstawie znanych par szyfrogram - tekst jawny należy określić wartość klucza.</li> <li>Atak z wybranym tekstem jawnym - istnieje możliwość wybrania tekstu jawnego i zdobycia dla niego szyfrogramu.</li> <li>Atak z wybranym szyfrogramem - możliwość uzyskania tekstów jawnych dla wybranych tekstów tajnych.</li> <li>Atak z szyfrogramem - na podstawie pewnej liczby szyfrogramów, które zostały zaszyfrowane tym samym algorytmem, należy odczytać jak największą liczbę szyfrogramów lub zdobyć klucz deszyfrujący</li></ul><h3>Metody stosowane w kryptoanalizie</h3><h4>Metoda anagramowa</h4><p>Stosowana głównie przy łamaniu szyfrów permutacyjnych (przestawieniowych). Szyfr przestawieniowy charakteryzuje się taką samą częstością występowania znaków zarówno w tekście jawnym, jak i szyfrogramie. Atak przeprowadzony jest w celu ustalenia właściwej kolejności przemieszanych znaków z zastosowaniem tablic częstości występowania określonych znaków (digramów, czyli kombinacji dwuliterowych i trigramów, czyli kombinacji trzyliterowych).</p><h4>Metoda analizy częstości występowania znaków</h4><p>Stosowana do łamania prostych szyfrów podstawieniowych. Atak polega na badaniu częstości występowania znaków szyfrogramu z częstościami oczekiwanymi, pozwalającym na dopasowanie znaków szyfrogramu do treści tekstu jawnego (z dużym prawdopodobieństwem). Pomocne podczas zastosowania tej metody ataku są digramy i trigramy, czyli tablice częstości występowania znaków.</p><h4>Metoda brutalna</h4><p>Jest to metoda polegająca na przeanalizowaniu wszystkich możliwych kombinacji z określonego zbioru znaków. Atak tą metodą może być przeprowadzony wobec prawie wszystkich szyfrów, zarówno symetrycznych, jak i asymetrycznych. Teoretycznie pozwala na odszyfrowanie każdego klucza, jednak w praktyce, przy zastosowaniu odpowiednio długich kluczy staje się po prostu nieprzydatna - nawet przy wykorzystania ogromnych mocy obliczeniowych jest metodą czasochłonną, przekraczającą na ogół rozsądny do wykonania ataku limit czasu (dla właściwych kluczy nawet kilkaset lat przy dzisiejszym poziomie mocy obliczeniowych komputerów).</p><h4>Metoda różnicowa</h4><p>Polega na porównywaniu dwóch szyfrogramów, które powstały w wyniku zaszyfrowania tekstów jawnych różniących się w określony sposób. Szyfrowanie przebiega z wykorzystaniem tego samego klucza. Analizowane są w tym przypadku zmiany w kryptogramach podczas przeprowadzenia kolejnych rund algorytmu. Metoda opracowana została przez Eli Biham’a i Adi Shamir’a w 1993 roku. Stosując tę metodę znaleziono sposób bardziej efektywny od ataku brutalnego na złamanie algorytmu DES z wybranym tekstem jawnym.</p><p>Wartości różnic tekstów jawnych nie muszą być znane, wystarczy ich zdefiniowanie za pomocą operacji XOR. Wykorzystując różnicę między kryptogramami przypisywane są różne prawdopodobieństwa dla różnych kluczy. Pewne różnice w tekście jawnym posiadają wyższe prawdopodobieństwo otrzymania określonych różnic miedzy szyfrogramami. Występują one pod pojęciem charakterystyk, rozwijają się wraz z liczbą wykonanych rund algorytmu wyznaczając tzw. ścieżkę między kolejnymi rundami. Różnicom po każdej z rund odpowiadają specyficzne prawdopodobieństwa. Para tekstów jawnych z właściwościami charakterystyki jest określana “parą właściwą”. Dla danego klucza pary tekstu jawnego dzielą się&nbsp;na pary zgodne z charakterystyką (właściwe) oraz pary fałszywe (niewłaściwe), niezgodne z charakterystyką. Odnalezienia klucza właściwego skorelowane jest z liczbą występowania poszczególnych kluczy. Znalezienie właściwego klucza polega na analizie odpowiedniej liczby par szyfrogramów, w wyniku których jeden z kluczy będzie powtarzał się częściej niż pozostałe. Właściwy klucz będzie najbardziej prawdopodobnym w zbiorze możliwości losowych.</p><h4>Metoda powiązanych kluczy</h4><p>Jest ona zbliżona do metody różnicowej, jednak analizuje się w tym przypadku relacje między dwoma kluczami szyfrującymi, nie dokonując wyboru samych kluczy. Wybrany tekst jawny szyfrowany jest tu za pomocą oby kluczy.</p><h4>Metoda liniowa</h4><p>Atak tego rodzaju przeprowadzony zostaje z wykorzystaniem metod kryptoanalizy liniowej, polegającej na analizie działania algorytmu w oparciu o aproksymację (proces obliczania rozwiązań przybliżonych na podstawie rozwiązań znanych, będących bliskimi rozwiązaniom dokładnym w ściśle sprecyzowanym znaczeniu) za pomocą liniowej funkcji boolowskiej.</p><p>Na podstawie takich obliczeń, mając do dyspozycji wiadomość jawną oraz szyfrogram, możliwe jest znalezienie wartości klucza szyfrującego. W przypadku algorytmów z kluczem publicznym uzyskanie szyfrogramu z tekstu jawnego nie stanowi problemu, w innych przypadkach nastąpić musi przechwycenie szyfrogramu tekstu jawnego lub odpowiedni insider musi zaszyfrować konkretny tekst jawny.</p><p>Atak liniowy bazuje na zależnościach między bitami wejściowymi rundy, bitami klucza oraz wynikami rundy. Relacje są natury statystycznej dla odpowiedniej liczby danych wejściowych.</p><p>Metody kryptoanalizy liniowej zaprezentowane zostały w roku 1993 przez Mitsuru Matsui. Rok później Mitsuru Matsui potrzebował 50 dni aby za pomocą 12 komputerów HP 9735 znaleźć klucz DES (symetryczny szyfr blokowy). Dla takiego szyfru kryptoanaliza liniowa wymaga bowiem średnio 2<sup>43</sup> par “wiadomość jawna - kryptogram” do znalezienia właściwego klucza (przy ataku typu known plaintext), i z tego też powodu nie jest zbyt praktycznym rodzajem ataku.</p><h4>Metoda różnicowo-liniowa</h4><p>Metoda wymaga w założeniach znacznie mniej tekstów jawnych przy zbliżonym (do metod wymienionych wyżej) czasie otrzymania określonego wyniku. Prace nad rozwinięciem i zastosowaniem tej metody są ciągle doskonalone.</p><p>Teoretycznie każdy szyfr można zaatakować z sukcesem. W praktyce skuteczny atak zależny jest od metody, ale także czasu i mocy obliczeniowej wykorzystanych urządzeń. Za bezpieczne uznaje się więc szyfry, których nie da się złamać w odpowiednio długim czasie. W związku z rosnącą mocą obliczeniowa jednostek, w celu zapewnienia odpowiedniego poziomu bezpieczeństwa, prace nad coraz doskonalszymi algorytmami cały czas są w toku. Równolegle toczą się zmagania na polu metod i sposobów ich łamania.</p> </div> <section> <div class="mb-60 mb-xs-30"> <div class="media-list text comment-list"> </div> </div> <h4 class="blog-page-title font-alt">Leave a Comment</h4> <drupal-render-placeholder callback="comment.lazy_builders:renderForm" arguments="0=node&amp;1=227&amp;2=field_comments&amp;3=comment" token="QTIV-GLktq5FXYFS_aPfjYc_mbnBJN7LWZFN-DpvnN4"></drupal-render-placeholder> </section> Mon, 31 Aug 2020 11:04:40 +0000 Admin 227 at https://klinikadanych.pl Bezpieczne usuwanie danych z firmowych nośników https://klinikadanych.pl/artykuly/bezpieczne-usuwanie-danych-z-firmowych-nosnikow <span>Bezpieczne usuwanie danych z firmowych nośników</span> <div class="field field--name-field-second-title field--type-string field--label-hidden field__item">Bezpieczne usuwanie danych z firmowych nośników</div> <span><span>Admin</span></span> <span>pon., 08/24/2020 - 13:44</span> <div class="field field--name-field-images field--type-image field--label-hidden field__items"> <div class="field__item"><a href="https://klinikadanych.pl/sites/default/files/2020-08/bezpieczne-usuwanie-danych-z-firmowych-nosnikow_0.png" title="Bezpieczne usuwanie danych z firmowych nośników" data-colorbox-gallery="gallery-nd_blog-226-XOOtDASEaAI" class="colorbox" data-cbox-img-attrs="{&quot;alt&quot;:&quot;Bezpieczne usuwanie danych z firmowych nośników&quot;}"><img src="/sites/default/files/2020-08/bezpieczne-usuwanie-danych-z-firmowych-nosnikow_0.png" width="1788" height="1558" alt="Bezpieczne usuwanie danych z firmowych nośników" /> </a> </div> </div> <div class="field field--name-body field--type-text-with-summary field--label-hidden field__item"><p>Okresowa modernizacja sprzętu firmowego niesie ze sobą konieczność jego odpowiedniego przygotowania przed sprzedażą lub oddaniem do utylizacji. Dane gromadzone na różnego rodzaju nośnikach wycofywanych z eksploatacji powinny zostać w odpowiedni sposób usunięte, tak by nie istniała możliwość ich nieautoryzowanego odzysku. W przeciwnym przypadku podmiot gospodarczy naraża się na konsekwencje cywilnoprawne i kary finansowe wynikające z obowiązujących przepisów RODO (o utracie reputacji, czy skazie na wizerunku nie wspominając).</p><h3>Opróżnienie kosza nie załatwia sprawy</h3><p>Przypominamy, iż samo usunięcie pliku oraz opróżnienie kosza nie wystarcza. Czynności takie powodują, iż usunięte zostają jedynie informacje o położeniu danych w przestrzeni dyskowej, pliki zaś fizycznie nadal pozostają na nośniku i mogą zostać przywrócone przez nieautoryzowanego użytkownika. Jest to możliwe także w przypadku wykonania formatowania dysku, zwłaszcza za pomocą narzędzi systemowych.</p><h3>Możliwość zlecenia właściwego usunięcia danych</h3><p>Polityka bezpieczeństwa realizowana przez podmiot gospodarczy musi zawierać zespół procedur stosowanych w przypadku wycofywania z użytkowania urządzeń przechowujących dane. Podczas ustalania elementów takiej polityki należy wziąć pod uwagę skorzystanie z usług firm trudniących się skutecznym kasowaniem informacji z powierzonych nośników. Pewność prawidłowego przeprowadzenia takich czynności z gwarancją wszelkich obowiązujących standardów często jest w takim przypadku potwierdzona stosownym protokołem. Firmy takie stosują cały wachlarz odpowiednich dla danego zleceniodawcy i rodzaju nośnika metod, wśród nich zarówno programowych, jak i sprzętowych (fizyczna likwidacja nośnika).</p><h3>Kasowanie programowe</h3><p>Kasowanie programowe polega na usunięciu danych z nośnika z wykorzystaniem stosownych algorytmów nadpisujących dane stałym wzorcem lub ciągami losowo generowanych bitów. Nadpisane dane nie są możliwe do odzyskania w praktyce żadnymi znanymi metodami z wykorzystaniem współczesnych zdobyczy technologii (o nadpisywaniu danych szerzej piszemy <a href="https://klinikadanych.pl/artykuly/nadpisywanie-czyli-jak-odzyskac-dane-po-gutmannie">tutaj</a>). Jakiekolwiek działania prowadzone z wykorzystaniem sprzętu do magnetyzacji szczątkowej (badania magnetyzmu rezydualnego czy stanu namagnesowania krawędzi ścieżek), ani analiza z wykorzystaniem koloidów Bittera czy za pomocą mikroskopu sił magnetycznych lub urządzeń typu spin-stand, ani jakiekolwiek inne próby odczytania sygnału analogowego bezpośrednio z głowic nie przyniosły żadnych rezultatów w przypadku współczesnych dysków HDD. Innymi słowy nadpisanie danych jest absolutnie podstawową i spełniającą wszelkie normy bezpieczeństwa metodą usunięcia plików z dysków HDD. W praktyce już jednokrotne nadpisanie przekreśla możliwość odzyskania danych, niemniej jednak algorytmy często projektowane są z wykorzystaniem wielokrotnych procesów zapisu. Jest to związane z wewnętrznymi procedurami formalno-prawnymi podmiotów gospodarczych czy instytucjonalnych, naprzeciw którym wychodzą producenci oprogramowania stosując odpowiednio zróżnicowane rodzaje kasowania danych.</p><p>Nadpisywanie w przypadku dysków SSD nie jest właściwą procedurą. Związane jest to ze specyfiką zapisu informacji na tego rodzaju nośnikach. System operacyjny nie ma tutaj dostępu do wewnętrznej struktury danych. Ponieważ komórki pamięci dysków SSD mają ograniczoną liczbę cykli zapisu informacji, kontroler dysku musi zawiadywać odpowiednią lokalizacją bitów danych, aby nie dopuścić do przedwczesnego zużycia jednych komórek kosztem innych. Oznacza to przesuwanie danych do rzadziej używanych komórek. Bity informacji znajdujące się w zużytych komórkach przesuwane są do specjalnej wydzielonej przestrzeni z pulą zapasowych komórek (spare area). Procesami tymi zarządza kontroler dysku wraz z oprogramowaniem wewnętrznym, bez udziału systemu operacyjnego, który nie posiada informacji o bieżącym wykorzystaniu komórek pamięci i lokalizacji danych. Zatem zastosowanie oprogramowania podpisującego będzie skuteczne jedynie w przypadku obszarów dostępnych dla użytkownika. W przypadku dysków SSD serwisowe bloki danych, czyli obszary spare area, systemowe i zużyte pozostaną wolne od działania oprogramowania. Informacje znalezione w tych rejonach mogą posłużyć do odtworzenia całej lub fragmentarycznej zawartości dysku SSD. Skuteczne niszczenie danych odbywa się w tym przypadku z wykorzystaniem mechanizmu secure erase - zestawu instrukcji zaimplementowanych przez producenta w oprogramowaniu dysku. Proces ten można przeprowadzić z wykorzystaniem oprogramowania dostarczonego wraz z zakupionym dyskiem lub dzięki aplikacjom niezależnym. Na podstawie z tabeli mapowania firmware fizycznie uwalnia ładunek elektryczny każdej komórkę pamięci, łącznie z obszarem spare area i tymi komórkami, z których przeniesiono bity danych.</p><p>Istnieje duża liczba aplikacji skutecznie usuwających dane (Eraser, Darik’s Boot And Nuke, Roadkil’s Disk Wipe, KillDisk Ultimate, AVG File Shredder, Parted Magic). Ich zastosowanie może być jednak kłopotliwe, dlatego można posiłkować się tutaj wyspecjalizowanymi laboratoriami, które przeprowadzą ten proces sprawnie i właściwie. Wystarczy jedynie dostarczyć nośnik bądź urządzenie; wiedza na temat rodzaju znajdujących się w posiadaniu dysków nie jest tutaj wymagana. Laboratorium zastosuje stosowne środki właściwe danemu typowi nośnika.</p><h3>Sprzętowe kasowanie nośnika</h3><p>Przygotowany w sposób opisany powyżej dysk jest w dalszym ciągu sprawny i gotowy do eksploatacji. W przypadku przeznaczenia nośnika do utylizacji (np. w konsekwencji jego uszkodzenia lub wyeksploatowania), zastosować można metody fizycznej dezintegracji urządzenia. Firmy trudniące się odzyskiwaniem i skutecznym usuwaniem danych posiadają kilka tego typu rozwiązań.</p><h4>Damagnetyzacja</h4><p>Jednym z nich jest proces demagnetyzacji realizowany z wykorzystaniem urządzeń zwanych degausserami. Polega on na poddaniu nośnika działaniu silnego pola magnetycznego dezorganizującego pozycje domen magnetycznych, które rozmagnesowuje warstwę magnetyczną służącą wcześniej do zapisu informacji. Metoda może być stosowana w przypadku wszelkich nośników wykorzystujących zapis magnetyczny: dysków HDD, archiwizacyjnych taśm magnetycznych czy dyskietek. Aby skutecznie uniemożliwić ewentualny odczyt danych, pole magnetyczne musi być jednak odpowiednio wysokiej wartości (8000 - 25 000 gaussów).</p><h4>Mechaniczne zniszczenie nośnika</h4><p>Inną metodą jest mechaniczne zniszczenie nośnika polegające na fizycznym rozbiciu urządzenia. Służą do tego różne rozdrabniarki, niszczarki, młynki. Urządzenia tego rodzaju nadają się do niszczenia wszelkich typów nośników: dysków HDD, SSD, kart pamięci, pendrive’ów, płyt CD/DVD, a także niewykorzystywanych i wycofanych przez firmę starszych modeli smartfonów czy tabletów. Urządzenia takie rozrywają na drobne kawałki nośniki, w sposób, który uniemożliwia ich złożenia, czy odczyt choćby fragmentów zapisanych w ich przestrzeni bitów informacji. Efektem procesu destrukcji jest często granulat wymieszanych różnego rodzaju materiałów służących do budowy nośnika, który po rozdzieleniu może być ponownie wykorzystany w procesie recyklingu.</p><h4>Metody termiczne, chemiczne, radioaktywne, pirotechniczne</h4><p>Wśród innych, rzadziej stosowanych metod fizycznej likwidacji nośnika należy wymienić niszczenie termiczne polegające na “roztopieniu” urządzenia w temperaturze, w której ferromagnetyk traci swoje właściwości magnetyczne, niszczenie metodami chemicznymi polegające na zmianie struktury nośnika uniemożliwiającej odczytanie danych, czy niszczenie z zastosowaniem metod radioaktywnych oraz pirotechnicznych, poddających nośnik promieniowania jonizującego lub działaniu mikroładunków wybuchowych.</p><h3>Korzystanie z usług wyspecjalizowanych laboratoriów</h3><p>Korzystanie przez firmy i podmioty instytucjonalne z usług wyspecjalizowanych laboratoriów niszczących dane w sposób potwierdzony stosownym certyfikatem staje się coraz bardziej popularne ze względu na konieczność dostosowania do obowiązujących przepisów&nbsp;- usługi tego rodzaju, z zachowaniem wszelkich obowiązujących standardów, zapewnia Klinika Danych.&nbsp;Swobodne podejście do ochrony danych znajdujących się na wycofywanych z obiegu urządzeniach powoli przechodzi do historii. W przypadku informacji prywatnych nieudane próby własnoręcznego usunięcia danych powodują przykre konsekwencje jedynie dla właściciela urządzenia, w przypadku nośników firmowych mogą skutkować różnymi problemami formalno-prawnymi i finansowymi. Chcąc funkcjonować w zgodzie z przepisami i nie narażać na ryzyko niewłaściwego wykorzystania narzędzi programowych, czy koszty zakupu urządzeń niszczących, firmy oraz instytucje coraz częściej odwołują się do doświadczeń stosownych laboratoriów.&nbsp;</p> </div> <section> <div class="mb-60 mb-xs-30"> <div class="media-list text comment-list"> </div> </div> <h4 class="blog-page-title font-alt">Leave a Comment</h4> <drupal-render-placeholder callback="comment.lazy_builders:renderForm" arguments="0=node&amp;1=226&amp;2=field_comments&amp;3=comment" token="pbSmCa5Y2ipm15vC23YXVm3Bo3QRh45d0t4WB15Urd8"></drupal-render-placeholder> </section> Mon, 24 Aug 2020 11:44:12 +0000 Admin 226 at https://klinikadanych.pl