Strona używa cookies (ciasteczek). Dowiedz się więcej o celu ich używania i zmianach ustawień. Korzystając ze strony wyrażasz zgodę na używanie cookies, zgodnie z aktualnymi ustawieniami przeglądarki.    X

Specjalista ds. teleinformatycznych — UPS'y, switche, kamery i RAID cz.76

W grudniu pisałem o reorganizacji ustawień szaf serwerowych. Oczywiście jak to bywa w przypadku służby zdrowia nic nie mogę zaplanować od początku do końca i oczywiście projekt został rozpoczęty, a nie mogę go zakończyć bo ciągle coś. No, ale po kolei bo ostatnie dwa miesiące były dość pracowite.

Przekleństwo chwilowego braku prądu

Od jakiegoś czasu w budynkach 3 i 4 pojawiają się chwilowe (0,5-1 sek) braki prądu. Niby nic takiego, bo większość komputerów wyposażonych jest w UPS'y. Okazuję się jednak, że w budynku nr 3 (gdzie znajduje się laboratorium) połączenie z główną serwerownią musi być ciągłe i nawet sekundowe przerwy w łączności powodują zawieszenia się serwera laboratoryjnego, a co za tym idzie stacje robocze w laboratorium odmawiają posłuszeństwa. Dopiero ręczne ubijanie sesji połączeń (pomiędzy serwerem laboratoryjnym a głównym oraz pomiędzy stacjami roboczymi a serwerem laboratoryjnym) po odzyskaniu połączenia rozwiązuje problem. Niestety w ciągu ostatnich dwóch miesięcy takie przerwy zdarzyły się kilkukrotnie. Natomiast w budynku nr 4 (ta sama linia energetyczna) z przyczyn nie ustalonych przez naszego elektryka w ciągu miesiąca spaliły się 3 switche umiejscowione na korytarzach.

Oczywiście najprostsze rozwiązania przychodzą najpóźniej. Zamiast wkurzać się, szukać wrażeń i nie wiadomo czego jeszcze, wystarczyło każdą skrzynkę ze switchem wyposażyć w urządzenie UPS i wszystkie problemy zostały rozwiązanie.

A czemu ten nowy system działa tak wolno

Od wdrożenia systemu medycznego minęło sporo czasu, a jeszcze nie wszędzie są zainstalowane komputery. Do końca zeszłego roku wszyscy lekarze POZ mieli dostać komputery. Jakoś tak się zeszło, że ostatnie komputery były montowane dopiero teraz. Do tej pory w budynku nr 2, gdzie montowaliśmy owe stanowiska raz czy dwa trafiło się, że otrzymałem zgłoszenie, że system działa wolno. Zanim jednak zdążyłem zdiagnozować co się dzieje, wszystko wracało do normy. Niestety od czasu wdrożenia 5 kolejnych komputerów praktycznie codziennie coś się działo w tym budynku. Uszkodzenie komputerów wykluczyłem, uszkodzenie switchy wykluczyłem. Kable (praktycznie wszystkie posprawdzałem. Skontaktowałem się naszym dostawcą neta i VPN - tez wszystko w porządku. Normalnie idzie się zastrzelić - wszystko jest spawane a system kuleje.

Rozwiązanie problemu jak zwykle trywialne - jako główny switch w przychodni zamontowałem starego 3 COM'a o przepustowości 10 Mb/s, który w rzeczywistości (po sprawdzeniu małym programem - LAN Speed Test (swoją drogą to przydałoby się coś podobnego w naszej bazie danych) "wyciągał niecałe 8 Mb/s

W końcu XXI - mamy monitoring

W sumie to nie wiem jak to się stało, ale do tej pory nie potrzebowaliśmy monitoringu w szpitalu i nigdzie go nie było. No, ale co się odwlecze to nie uciecze. W związku z budową nowej wiaty podjazdowej dla karetek (spieprzonej od samego początku, albo ja się po prostu nie znam i tak ma być) należy tą wiatę wyposażyć w co najmniej 4 kamery, które będą na bieżąco monitorować ruch przy tej wiacie. Jakimś trafem przy budowie wiaty nikt o tym nie pomyślał i teraz należy takie kamery zamontować. Oczywiście zwrócono się z tym od mnie. Dlaczego? - No przecież jest pan informatykiem, a taką kamerę podłączy się do sieci komputerowej i po sprawie. Acha. No niech Wam będzie.

Sprawdziłem wiec jakie kamery można zastosować, jak to spiąć z naszą siecią. No, porządnie przygotowałem się do tego zagadnienia. Przedstawiłem dokumentację i kosztorys na mniej-więcej 8 tyś zł (4 kamery, switch z Poe, rejestrator ze sporym dyskiem twardym) i ... zostałem poinformowany, że jednak odbędzie się przetarg. No super.

Po jakimś czasie będąc w pracy otrzymuje informację, że przyjechali technicy montować kamery. Co? Jak? Gdzie? Wracam więc do macierzystego szpitala (byłem w drugim szpitalu na jakieś robocie, którą musiałem oczywiście przerwać), i wówczas dopiero się dowiaduje, że jakiś czas temu został ogłoszony przetarg, który już jest rozstrzygnięty a zwycięzca już wszystko ma ustalone poza miejscem gdzie ma podłączyć się do naszej sieci. Oczywiście osoba która opisała przedmiot zamówienia (bez konsultacji ze mną - bo po co?), ogłosiła postępowanie, wybrała najlepszą (znaczy najtańszą) ofertę jest nieuchwytna, bo przebywa na urlopie za granicą. A ja oczywiście musiałem w ciągu pół godziny zapoznać się z bredniami które ktoś napisał w przetargu i przygotować monterom miejsce w serwerowni na rejestrator i miejsce w skrzynce sieciowej na ich switcha. Musiałem również pokazać którędy mogą poprowadzić przewody, jak i gdzie mogą wpiąć się do mojej sieci.

Oczywiście osoba, która zrządziła mi taki los nie została pociągnięta do żadnej odpowiedzialności. Ech odechciewa się pracy w takiej jednostce. Koniec końców okazało się, że nie ma pozwolenia od konserwatora zabytków na umieszczenie kamer na zewnątrz i monitoringu jak nie było tak dalej nie ma.

Mały Raid, duży problem.

Na jednym z moich serwerów działa kilka maszyn wirtualnych, konkretnie 5. Jest to zwykły PC na AMD z dwoma dyskami spiętymi w Raid 1 (mirror czyli kopia lustrzana). Takiego RAID'a stosuje na wszystkich mich maszynach serwerowych od lat i praktycznie nigdy nie miałem problemów z utratą danych (z jednym, no może dwoma wyjątkami, ale o tym może kiedy indziej). Jeśli nawet jakiś dysk się uszkodził to się go wymieniało, system robił kopię na nowy dysk i po problemie. Tym razem zapowiadało się podobnie. Kilka dni temu komputer na którym "żyją" sobie owe maszyny wirtualne przestał być widoczny w sieci. Restart komputera (zwłaszcza że host to Windows) zawsze dobry jest:). Tym razem tak samo.

Niestety po kilku dniach sytuacja się powtórzyła. Nie zaświeciła mi się żadna lampka ostrzegawcza (ani w głowie ani w komputerze), że coś się dzieje z tym serwerem. Kolejny restart i wszystko działa bez problemu. Aż do zeszłego poniedziałku, kiedy to Windows się zawiesił a po restarcie nic się nie uruchomiło. Test BIOS'u przeszedł poprawnie i nic czarny ekran. No cóż, coś padło i trzeba się szybko tym zająć. Kopie zapasowe mam a wiec problemu wielkiego nie ma. Przywrócę cała maszynę wirtualną na innym serwerze i po problemie. Tak też zrobiłem. Żaden problem jak polityka backupu (o niej tez przydałoby się skrobnąć jakiś wpis) działa jak w zegarku.

Oczywiście ciekawość (i pełnione obowiązki) kazały mi sprawdzić co się tam "ugotowało". kolejne włączenie dało mi BSOD'a. Czyli Ram może szwankować, wymieniłem więc, odłączyłem dyski. Komputer zgłosił się bez problemu. Podłączyłem więc dyski, a tu zgrzyt głowicy dysku, przed chwilą zgrzytu nie było. Czyli jeden z dysków padł, odłączyłem go i przy jednym podłączonym dysku system powinien wstać. Nie wstał. Komputer wypluł tylko informację o krytycznym stanie Raid (normalne przy braku jednego dysku) a następnie poinformował mnie, że nie ma żadnego dysku. OK. Odpinam więc ten dysk a podpinam ten "zgrzytający". Oczywiście pojawia się zgrzyt, informacja o krytycznym stanie RAID i ... zaczyna ładować się Windows. Chwilę później pojawia się piękny BSOD. Hm czyli coś jest nie tak. Pamięć RAM testuje w innym komputerze. Jest ok. Hm.. Oba dyski do wyrzucenia? Raczej nie możliwe.

Wymontowałem więc wszystkie podzespoły z obudowy, porządnie wyczyściłem z kurzu i już bez powrotnego montowania w obudowie uruchomiłem komputer z obydwoma dyskami. Zgrzyt wydał mi się jeszcze głośniejszy niż poprzednio. Do dziwne jednak Windows wystartował, jednakże jeden z dysków delikatnie zgrzyta. Czyli jednak oba dyski do wymiany. Skopiowałem wiec z komputera co się dało (znalazłem wersję elektroniczną dokumentu nad który kiedyś pracowałem i go zgubiłem:)). Okazało się, że w tym jednym rzeczywiście głowica uszkodzona, a drugi ma jakieś 30% bad sektorów. Naucza na przyszłość - zwykłe dyski Seagate w pracy ciągłej 24/7 wytrzymują nieco ponad 2 lata.Następnym razem może z WD? Szybka wymiana dysków, postawienie systemu na nowo i po jakiś dwóch godzinach serwer gotowy z powrotem do pracy. Kolejna lekcja z dzisiejszej awarii - Kontroluj stan Raid'ów co najmniej raz na pół roku, bo raczej mało prawdopodobne jest, że oba dyski padły w jednym czasie.

-----
Na koniec oczywiście spis treści mojego bloga i zapraszam do moich wpisów. Polecam szczególnie ten wpis, gdzie opisałem jak poprawnie formatować wpisy na blogu, bo niektóre pomimo świetnej treści formatowanie mają niepoprawne. Ponadto polecam ten wpis na forum gdzie Semtex opisał jak wrzucać grafikę na naszego bloga. Informuję także, że wszystkie grafiki, użyte w wpiisach są mojego autorstwa lub są dostępne w otwartej licencji lub są pobrane z oficjalnych stron podmiotów, o których wspominałem we wpisie. Pozdrawiam Shaki81 

windows oprogramowanie internet

Komentarze

0 nowych
  #1 01.03.2017 12:39

"Naucza na przyszłość - zwykłe dyski Seagate w pracy ciągłej 24/7 wytrzymują nieco ponad 2 lata. Następnym razem może z WD? "

Sama zmiana na WD nic nie da.

Standardowe dyski konsumenckie do 24/7 się nie nadają. Mogą się minimalnie różnić mechanicznie, mają też inny soft. Lepszym pomysłem są dyski do NASów - np. seria WD red.

Konsumenckie, standardowe wersje mają software, który ma za zadanie jak najdłużej utrzymać dysk przy życiu. Jak taki dysk pada, to śmiercią tragiczną i szybką - tzn. dysk nie daje długo żadnych objawów a później ciężko coś z takiego dysku odzyskać.

Dyski z tej samej serii lubią padać w podobnym czasie - nie spinałbym w RAID1 kilku dysków z tej samej serii. Doświadczyłem tego empirycznie - po 4 latach 24/7 (z drobnymi przerwami) w domowym NAS-ie dwa WD red padły w przeciągu tygodnia. Zdążyłem wymieniać dyski i odbudować raid.

technik informatyk   4 #2 01.03.2017 13:48

chyba mały błąd się wkradł "- wszystko jest spawane a system kuleje" chyba sprawne ale drobiazg taki.

edmun   13 #3 01.03.2017 14:30

Zwykłe dyski w RAID przy mocnym obciążeniu rzadko wytrzymują długo. Ani Seagate, ani Samsung, ani WD. Sam miałem okazję przekonać się o tym w biurze, kiedy szef zakupił Buffalo NAS drive 2x1TB z RAID1 i przerzucił na to wszystkie dane. Tydzień później padł kontroler, Buffalo powiedziało że danych nie da się odzyskać bo przy okazji spaliła się elektronika dysków :D

Wolfgar   7 #4 01.03.2017 15:56

Tak się zastanawiam, czy twój szpital jest jakimś eksponatem z przeszłości czy jak?! Jest 21 wiek a wy macie przerwy w zasilaniu! Jeżeli są problemy z zasilaniem może warto by zrobić badanie jakości energii?

Wolfgar   7 #5 01.03.2017 16:04

@edmun: A wymiana elektroniki ze sprawnych dysków?

edmun   13 #6 01.03.2017 16:30

@Wolfgar: dyski tak jakieś przedziwne, że ani nowych kupić ani jakiś zamienników na ebayu. Znaleźliśmy (pamiętam przez mgłę) chyba tylko jeden gdzieś z Australii ale z kosztami przesyłki wychodziło tyle, że wygodniej nam było siedzieć 2 tygodnie i przywracać dane z lokalnych kopii zapasowych niż bawić się w próbę naprawy "Buffalo NAS RAID drive" :D

GioWDS   15 #7 01.03.2017 16:37

@Wolfgar: Oj, tam. W dzisiejszych czasach stawia się budynki biurowe bez systemów SDR, bez zapasowych linii zasilających: to jest dramat.

Wolfgar   7 #8 01.03.2017 18:05

@GioWDS: Mnie też już mało co zdziwi. Np. Biura pewnej średniej wielkości firmy w budynku o dwużyłowej instalacji xD

Axles   18 #9 01.03.2017 21:27

@Shaki81 "Przywrócę cała maszynę wirtualną na innym serwerze i po problemie. Tak też zrobiłem. Żaden problem jak polityka backupu (o niej tez przydałoby się skrobnąć jakiś wpis) działa jak w zegarku."

Mógłbyś skrobnąć coś o tym, z chęcią bym poczytał, a teraz tak tylko w skrócie czym robisz backupy, komercyjne narzędzie czy darmowe i jak taka polityka wygląda, bo u mnie po prostu się robi kopie i tyle - to podstawa.

  #10 01.03.2017 22:12

1. Szkoda że wpis zawiera tak mało informacji, bo zagadnienia bardzo ciekawe.
Mógłbyś opisać jakiego oprogramowania używasz do wirtualizacji, jakie są parametry techniczne tych serwerów. Jakich systemów używasz (Windows, Linux, BSD?) itp.

2. Dziwi mnie 100-megabitowy przełącznik, sam używam w domu gigabitowego* i nie wyobrażam sobie np. pracy na dysku sieciowym przy połączeniu 100mbps (tj. około 10MB/s), a co dopiero przy kilkudziesięciu komputerach.

* Sieć domowa to tylko kilka urządzeń 2x PC, 1xSerwer, 1x Laptop, 3x Urządzenie mobilne, dodatki w postaci np dekodera sat czy AP

sagraelski   9 #11 02.03.2017 06:57

@Xyzz (niezalogowany): Fakt, ale zielone "wudeki" (te z oznaczeniem green) są wyjątkowo twarde! Męczę 4 sztuki tych dysków (pojemność bodajże 1.5tb) w serwerze nas'owym (FreeNas) - póki co, bez kłopotów. Faktem jest, że wiele nie ryzykuję bo dane na tej maszynie nie są zbyt istotne ale WD ma u mnie plusa.

miggi   6 #12 02.03.2017 08:06

Jakiś czas temu też wymieniliśmy przełączniki 3COM'a. Obecnie rozważamy wymianę też TP-Linków bo nie wytrzymują obciążenia i za nic nie chcą się dogadywać z resztą przełączników zarządzalnych.

Thor1990   5 #13 02.03.2017 08:16

"Oba dyski do wyrzucenia? Raczej nie możliwe." U nas w dwóch serwerach wykupionych w Hetznerze padły jednocześnie dyski spięte w RAID1, więc "nie możliwe" jest jednak możliwe ;)

  #14 02.03.2017 12:15

@miggi: Bo pracujesz w służbie zdrowia. Jeżeli coś jest tanie a działa to po co kupować droższe

miggi   6 #15 02.03.2017 13:52

@Anonim (niezalogowany): No niestety. Tłumaczenie, że specyfikacja powinna pomagać nam kupować sprzęt dobry zamiast taniego nie spotyka się ze zrozumieniem.

  #16 02.03.2017 14:57

@sagraelski: "Męczę 4 sztuki tych dysków (pojemność bodajże 1.5tb) w serwerze nas'owym (FreeNas) - póki co, bez kłopotów."

To zależy od tego na jaką serią się trafi - zdarzają się "twarde sztuki". A czasami dyski z "lepszych serii do specjalnych zastosowań" potrafią paść szybko.

Kwestia czasu - po prostu kupując dyski projektowane pod pracę 24/7 jest mniejsze prawdopodobieństwo nagłego padnięcia dysków.

Swoją drogą, nic tak nie ubija mechaniki dysku jak częste cykle rozruchu i zatrzymania.

Shaki81 MODERATOR BLOGA  38 #17 02.03.2017 21:35

@miggi: A na jakie chcesz wymieniać? Jeśli oczywiście można wiedzieć.

Jac0b   6 #18 02.03.2017 22:30

Przy okazji tematu RAIDu i "nie możliwe" to jakiś czas temu padł mi RAID 10 w Dell'u T110II w taki sposób, że nie ma możliwości odbudowy. Niby mało prawdopodobne... ale zanim stanęło na tym, że nie da rady go odbudować zamówiłem dwa świeże dyski HGST z serii enterprise, wsadziłem w serwer i okazało się, że oba przyjechały uszkodzone z hurtowni. Zamówiłem kolejne dwa dyski tym razem z interfejsem SCSI do zapasowego serwera (postawionego na szybko do migracji AD i kluczowych danych z pierwszego serwera) i też przyjechały uszkodzone. Jakie są szanse na to? Skończyło się na WD REDach, z którymi jeszcze nie miałem problemów, a stosuję je już dość długo.

  #19 03.03.2017 10:54

Miałem przeświadczenie, że dyski Seagate są najbardziej awaryjne ze wszystkich (również z doświadczenia). Z kolei poszukałem nowych danych i wychodzi, że teraz dyski WD się pogorszyły, a tak na prawdę to dużo zależy od konkretnego modelu(pojemności) niż od producenta. Osobiście w pracy montujemy dyski WD Purple lub WD Red ponieważ mają być w teorii dedykowane do pracy ciągłej i mają gwarancje producenta 3 lata lub jeśli jest budżet to WD BLACK (5 lat gwarancji). Jak na razie te dyski nie padają. Testy sugerują też niską awaryjność Toshiby. Straszna biedę masz w tym szpitalu skoro musisz walczyć z takimi przełącznikami. W biznesie nie opłaca się kupować najtańszych rozwiązań ponieważ potencjalne problemy z tym sprzętem wygenerują duże straty ale wiem, że nie każdy to rozumie, szczególnie osoby decydujące o budżecie. Dlatego trzeba przedstawić swoje racje, najlepiej mieć na to podkładkę i jak się w przyszłości wyłoży system na kilka dni to jesteś kryty. Pozdrawiam i dzięki na wpisy.

miggi   6 #20 03.03.2017 11:33

@Shaki81: Ze starych zapasów mam pancerne CISCO, a docelowo Ubiquiti EdgeMax 48x1000PoE.

step_sequencer   4 #21 05.03.2017 21:23

A ja w kwestii zasilania. Jak wygląda instalacja elektryczna w opisywanym szpitalu? Część sprzętu medycznego wymaga określonych parametrów pod względem kompatybilności EMC oraz zasilania gwarantowanego. Dodatkowo częśto stosuje się układ IT. Jak to wygląda u was? Pewnie każdy oddział ma nieco inaczej to rozwiązane ze względu na remonty w różnym czasie, a sprzęt sieciowy "wisi" na jakimś starym obwodzie?

menuchin   1 #22 08.03.2017 12:34

Ciekawą lekturą odnośnie dysków są coroczne raporty firmy Backblaze. Polecam. ;)
https://www.backupacademy.pl/najbardziej-niezawodny-dysk-twardy-roku-2016/

A co ciekawsze.. twierdzą oni, że dyski do zastosowań domowych są wręcz bardziej trwałe niż dyski na rynek biznesowy. https://www.backupacademy.pl/czy-oplaca-sie-inwestowac-w-dyski-enterprise/