Strona używa cookies (ciasteczek). Dowiedz się więcej o celu ich używania i zmianach ustawień. Korzystając ze strony wyrażasz zgodę na używanie cookies, zgodnie z aktualnymi ustawieniami przeglądarki.    X

Specjalista ds. teleinformatycznych i optymalizacja zasilania w serwerowni cz.74

Ze względu na rozbudowę systemu informatycznego (raz i dwa) w szpitalu w zeszłym roku do serwerowni doszło sporo nowego sprzętu, który został zainstalowany w dwóch szafach serwerowych. Dzięki tym urządzeniom serwerownia zyskała sporo nowych zasobów, z których nasi kochani pracownicy mogą korzystać. Nowe sprzęty, które zostały dostarczone w zeszłym roku to UPS 1, UPS 2, dwa switche w drugiej szafie, macierz oraz serwery nr 3, 4, 7, 8. Te 4 serwery wraz z macierzą są najważniejszymi serwerami. Na tych serwerach trzymane są wszystkie dane pacjentów, ich badań i tak dalej (serwery 7, 8 i macierz) a także dodatkowy backup wszystkich najważniejszych danych oraz oprogramowanie do wymiany informacji z innymi szpitalami (serwery 3, 4 i macierz). Te 4 serwery muszą działać cały czas.

W dużym uproszczeniu tak wygląda układ serwerów na chwilę obecną. Wydawało mi się wówczas (przy projektowaniu takiego układu), że takie ułożenie posiadanych sprzętów jest optymalne, jednakże okazało się, że nie do końca. Niedawno w firmie mieliśmy kompleksową wymianę łącz elektrycznych dla szpitala. Wymiana ta miała się wiązać z całkowitym brakiem prądu w szpitalu przez okres około 2 godzin. Wyliczyłem sobie, że po odłączeniu zbędnych na tamtą chwilę serwerów (tj serwerów dla administracji czyli urządzeń nr 1, 2, 5, 6, 9, 10 (swoją drogą wśród nich tez przydałaby się jakaś optymalizacja, bo coś ich za dużo jest) oraz jednego ze switchów) reszta powinna działać około 2, 5 godziny, a więc wynik jak najbardziej akceptowalny. Niestety jak to bywa w życiu z zaplanowanych 2 godzin wyłączenia prądu wyszło ponad 4 godziny. Oczywiście po lekko ponad 2 godzinach (macnąłem się w obliczeniach jakieś 15 minut) reszta serwerów padła. Czekaliśmy z prawidłowym zamknięciem komputerów jak najdłużej się dało i przesadziliśmy trochę.

Prąd w UPS'ach skończył się szybciej i wszystkie serwery po prostu padły. A że czekaliśmy na powrót prądu to była chwila (dość długa:)) aby przedyskutować nowe lepsze ustawienie serwerów. Po jakieś godzinie dyskusji stwierdziliśmy, że podstawowym błędem było zainstalowanie serwerów 3 i 4 (jedno ważne zadanie - patrz powyżej) w jednej szafie a serwerów 7 i 8 (drugie ważne zadanie - patrz powyżej) w drugiej szafie. Kolejnym błędem było podłączenie routera dostępowego i VPN (wraz z jednym ze switchy) do UPS'a gdzie są już serwery. Dostęp do Internetu również powinien być dostępny bez względu na wszelkie inne okoliczności, ponieważ inne jednostki nie będą miały również do niego dostępu i możliwości komunikowania się ze sobą bez udziału głównej serwerowni

Jednakże chyba największym błędem była instalacja okablowania z całego szpitala do switcha, do którego podłączone są również serwery z szafy 1. Nie dość, że do switcha podpięte są komputery z administracji to jeszcze podpiąłem tam switche z poszczególnych pięter (3 piętra - 3 oddziały). Zrobiłem misz-masz na całego. Dlatego też właśnie powstał pomysł dostawienia trzeciej szafy, gdzie podłącze administrację. Dzięki temu do switcha w szafie nr 1 zostaną podłączone tylko serwery i przełączniki z reszty pięter.

Widać więc, że takie nie do końca zaplanowane wyłączenia prądu dają wiele pozytywów. Szybko mogłem sprawdzić, gdzie mam błędy projektowe, a kilka ich było. Kilka z nich (np. router dostępowy nie podłączony do żadnego UPS'a) mogłem wyeliminować od razu a nad innymi był czas i sposobność zastanowić się dłużej.

-----
Jeszcze spis treści mojego bloga (wiem, wiem ta regułka zaczyna być nudna:)) i zapraszam do moich wpisów. Polecam szczególnie ten wpis, gdzie opisałem jak poprawnie formatować wpisy na blogu, bo niektóre pomimo świetnej treści formatowanie mają niepoprawne. Ponadto polecam ten wpis na forum gdzie Semtex opisał jak wrzucać grafikę na naszego bloga. Informuję także, że wszystkie grafiki, użyte w wpisie są mojego autorstwa lub są dostępne w otwartej licencji lub są pobrane z oficjalnych stron podmiotów, o których wspominałem we wpisie. Pozdrawiam Shaki81 

sprzęt inne

Komentarze

0 nowych
DjLeo MODERATOR BLOGA  18 #1 13.12.2016 18:52

Nie wiem jak u Was w szpitalu wygląda koszt takiego paraliżu serwerowni, u nas przekłada się to n x stawka godzinowa programisty (czyt. dużo). Co prawda od jakiegoś czasu króluje u nas Docker więc chwilowa awaria nie powoduje, że programiści błądzą jak dzieci we mgle. Ale fakt, faktem jest to problem. Polecałbym dokupić 2 switche zestackować je i rozłożyć ruch na oba w jednej szafie, każdy serwer na oba switche, wtedy masz problem z głowy w sytuacji awarii jednego z nich. KVM'my to już wedle uznania. W dodatku nitka na zewnątrz do każdego. Wtedy masz redundancje jak trzeba. Reszta to już zależy od ważności serwerów i ich kluczowego znaczenia. UPS to jednak dość ważna rzecz. Może warto też zastanaowić się nad jakimś zewnętrznym rozwiązaniem. Kto dzisiaj tak działa? Wyciągnąć to wszystko na zewnątrz, 2 serwerownie, kopia 1 do 1 i 3 serwerownia na backupy. Może się okazać nawet, że to tańsze rozwiązanie niż obecne.

Shaki81 MODERATOR BLOGA  38 #2 13.12.2016 19:02

Prawdę mówiąc to pierwszy raz miałem sytuację, gdzie na dłużej wszystkie serwery były uziemione. Kurcze pomysł z podwojeniem ilości switchy godny rozważenia. Dzięki.

GioWDS   15 #3 13.12.2016 19:56

@Shaki81: Nie tylko godny rozważenia.
SPOF-y w miejscach takich jak szpitale to raczej niedopuszczalne choć często spotykane.
W miejscach gdzie przejmuję sieci, wpadam i widzę sieć stojącą na marketowych gw/ap/sw przy produkcji gdzie godzinowy postój firmy to koszty większe niż wartość tego sprzętu to aż się smutno robi.

Ayaritsu   5 #4 13.12.2016 20:42

Jak wyżej. Nawet nie wyobrażam sobie aby serwery były na jednym switchu. Do tego można zastosować wtedy metodę active - active (albo jak nie stać kogoś na drugi dobry switch to można nawet zrobic active - passive i żeby ten dużo słabszy zaczynał działać tylko i wyłącznie w razie awarii) i teoretycznie podwaja się przepustowość pomiędzy serwerami, albo serwerem a macierzami, co w przypadku jak używa się 1GbE tylko może być krytyczne, bo macierze spokojnie wychodzą poza zakres 1GbE, szczególnie jak jest parę RAID'ów na każdej macierzy :)

Jednego Ci zazdroszczę...tego że UPS'y są w stanie tak długo Ci wytrzymać. U mnie w jednej serwerowni UPS jest w stanie wytrzymać 30min, a w większej jest w stanie wytrzymać uwaga...jakieś 5min. Niestety nie mogę kupić UPS'ów bo nie mam zgody na to...w końcu działa, to po co kupować...

@GioWDS
Niestety sam się z tym parę razy spotkałem. Pomijam fakt że do takich switchy czasem było ładowane po prostu za dużo. Np. Core'owy switch który ma 48 portów, jest gigabitowy, nie ma w ogóle 10GB, a łączy parę budynków i jest do niego wpiętych parę serwerów zwykłych, serwer kasetowy, 2 macierze i 5 NAS'ów...po prostu switch klępa, tym bardziej że co chwile ktoś coś pobiera z serwerów, lecą zapytania po bazach danych, obsługuje CAŁY ruch w sieci itp....

Albo jeden dostawca radiowy w okolicach Krakowa ma główną serwerownie zrobioną na najtańszych niezarządzanych TP-Linkach gdzie jeden jest wpięty w drugi, a drugi jest wpięty w trzeci i dziwi się że one się czasem wieszają jak nie wytrzymują ruchu paruset domów, gdzie w każdym domu jest jeszcze parę osób podłączonych...

miggi   6 #5 13.12.2016 22:32

Pomijając kwestię serwerów, UPSów i przełączników, to do rozrysowania tego co w szafach albo do samego zasymulowania rozmieszczenia urządzeń w szafach polecam RackTables.

GioWDS   15 #6 13.12.2016 23:21

@Ayaritsu: UPS-y to mało.
Często dobieram je w taki sposób, aby na FL były w stanie utrzymać działanie sprzętu przez 4-5 minut - w tym czasie przełącza się na agregat SZR.
Do łączenia switch-y to najrozsądniejszym rozwiązaniem w stosunku cena/prędkość chyba nadal SFP+.

Autor edytował komentarz w dniu: 13.12.2016 23:25
wielkipiec   16 #7 13.12.2016 23:55

@DjLeo: Docker! <3

DjLeo MODERATOR BLOGA  18 #8 14.12.2016 00:38

@Shaki81 Proszę ;)

@GioWDS Pytanie czy wykorzystasz, u nas jedyna korzyść to dodatkowe porty ethernetowe na switchach. Nawet agregacja portów nie była wykorzystywana w pełni. Choć szczerze to całe patchcordy "światełkowe" z wkładkami SFP+ są teraz w tak śmiesznych cenach, że głupotą jest na tym oszczędzać i lepiej zwolnić sobie te parę portów, nawet jak nam struś pędziwiatr zbędny.

U nas UPS'y trzymają maks 20 minut. Ale co z tego, może paść, jak i tak mamy prawie wszystkie maszyny na zewnątrz, jak normalna firma ;)

DjLeo MODERATOR BLOGA  18 #9 14.12.2016 00:48

@wielkipiec widzę, że Tobie Docker też pomocą służy ;) BTW. normalnie zapytałbym co u Ciebie słychać, ale biorąc pod uwagę obecną sytuację zapytam: "No pochwal się ile masz kontenerów na jednej instancji?" :)

@miggi Wygląda na profesjonalne narzędzie, trochę "za profesjonalne" do takich zastosowań. Jeżeli rozumiesz o co mi chodzi :) Zwykły draw.io radzi sobie z tym super, którego używamy do rysowania infrastruktury sieci i makiet programów. Ale i tak obczaję, nie znałem go, dzięki ;)

miggi   6 #10 14.12.2016 07:45

@DjLeo: RackTables może używać w bardzo amatorski sposób albo zabrać się do tego na 100% tak aby widać było wszystkie połączenia fizyczne (sieciowe i zasilaniowe) oraz logiczne. BTW RackTable u nas stoi na Dockerze ;)

Autor edytował komentarz w dniu: 14.12.2016 07:46
Ayaritsu   5 #11 14.12.2016 07:58

@GioWDS: Nie niestety nie wszędzie da się agregat zamontować:)

Co do SFP+ to się zgodzę:) Pod warunkiem że nie są to switche które wymagają tych konkretnych SFP+ które kosztują bardzo dużooo...nie dość że właśnie zwalnia się miejsce na switchu (pod warunkiem że nie jest to port zamienny z jakimś ethernetowym portem) to polepszają się transfery:) W końcu np. 48 portów gigabitowych trzeba czasem czymś zasilić:) A jak np. jedna osoba zacznie ciągnąć coś z neta, druga z serwera, trzecia z macierzy, parę innych z NAS'a to 10GB jest jak znalazł, a czasem nawet brakuje:)

GioWDS   15 #12 14.12.2016 13:28

@Ayaritsu: Oj tam, oj tam. Agregat 4/5kW zajmuje mało miejsca - wystarczy umiejscowić go w piwnicach budynku, odprowadzić spaliny i finito ;)

Ogólnie do łączenia szkieletu sieci (serwery i wyprowadzenia do przełączników na końcówki) to najlepiej pakować switch'e QSFP28 inaczej jak po sieci śmiga jeszcze NAS to jest rzeźnia - osobiście preferuję jednak SAN'y.

Ayaritsu   5 #13 14.12.2016 14:09

@GioWDS
Wiesz, problem jest wtedy kiedy nie ma piwnicy w budynku, a ktoś wpadł na pomysł aby serwerownie dać na przedostatnim piętrze:) Niestety tutaj jest to niewykonalne:) Kwestie finansowe i...personalne :)

Co do NAS'ów...niestety tak jak piszesz jest rzeźnia...szczególnie jak jest parę tych NAS'ów i nie tylko...

corrtez   12 #14 14.12.2016 17:20

@Ayaritsu: "Niestety nie mogę kupić UPS'ów bo nie mam zgody na to...w końcu działa, to po co kupować... "

Oj to kogos zaboli jak padnie prad... I oby to byl ten kto nie dal zgody na zakup tych UPS'ów.

Ayaritsu   5 #15 14.12.2016 18:01

@corrtez:
Jakbyś nie wiedział jak to działa:) Odpowiada administrator, a nie dyrektor:) Mam możliwość kupna używanych dysków do macierzy do której wchodzą tylko dyski ze specjalnym firmware'm (więc są bardzooo drogie). Nowy dysk kosztuje tyle co 9 dysków (mało) używanych na które mam 1 rok gwarancji. Jakby tego było mało, to te używane mają 2x większy rozmiar, więc można powiedzieć że się opłaca, ale nie mam zgody bo są używane...a nowych nie mogę kupić bo są za drogie...wiem że nie kupuje się używanych dysków, ale problem jest taki, ze jeden dysk już padł, więc szukałem alternatywy, bo nie mogę kupić nowego...

Giiixxxx6   10 #16 14.12.2016 18:26

Wybaczcie, ale co to jest macierz? :)
Google określa to dość niejasno, bardziej jak funkcję matematyczną. Może bym skojarzył bardziej gdyby było po francusku, ale tego na polskim blogu raczej nie wymagam :P

corrtez   12 #17 14.12.2016 18:36

@Ayaritsu: Czasem w takich firmach potrzeba powaznej awarii by ludzie odpowiedzialni za kupno sprzetu sie nauczyli ze trzeba byc proaktywnym.
Troche dziwi mnie takie podejscie ale pewnie osoba odpowiedzialna za zakupy w ogole nie ma pojecia o tym co i jak dziala w IT.

Ayaritsu   5 #18 14.12.2016 18:42

@Giiixxxx6:

Macierz hm...po angielsku to jest Storage :) To coś ala NAS, ale dużo szybszy i przeznaczony pod przechowywanie danych które muszą mieć wysoką dostępność i szybkość. Używa się tam z reguły dużo szybszych dysków 10k, 15k, SSD itp. które są też dużo trwalsze:) Podpina się z reguły bezpośrednio pod serwery i przechowuje się na nich maszyny wirtualne itp. :) O dziwo jest tego dużo rodzajów które różnią się sposobami podłączania, optymalizacji itp.

To tak w skrócie i w duuuużym uproszczeniu :)

Ayaritsu   5 #19 14.12.2016 18:48

@corrtez:

Awarie już się zdarzały...ale zawsze udawało się jakoś z tego wyjść nie kończąc na rozprawach sądowych...a to backup który jeszcze się nie nadpisały, a to kopia zrobiona przez zewnętrzną firmę, a to firma odzyskująca dane z padniętych dysków...(cena nowego małego auta). Nikt się nie nauczył, nikt, mogę mówić:)

GioWDS   15 #21 14.12.2016 22:16

@Ayaritsu: No tak nie dokładnie: NAS, DAS i SAN to rodzaje macierzy - różnią się tylko sposobem połączenia z serwerami. Chociaż ja zawsze mam problem czy iSCSI to już NAS czy jeszcze SAN.
Disk matrix/array (w sensie używanym pod tym wpisem blogowym) to w prostych chłopskich słowach zasoby dyskowe udostępniane serwerom z zewnątrz (względem macierzy) czyli masz n-dyskową macierz, która jest dostępna dla podłączonych urządzeń.
NAS - czyli przyłączana przez sieć, stąd przedrostek Network; nie wymaga dodatkowej infrastruktury;
SAN - czyli sieć powierzchni dyskowych - dedykowana do zasobów dyskowych;
DAS - podłączana bezpośrednio - które w tym wypadku oznacza, że dla serwera jest widziana jak wielki dysk podłączany najczęściej przez FC.
Obecnie stosuje się już tylko NAS-y i SAN-y - pierwsze mają bardzo niski koszt wdrożenia: kable już są w istniejącej sieci, urządzenia też są relatywnie tanie, patrz Synology (pozdrowienia dla Renaty i Adama) czy WD Cloudy; SAN-y znowu są znacznie wydajniejsze a ze względu na dedykowaną sieć nie obciążając tej przeznaczonej do komunikacji między hostami.
Alternatywnie targa się też SAN po Ethernecie przez iSCSI, który łączy wady i zalety obu technologii.

Autor edytował komentarz w dniu: 14.12.2016 22:31
Ayaritsu   5 #22 15.12.2016 06:55

@GioWDS:

Ogólnikowo pisałem:) Tu gdzie teraz pracuję mam różne konfiguracje, większość robione chyba przez osobę która nie miała pojęcia o IT. NAS'y, SAN'y i np. SAN'a po iSCSI który jest podłączony bezpośrednio do dwóch serwerów z pominięciem Switch'a...a do dwóch pozostałych przez te dwa serwery po porcie 1GbE...całość ma działać jak klaster HA...

GioWDS   15 #23 15.12.2016 10:07

@Ayaritsu: No to dobrych tam macie zawodników - tak mniej więcej wygląda każde wejście na obiekt. Switche z marketu, zero planów instalacji, serwer danych na XP-ku, każda końcówka inna, miejscami okablowanie CAT3 - nie do końca wiem jak bo kable były montowane 4-5 lat temu, a przygoda 3 kategorii skończyła się w 90s.

Ayaritsu   5 #24 15.12.2016 17:54

@GioWDS:

Hm...apropo kabli to w sumie nigdy się nie zastanawiałem jaka tam kategoria jest...ale obstawiam że w najlepszym przypadku cat5, bo są tam jeszcze stareeee patch panele IBM'a :)

Co do switchy itp. to nie jest wysoka półka, nie jest to zrobione dobrze, ale ogólnie...działa:) Widziałem dużo gorsze instalacje, tylko wtedy one nie były na tak dużą skalę:) Tu tylko są dwie/trzy rzeczy zrobione mega źle, reszta jak na takie obiekty ujdzie...jedynie z serwerami jest to co napisałem już...ze switchami są dwa punkty SPOF z czego jeden pomiędzy innymi serwerami, a macierzami...

Wystarczyłoby tak na prawdę dwa dobre switche które by rozrzucały neta pomiędzy budynkami z użyciem 10G, serwery w jednym pomieszczeniu z macierzami, aby nie było tak że serwery w jednym pomieszczeniu, macierze w innym itp. osobne pomieszczenie z backupami. Parę UPS'ów i dużooo czasu aby to zgrać porządnie i na najbliższe lata była by tylko ewolucja i naprawy jakby coś padło, ale niestety nie ma czasu na to, a fundusze obcinane do granic możliwości.

  #25 15.12.2016 18:15

9 serwerów w trzech szafach, ależ to musi ciągnąć prądu a to tylko wymiana dokumentacji medycznej (tj. niewielkie ilości danych).

GioWDS   15 #26 15.12.2016 23:21

@sdj (niezalogowany): 10 - chyba, że liczysz od 0.
Podejrzewam, że w stanie spoczynku utylizacja prądu jest poniżej 600W ;)

  #27 12.01.2017 13:28

W to nie jednostka prądu.

GioWDS   15 #28 12.01.2017 20:09

@Anonim (niezalogowany): poniżej 2.6A przy napięciu 230V.

Autor edytował komentarz w dniu: 12.01.2017 20:10
hjgvcygv   3 #29 10.04.2017 11:25

Przeczytałem całość(fajnie się czyta). Ale minęło kilka miesięcy, seria zakończona, czy brak chęci/czasu?
----------------------
Nie ważne. Już znalazłem. Da się to spiąć w jedną serię?

Autor edytował komentarz w dniu: 10.04.2017 11:52

Gratulacje!

znalezione maszynki:

Twój czas:

Ogól Naczelnego!
Znalazłeś(aś) 10 maszynek Wilkinson Sword
oraz ogoliłeś(aś) naszego naczelnego!
Przejdź do rankingu
Podpowiedź: Przyciśnij lewy przycisk myszki i poruszaj nią, aby ogolić brodę.