#4 IT @ Służba Zdrowia - Automatyzacja backupu bazy Oracle

Przez długi czas prosty skrypt bat robił codziennie w nocy pełny export do dmp i pakował do zip'a.

Przez długi czas działało. Ale jak to zwykle bywa do czasu. Paker Pkzipw.exe ma małe ograniczenie pakowanego pliku do 4gb. I tak przez kilka lat jedyny backup odbywał się przez kopiowanie całego katalogu z bazą. Który okazał się i tak bezskuteczny.

Przygotowanie

Kleksiq ułatwił wam sprawę i przygotował małą paczkę na dropboxie dla was :). Link

Wystarczy wypakować, zmienić parę zmiennych i dodać do dziennego harmonogramu. Czasowo 22GB baza + kompresja do 7zip wychodzi ok 2h30min. Wysyłka zależy od waszego transferu, lecz nic nie stoi na przeszkodzie aby wysyłać to po sieci lokalnej do jakiegoś serwerka NAS.

Opis skryptu

Skrypt jest dość prosty ( powiedzmy ) w budowie lecz skuteczny :).

@echo off & setlocal enableextensions
echo>dzien.vbs WScript.Echo WeekDayName(Weekday(Date),true)
for /f %%d in ('cscript //nologo dzien.vbs') do set wd_=%%d
echo Dzien Tygodnia wd_=%wd_%

Tworzymy plik vbs i z niego ściągamy dzisiejszy dzień w formacie Pn, Wt, Śr, Cz itd.

cd c:\backup\
set ORA_SRV=SERWER

Działamy w lokalizacji c:\backup\ lecz nic nie stoi na przeszkodzie by działać np na dysku iscsi. set ORA_SRV ustawia nam nazwę naszego serwera oracle, nazwę znajdziemy w pliku tnsnames.ora. U mnie znajduje się on przykładowo w lokalizacji x:\oracle\ora10g\network\admin\tnsnames.ora

REM Ustawienia FTP
SET FTP_IP=
SET FTP_LOGIN=
SET FTP_PASS=
SET FTP_CD=
SET FTP_LOG=

Ustawienia FTP, w CD wklepujemy scieżkę w formacie /folder/folder/, natomiast log jest to miejsce zapisu logu ftp, nic nie stoi na przeszkodzie by nadać mu nazwę

logftp%wd_%.log

Następnie cała magia następuje :)

REM Jezeli dump + log file istnieje usuwamy
IF EXIST %ORA_SRV%_ora_full_%wd_%.dmp DEL %ORA_SRV%_ora_full_%wd_%.dmp > NUL
IF EXIST %ORA_SRV%_ora_full_%wd_%.log DEL %ORA_SRV%_ora_full_%wd_%.log > NUL

REM Export
EXP parfile=full.txt file=%ORA_SRV%_ora_full_%wd_%.dmp log=%ORA_SRV%_ora_full_%wd_%.log
del dzien.vbs

Kasujemy stare pliki dmp oraz log, a następnie eksportujemy bazę do nowego pliku. Wszystkie opcje są w pliku full.txt

userid=system/system
buffer=1000000
rows=y
compress=n
consistent=y
feedback=100000
full=y

Ustawienia mam od dość dawna, można by jedynie pobawić się z opcją buffer, jeżeli jest ktoś bardziej obyty z oraclem niech pisze to coś poprawimy :). Do zmiany oczywiście są dane userid.

REM Jezeli plik zip istnieje usuwamy
IF EXIST %ORA_SRV%_FULL_EXP_%wd_%.7z DEL %ORA_SRV%_FULL_EXP_%wd_%.7z > NUL

REM Usuwamy stary hash file
IF EXIST %ORA_SRV%_hash_%wd_%.xml DEL %ORA_SRV%_hash_%wd_%.xml > NUL

REM Liczymy hashe
fciv.exe -add %ORA_SRV%_ora_full_%wd_%.dmp %ORA_SRV%_ora_full_%wd_%.log -both -xml %ORA_SRV%_hash_%wd_%.xml

REM Dodajemy plik bat ktory sprawdzi nam nasz plik dmp
echo> %ORA_SRV%_ora_full_%wd_%_weryfikacja_sha1md5.bat fciv -v %ORA_SRV%_ora_full_%wd_%.dmp -both -xml %ORA_SRV%_hash_%wd_%.xml

Usuwamy istniejący plik 7z, stary plik z hashami a następnie liczmy nowy dla pliku dmp oraz log i zapisujemy go do formatu xml. Plik wynikowy wygląda tak :

  <?xml version="1.0" encoding="utf-8" ?>
- <FCIV>
- <FILE_ENTRY>
<name>baza_ora_full_pt.dmp</name>
<MD5>0nNvJ8j1tDXeh75CGNli7g==</MD5>
<SHA1>WsGo5gfeT+4Wh7e+pdU+WRNAlJE=</SHA1>
</FILE_ENTRY>
</FCIV>

I przy okazji tworzymy sobie plik bat który nam automatycznie porówna plik dmp z wyliczonym hashem.

REM Pakujemy do formatu 7z
7za a %ORA_SRV%_FULL_EXP_%wd_%.7z %ORA_SRV%_ora_full_%wd_%.dmp %ORA_SRV%_ora_full_%wd_%.log %ORA_SRV%_hash_%wd_%.xml %ORA_SRV%_ora_full_%wd_%_weryfikacja_sha1md5.bat fciv.exe -t7z -mx2

Tego chyba nie muszę tłumaczyć :). Tworzmy sobie całą paczkę która umożliwi nam bezbolesne wgranie na nowy serwer i jest w pewnym sensie samowystarczalna.

REM Usuwamy niepotrzebne pliki
IF EXIST %ORA_SRV%_ora_full_%wd_%.dmp DEL %ORA_SRV%_ora_full_%wd_%.dmp > NUL
IF EXIST %ORA_SRV%_ora_full_%wd_%.log DEL %ORA_SRV%_ora_full_%wd_%.log > NUL
IF EXIST %ORA_SRV%_ora_full_%wd_%_weryfikacja_sha1md5.bat DEL %ORA_SRV%_ora_full_%wd_%_weryfikacja_sha1md5.bat > NUL
IF EXIST %FTP_LOG% DEL %FTP_LOG% > NUL

REM Wysylamy na ftp, sciezki sa dane "pelne", nalezy sprawdzac plik log aby nie bylo zadnych bledow
REM Plik 1.5 gb na wolnego nas'a patriot valkyre kopiuje się 3 min.
cd /CoreFTP/
coreftp.exe -u c:\backup\%ORA_SRV%_FULL_EXP_%wd_%.7z ftp://%FTP_LOGIN%:%FTP_PASS%@%FTP_IP%%FTP_CD% -log %FTP_LOG%

Usuwamy starocie, i wysyłamy plik po ftp, może być to lokalny nas bądź zdalny, wszystko zależy od naszego łącza. Celowo w linii coreftp.exe jest dana pełna ścieżka do pliku, nie jestem pewien czy format ../ zadziałałby prawidłowo. Jeżeli macie jakieś poprawki, uwagi, wpisujcie je w komentarze, postaram się poprawiać skrypt na bieżąco.

PS

Po kilku dniach pracy z GPO zaczynam mieć bezsenne noce ale za to pulpit dla 30 klientów rdp wygląda tak samo :). Teraz jeszcze to samo z userami szpitalnymi ....

PPS

Tak wiem miała być recenzja serwerowa lecz z braku czasu tekst istnieje jedynie w przygotowaniu. Po przenosinach serwera postaram się udostępnić go. Jedyne co mogę powiedzieć to że na starym serwerze szukanie pacjentów od roku 2000 do dziś trwało i trwało i końca nie było widać, trzeba było wylogowywać klienta aby mógł normalnie pracować. Aktualnie gdy baza stoi na osobnej dedykowanej maszynie trwa to ok 15 sekund :).