Strona używa cookies (ciasteczek). Dowiedz się więcej o celu ich używania i zmianach ustawień. Korzystając ze strony wyrażasz zgodę na używanie cookies, zgodnie z aktualnymi ustawieniami przeglądarki.    X

cz. 3 | Siła konsoli w systemach Uniksowych

Witam, postanowiłem kontynuować poprzednie wpisy z powodu większego zainteresowania tematem i podsunięcia Mi kilku pomysłów odnośnie zastosowania konsoli.

No to lecimy.

[color=#647ccb]Przykładowe zastosowanie szóste - łatwe i przyjemne wyszukiwanie/sortowanie plików

Powiedzmy, że mamy duży bałagan, ponad 1000 różnych plików w katalogu Pobranych plików.

Ja akurat niemam możliwości wygenerowania aż tysiąca plików z sensownymi nazwami, dlatego w przykładzie podam 16 plików.

webnull@webnull-desktop:/tmp/dobreprogramy$ ls Backup-10.11.2010.tar.gz Backup-14.11.2010.tar.gz Kurs-Python.pdf libgegl-0.0-0_0.0.22-0ubuntu4_i386.deb Backup-11.11.2010.tar.gz Bash.pdf libatk1.0-0_1.22.0-1_i386.deb libgtk2.0-0_2.12.12-1~lenny2_i386.deb Backup-12.11.2010.tar.gz Dokument.pdf libbabl-0.0-0_0.0.22-1build1_i386.deb minecraft.jar Backup-13.11.2010.tar.gz Faktura.pdf libfontconfig1_2.6.0-3_i386.deb PHP.pdf

No to zabieramy się za segregowanie.

Przenosimy backupy:mv /tmp/dobreprogramy/Backup-*.tar.gz /home/webnull/Backupy/

Dokumenty:mv /tmp/dobreprogramy/*.pdf /home/webnull/Dokumenty

Paczki instalacyjne Debiana:mv /tmp/dobreprogramy/*.deb /home/webnull/Paczki

A reszte plików wyrzucamy - nie potrzebne śmieci:rm /tmp/dobreprogramy/*

Podobną czynność można wykonać graficznie sortując pliki i katalogi według nazwy, lecz jak jest ich tysiące to menadżer plików grafika nie daje rady :-)

Tworzenie katalogów według nazw plików

Oczywiście oprócz cp i ls można budować bardziej złożone polecenia.

Mamy przykładowo pliki: Artysta1- Utwór Artysta2 - Utwór javascript:__doPostBack('ctl00$phC$lnkDelete','')

Możemy utworzyć automatycznie katalogi z nazwami Artystów takim poleceniem:

ls --format commas | cut -d"," -f1 | cut -d"-" -f1 |xargs -L1 mkdir

ls pokaże listę, cut wytnie przecinki i ustawi w kolumnie, cut teraz wytnie nazwy utworów, xargs utworzy katalogi z nazwami artystów przy pomocy mkdir.

Jeszcze możemy napisać polecenie kopiujące utwory do katalogów ale to zadanie pozostawiam Wam
abyście mogli Sami pokombinować ;-)

Teraz troszkę inaczej, a mianowicie robimy listę utworów muzycznych z naszego katalogu

Mamy porozrzucane pliki muzyczne i chcemy z nich zrobić listę utworów.

webnull@webnull-desktop:/tmp/dobreprogramy$ ls -l razem 0 -rw-r--r-- 1 webnull webnull 0 2010-11-14 14:10 Apocalyptica - Burn -rw-r--r-- 1 webnull webnull 0 2010-11-14 14:10 Apocalyptica - ION -rw-r--r-- 1 webnull webnull 0 2010-11-14 14:09 Drowning Pool - Bodies -rw-r--r-- 1 webnull webnull 0 2010-11-14 14:11 Lacuna Coil - Like it -rw-r--r-- 1 webnull webnull 0 2010-11-14 14:09 Deftones - My Own Summer (Shove it) -rw-r--r-- 1 webnull webnull 0 2010-11-14 14:08 Sabaton - Midway -rw-r--r-- 1 webnull webnull 0 2010-11-14 14:08 Sabaton - Uprising -rw-r--r-- 1 webnull webnull 0 2010-11-14 14:07 Serj Tankian - Empty Walls -rw-r--r-- 1 webnull webnull 0 2010-11-14 14:07 Serj Tankian - Feed us -rw-r--r-- 1 webnull webnull 0 2010-11-14 14:08 Serj Tankian - Unthinking majority -rw-r--r-- 1 webnull webnull 0 2010-11-14 14:10 The Trashmen - Surfin Bird

ls |grep "Apocalyptica" > lista-utworow-apocalyptica

I oto nasza lista:

cat lista-utworow-apocalyptica Apocalyptica - Burn Apocalyptica - ION

Jeżeli posiadamy numer utworu na początku nazwy pliku to możemy użyć sort -n aby posortować według kolejności numerycznej.

Nie widzę tu zastosowania ale jednak wspomnę, że można także sobie losowo posortować wynik używając sort -R (R oznacza "random" z angielskiego losowo)

[color=#38a5f1]Przykładowe zastosowanie siódme - automatyczne "naprawianie" serwerów

Jestem administratorem sieci VPS'ów, jednak jak wiadomo czasami zdarzają się awarie związane z serwerem głównym do którego niemam dostępu.

Gdy jest jakaś awaria na głównym serwerze i serwery sypią timeoutami, czy nie odpowiadają na pingi, port ssh nie odpowiada - to jest znak, że nic innego nie można zrobić jak zrestartować..

Tak więc wpadłem na pomysł aby serwery nawzajem się pingowały, i w razie problemów wysyłały prośbę o restart do któregoś z głównych serwerów.

Główny serwer po sprawdzeniu połączenia ze zgłoszonym serwerem oraz po sprawdzeniu kluczy identyfikacyjnych przypasowanych do danego adresu IP rozpoczyna restart nie odpowiadającego VPS'a logując się do panelu na hostingu i wciskając stop, start (restart).

Nie pytajcie o hosting, darmowy ;-)
I nie róbcie dyskusji jaki to hosting, ważne, że i na taki hosting można znaleźć jakiś kompromis - rozwiązanie.

http://img151.imageshack.us/img151/1405/uns.png

[color=#38a5f1]Przykładowe zastosowanie dziewiąte - zdalna kontrola

Poprzez SSH mamy dostęp do zdalnej maszyny tak jak byśmy stali zaraz przy niej.

Mamy dostęp do wszystkich plików, powłoki systemowej, wszytkich programów, sesji otwartych np. w screen.

Możliwe jest uruchomienie graficznej aplikacji na zdalnym serwerze a wyświetlenie jej okna na komputerze z którego podłączyliśmy się do serwera. Taka opcja nazywa się "X Forwarding", jest ona dostępna w serwerze SSH.

Zbiorowa administracja

Możliwe jest wygenerowanie kluczy autoryzacyjnych dzięki którym można wykluczyć potrzebę wpisywania hasła - jest to bardzo przydatne, ale troszkę mniej bezpieczne.

Gdybyśmy posługiwali kluczami RSA zamiast haseł, można by było w teori wykonać pętlę z instrukcjami dla naszych komputerów.

i = 1 while [ i < 51 ] do i=$((i+1)) ssh "user@192.168.1.$i" -p 22 -C /system-zarzadzania/wykonaj-1 done

Kopiowanie plików

Możemy także kopiować pliki poprzez scp pomiędzy dwoma komputerami posiadającymi klienta i serwer OpenSSH.

scp -P 22 moj-plik-lokalny.pdf user@192.168.1.30:/var/www/localhost/moj-plik.pdf

Nic trudnego kopiujemy moj-plik-lokalny.pdf który jest umieszczony w folderze bieżącym (pwd) na komputerze lokalnym następnie kopiujemy na maszynę 192.168.1.30 jako użytkownik "user", plik zostaje zapisany w /var/www/localhost/moj-plik.pdf

Montowanie zdalnego systemu plików

Możemy zamontować zdalny system plików poprzez konsolę tak aby móc przeglądać i modyfikować pliki znajdujące się na innym komputerze jak Swoje własne (aplikacjom lokalnym to nie robi różnicy, mogą pracować na "podsuniętych" plikach i katalogach)

sshfs user@192.168.1.50:/zdalny-katalog /mnt/katalog/lokalny -p 22

Zamontuje nam katalog "/zdalny-katalog" z maszyny 192.168.1.50 z uprawnieniami użytkownika "user" i wyświetli zawartość w naszym lokalnym katalogu /mnt/katalog/lokalny. Wszystko odbędzie się poprzez szyfrowane połączenie SSH na porcie 22.

Osobiście preferuję montowanie zdalnych systemów plików poprzez konsolę, zajmuje Mi to dużo mniej, niż bawienie się w klikanie okienek.

Czytaj dalej... 

Komentarze

0 nowych
nintyfan   11 #1 14.11.2010 17:41

Z kopiowaniem plików przez ssh i montowaniem, to całkiem niezły pomysł. Sam zawsze używałem do tego celu Dolphina i ftp(a lokalnie fish).

XeonBloomfield   5 #2 14.11.2010 17:47

Dla tego naprawdę wielki pozytyw.

Ciekawe rozwiązanie z tym pingowaniem się na wzajem VPS`ów. Dodatkowo podoba mi się, że mowa o wirtualnych serwerach sam mam kilka tego typu serwerów i zajmuje się nimi.

Sam używam pingowania w mojej aplikacji (napisana w C++) do sprawdzania czy działa połączenie internetowe i uruchamianiu odpowiednich skryptów systemowych w przypadku działania lub nie działania.

flaszer   10 #3 14.11.2010 22:28

Idea montowania przez SSH przypadła mi do gustu, będę musiał się tym pobawić ;) To trzecia odsłona traktująca o konsoli i jej zastosowaniu - przyznać muszę, że jak dotąd najlepsza ;) Co do segregowania plików - pod Windowsem robi się to niemal identycznie na zasadzie plików wsadowych lub w "terminalu'.

  #4 15.11.2010 01:48

Nie lepiej skorzystać z narzędzi takich jak WinSCP zamiast bawić się poleceniem scp? Oczywiście może się zdarzyć, że akurat pod konsolą będzie łatwiej skopiować pliki danego rodzaju (png|jp?g) czy określonej dacie, ale takich rzeczy nie kopiuje się raczej na co dzień.
Jeśli chodzi o montowanie zdalnych zasobów, to pod Windows możliwe jest bardzo łatwe w użyciu mapowanie udziału sieciowego (Samba), FTP czy HTTP.

  #5 15.11.2010 08:05

@flaszer
Świetnie, że pod windowsem też można.

webnull   9 #6 15.11.2010 16:00

@Anonim
Ani Samba ani FTP ani HTTP wydaje Mi się, że nie jest z obsługą szyfrowania transmisji danych.

Podkreślam, wydaje Mi się, odnośnie Samby nie mam pewności, wiem, że hasła koduje ale samo połączenie nie mam pewności.

  #7 15.11.2010 17:18

@Anonim
co rozumiesz pod pojeciem montowaniem za pomocą http ?
Bo nie bardzo rozumiem czy chcesz skrot sobie na pulpicie strzelić?
Poza tym nie wymagaj ode mnie uczenia się obslugi myszką ;)
@webnull
i ftp posiada secure ftp (sftp) i http posiada secure httpd(https).

webnull   9 #8 15.11.2010 18:20

Wydaje Mi się, że niema czegoś takiego jak "HTTPFS", to by było troszkę niemożliwe - możliwy byłby tylko odczyt danych, bez możliwości zmian w dodatku potrzeba by było specjalnego serwera HTTP lub skryptu PHP który by generował stronę w ten sposób aby zdalna maszyna mogła poprawnie przeparsować kod HTML.

webnull   9 #9 15.11.2010 18:21

FTP ma jeszcze można powiedzieć "dwie wersje" z szyfrowaniem - SFTP i FTPS.

SFTP inaczej SSHFS.

tomek154   1 #10 15.11.2010 22:33

@webnull
ogólnie fajne artykuły, zawsze dają trochę pojęcia zwykłym użytkownikom o co w tym chodzi
a co do Twojego "HTTPFS" istnieje coś takiego - WebDAV(i @anonim - tak, można zamontować to pod windows, pod linuksem zresztą też)

moje trzy grosze w kwestii bezpieczeństwa autoryzacji SSH kluczem - sama autoryzacja kluczem będzie bezpieczniejsza jeśli wyłączymy logowanie hasłem przez SSH - klucz trudniej złamać przy pomocy brute-force (chociaż przed tym należy zabezpieczyć serwer inaczej)
druga strona medalu jest taka, że klucz trzeba gdzieś trzymać, jeśli ktoś ukradnie nam klucz i nie zauważymy tego faktu - mamy problem
na szczęście jest jeszcze trzecia strona medalu - klucz można zabezpieczyć hasłem przed niepowołanym użyciem

webnull   9 #11 15.11.2010 22:55

"druga strona medalu jest taka, że klucz trzeba gdzieś trzymać, jeśli ktoś ukradnie nam klucz i nie zauważymy tego faktu - mamy problem"

O to Mi chodzi, na desktopie raczej trudno się zabezpieczyć przed taką sytuacją.

tomek154   1 #12 15.11.2010 23:10

patrz trzecia strona medalu

webnull   9 #13 16.11.2010 14:37

@tomek154
Nie rozumiem, bo używa się kluczy RSA aby nie wpisywać hasła, to po co chronić je hasłem?

Wybacz Moją niewiedzę na ten temat.

  #14 16.11.2010 16:22

@webnull
Słyszałeś o IPSec? Jest obsługiwany nawet przez Windows 2000.

@hello_world
"co rozumiesz pod pojeciem montowaniem za pomocą http ?
Bo nie bardzo rozumiem czy chcesz skrot sobie na pulpicie strzelić?"
Możesz uzyskać dostęp do:
- shared folder (\\server\share)
- Web share (http://webserver/share)
- FTP site (ftp://ftp.microsoft.com)
Istnieje też oprogramowanie firm trzecich, np. NetDrive czy FTP Drive.

"Poza tym nie wymagaj ode mnie uczenia się obslugi myszką ;)"
Mapowanie zasobów możliwe jest z linii poleceń:
net use s: \\server\share

tomek154   1 #15 16.11.2010 17:38

@webnull,
to nie jest takie bzdurne jak by się mogło wydawać :D

Kluczy można używać nie tylko po to, żeby nie wpisywać hasła.

Jeśli na serwerze masz konto zabezpieczone hasłem - cały Internet może dobijać się do serwera i próbować odgadnąć twoje hasło metodą brute-force.
Z kluczem RSA będzie znaaacznie trudniej. Dodatkowo, nawet jeśli dobry kolega, który ma dostęp do Twojego komputera ukradnie Ci klucz zabezpieczony hasłem - to będzie skazany sam na siebie w szukaniu tego hasła.
Mam nadzieję, że łapiesz o co mi chodzi ;-)

Inna sprawa, że serwer powinien być zabezpieczony na ataki brute-force oprogramowaniem typu fail2ban.

webnull   9 #16 16.11.2010 18:02

@tomek154
Oczywiście, rozumiem o co chodzi.

Ja jednak używam denyhosts i myślę, że to wystarczy aby ochronić się przed atakami bruteforce.

Oczywiście muszę przyznać, że takie klucze to świetna sprawa...

  #17 16.11.2010 19:25

@Anonim (niezalogowany) | 15.11.2010 1:48 :
Proszę wypróbować Nautilus.

  #18 16.11.2010 19:27

@webnull | 15.11.2010 18:20 :
Protokół HTTP chyba pozwala na jakieś podstawowe operacje plikowe. Powinienem zajrzeć do specyfikacji.

  #19 16.11.2010 19:29

@tomek154 | 16.11.2010 17:38 :
W sieci korporacyjnej można stworzyć uwietrzylnianie na dosyć niskim poziomie warstwy sieciowej.

webnull   9 #20 04.01.2011 15:34

"Protokół HTTP chyba pozwala na jakieś podstawowe operacje plikowe. Powinienem zajrzeć do specyfikacji."

Jednak za wygodny to on nie jest do montowania i używania.