Praca w systemie Linux
Praca na superkomputerach prowadzi się najczęściej w trybie wiersza poleceń, za pomocą tzw. programu powłoki `bash`. Sama powłoka jak i środowisko Linuksa dostarcza zbioru komend służących do wykonania podstawowych czynności w systemie operacyjnym. W tej sekcji zostaną krótko zaprezentowane najczęściej używane komendy i podstawowe narzędzia pozwalające rozpocząć pracę z takim środowiskiem.
Pliki katalogi, systemy plików
Przeszukiwanie i przetwarzanie plików
Edytory tekstu
Edytor tekstowy joe
Edytor joe jest zainstalowany na wszystkich komputerach CI TASK. Większość podstawowych funkcji wywołuje się przytrzymujące klawisze Contrl oraz K (^K) i wciskając dodatkowa literę
Niektóre operacje wymagają potwierdzenia lub dodatkowych informacj np. nazwy pliku - komunikat pojawia się w dolnym wierszu ekranu
Podstawowe polecenia:
- Wyjście z zapisem do pliku: ^K X
- Wyjście bez zapisu : ^K C
- Zapis do pliku: ^K D
- Początek bloku tekstu: ^K B
- Koniec bloku tekstu: ^K K
- Kopiowanie zaznaczonego bloku: ^K C
- Okienko pomocy: ^K H
- Usunięcie bieżącego wiersza: ^Y
Edytor tekstowy: vi
Edytor vi znajduje się na wszystkich komputerach CI TASK. Pozwala on wprowadzać zmiany do plików wyświetlanych na ekranie. Wywołanie edytora następuje poprzez: vi [opcje] [nazwa_pliku] . Jeśli plik istnieje, to program wyświetli jego zawartość na ekranie. Jeśli nie istnieje, to zostanie utworzony podczas pierwszej operacji zapisu. Gdy, uruchamiając edytor, nie podano nazwy pliku, to można ją podać podczas zapisu tekstu. Podstawowe opcje:
- r plik- odtwarza plik po awarii edytora lub systemu
- l - tryb LISP (używany przy programowaniu w języku LISP)
- w
n - w oknie ma być wyświetlanych n linii
- R - otwarcie pliku w trybie odczytu
Edytor vi ma dwa tryby: - tesktowy - naciśnięcie klawisza przyjmowane jest jako wprowadzenie znaku, który pojawia się na ekranie, - poleceń - naciśnięcie klawisza traktowane jest jako polecenie (bez potrzeby potwierdzania go klawiszem ENTER). Po uruchomieniu vi znajduje się w trybie poleceń. Przejście z trybu tekstowego do trybu poleceń następuje poprzez wciśnięcie klawisza ESC. Zmiana trybu na tekstowy następuje po wciśnięciu np. klawisza a, i, I, o. Najważniejsze polecenia:
- wstawianie tekstu
- a - za kursorem
- A - na końcu linii
- i - przed kursorem
- I - na początku linii
- R - nadpisywanie tekstu
- tworzeni nowej linii
- o - poniżej kursora
- O - nad kursorem
- kasowanie
- d - wskazanego tekstu
- D - do końca linii
- x - znaku pod kursorem
- J - łączenie linii
- u - cofnięcie ostatniej zmiany
- m - zaznaczenie linii tekstu
- przeniesienie kursora
- 0 - na początek linii
- $ - na koniec linii
- przewijanie tekstu
- ^F - o jeden ekran w przód
- ^B - o jeden ekran w tył
- G - do wskazanej linii
- poszukiwanie wzorca
- / wzorzec - w przód
- ? wzorzec - w tył
- zapisanie pliku
- :w - bez wyjścia z programu
- ZZ - z wyjściem z programu
- wyjście z edytora
- x - z zapisaniem pliku
- :q! - bez zapisu
Procesy
Proces w tle: &
Wywołanie: nazwa_programu & - umożliwia wykonanie programu nazwa_programu w tle, czyli bez kontroli użytkownika, który tylko uruchamia proces, po czym może robić coś innego. Po uruchomieniu procesu system wyświetla liczbę, która stanowi numer identyfikacyjny (PID), a następnie wyświetla znak zachęty powłoki. Użytkownik ma mozliwość zabicia procesu wykonywanego w tle poleceniem: kill PID.
kill
kill - żądanie zakończenia działania procesu
Wywołanie: kill [-sygnał] PID
gdzie:
- sygnał:
- 1 - zatrzymuje proces, jeśli użytkownik zerwał połączenie
- 2 - tak jak [CTRL+C];, [BREAK]
- 3 - wyjście ze zrzutem pamięci
- 9 - zabicie procesu
- PID - numer procesu (można go uzyskać poleceniem ps)
Przykłady wykorzystania polecenia kill
- kill xxx
kończy proces o numerze xxx , numer procesu, który ma być zakończony, można uzyskać poleceniem ps
- kill -9 xxx
powoduje bezwzględne zakończenie procesu o numerze xxx
- kill -9 -1
zabija wszystkie procesy uruchomione przez użytkownika i wylogowuje go z systemu
Kierowanie strumieni <
Wywołanie: nazwa_programu < dane - powoduje podanie na wejście programu nazwa_programu zawartości pliku dane .
Kierowanie strumieni >
Wywołanie: nazwa_programu > wynik.txt - powoduje zapisanie wyniku programu nazwa_programu do pliku dane . Wynik programu nie zostaje w takim przypadku wyświetlony na ekran.
nohup
nohup - pozwala działać procesom po skończeniu pracy przez użytkownika
Przykłady wykorzystania polecenia nohup
- nohup test &
- powoduje uruchomienie skryptu test w tle, przy czym skrypt ten będzie działał nawet po zakończeniu pracy pzez użytkownika
ps
ps - wyświetla informacje o stanie procesów
Wywołanie: ps [-opcje]
Opcje:
- e - wyświetla informację o wszystkich procesach, a nie tylko o tych, które zostały uruchomione na danym terminalu
- u nazwa_użytkownika - wyświetla procesy należące do danego użytkownika
- f - tworzy pełny raport
Przykłady wykorzystania polecenia ps
- ps -u jankowalski
wyświetli listę wszystkich procesów uruchomionych na komputerze przez użytkownika mającego login jankowalski
- ps
wyświetli procesy uruchomione z tej powłoki przez użytkownika, który wydał polecenie
Przetwarzanie plików
awk
awk - służy do przeszukiwania plików w poszukiwaniu wzorca lub zależności oraz przetwarza odpowiadające im linie; może być używane do obróbki pól tekstowych i danych liczbowych. Wywołanie: awk [-Fx] program [parametry] [pliki] - gdzie program jest zbiorem instrukcji (w postaci: wzorzec {akcja})
Opcje: Fx - dzieli plik na rekordy i pola, gdzie x jest separatorem pól
cat
cat - umożliwia wyświetlanie i łączenie plików Wywołanie: cat [-suvte] [pliki] Opcje:
- e - tylko z opcją -v; wyświetla znak $ na końcu linii
- s - nie wyświetla informacji o nie istniejących plikach
- t - tylko z opcją -v; wyświetla znak tabulacji jako ^I
- u - powoduje, że wyjście nie jest buforowane
- v - pokazuje znaki niedrukowalne
Przykłady wykorzystania polecenia cat
- cat test.c
plik test.c jest wyświetlany na ekranie, przy czym zawartość ekranu jest przewijana aż do końca pliku
- cat test1 test2 > wynik
wyjście polecenia cat zostało przekierowane do pliku wynik , więc polecenie to utworzy plik wynik zawierający pliki test1 i test2
cmp
cmp - porównywanie zawartości dwóch plików; domyślnie wyświetla tyko pierwszą znalezioną różnicę. Wywołanie: cmp [-l -s] plik1 plik2 Opcje:
- l - wypisuje numer i wartości różniących się bajtów
- s - nie informuje o różnicach
Kod wyjściowy polecenia cmp:
- 0 - pliki są identyczne
- 1 - pliki różnią się
- 2 - brak pliku lub brak praw dostępu do pliku
Przykłady wykorzystania polecenia cmp
- cmp test1 test2
- porównuje pliki test1 i test2 i wyświetla różnice między nimi (tzn. linię i numer różniących się znaków)
- cmp -l test1 test2
- wyświetla wszystkie różnice między plikami
cut
cut - służy do wycinania kolumn lub pól z pliku Wywołanie: cut -clista [pliki]cut -flista [-dznak] [-s] [pliki] Opcje:
- -clista - pozostawia wyszczególnione w liście kolumny
- -flista - pozostawia wyszczególnione w liście pola
- -dznak - znak jest separatorem pól
- -s - pomija linie bez separatora pól
Przykłady wykorzystania polecenia cut
- cut -f1,5 -d' ' test1
wyświetla pola 1 i 5 z pliku test1 , przy czym przyjmuje się, że pola oddzielone są spacją ( -d' ' )
- cut -c5-10 test1
wyświetla kolumny od 5 do 10 z pliku test1
diff
diff - porównuje dwa pliki i pokazuje różnice między nimi Wywołanie: diff [-befh] plik1 plik2 Opcje:
- b - pomijanie znaków spacji i tabulatorów
- e - tworzy zestaw instrukcji dla edytora ed, umożliwiający odtworzenie pliku plik2
- h - niepełna informacja
Przykłady wykorzystania polecenia diff
- diff test1 test2
wyświetla różniące się linie w plikach test1 i test2 z bieżącego katalogu, przy czym linie z pliku test1 poprzedzane są znakiem ">" , zaś linie z pliku test2 poprzedzane są znakiem ">"
find
find - wyszukiwanie podanych plików w katalogach (wraz z podkatalogami) Wywołanie: find katalogi pliki - przeszukuje podane katalogi, aby znaleźć wymienione pliki, przy czym pliki może to być nazwa pliku, wzorzec nazwy, wielkość pliku, data ostatniej modyfikacji, itd.
grep
grep - wyszukuje w plikach linie z podanym wzorcem i wyświetla je Wywołanie: grep [-vclnbs] wzorzec [pliki] Opcje:
- v - wyświetlanie linii nie zawierających wzorca
- c - wyświetlanie liczby zmienionych linii dla każdego pliku oddzielnie
- l - wyświetlanie nazw plików, w których znaleziono line odpowiadające wzorcowi
- n - poprzedza linię jej numerem
- s - nie wyświetla komunikatów o błędach przy dostępie do plików
- wzorzec - jedno słowo lub ciąg znaków
Przykłady wykorzystania polecenia grep
- grep 'pies' test
wypisuje wszystkie linie pliku test , które zawierają wyraz pies
- grep dom *
przeszukuje pliki znajdujące się w bieżącym katalogu w poszukiwaniu słowa dom i wyświetla znalezione linie wraz z nazwami plików
join
join - łączy odpowiadające sobie linie z dwóch plików. Domyślnie polem łączącym jest pierwsze słowo w każdej linii Wywołanie: join plik1 plik2 Przykłady wykorzystania polecenia join
- Polecenie
join test1 test2 łączy odpowiadające sobie linie z podanych plików, tzn. łączone są te kolejne linie, w których pierwsze słowo jest takie samo. Powtarzające się słowo jest wyświetlane tylko raz.
sed
sed - wykonuje zestaw poleceń edycyjnych na zawartości pliku Wywołanie: sed [-n] [-e skrypt] [-f plik_skryptu] [pliki] Opcje:
- n - nie wyświetla przetworzonych linii
- e skrypt - zestaw poleceń, które mają zostać wykonane
- f plik_skryptu - polecenia edycyjne są zawarte w plik_skryptu
split
split - dzieli plik na mniejsze części Wywołanie: split [-n] [plik[przedrostek]] Opcje:
- n - dzieli plik na części po n linii ; domyślnie n=100
- przedrostek - pierwszy plik wyjściowy jest nazywany przedrostekaa, następny przedrostekab,
itd; domyślnie przedrostek=x Przykłady wykorzystania polecenia split
- Polecenie
split -10 test ts podzieli plik test na części po 10 linii, przy czym pierwsze 10 linii jest kopiowane do pliku tsaa , następne 10 do pliku tsab , itd.
- split test
podzieli plik na części po 100 linii, przy czym kolejne części będą zapisywane do plików aa, ab, ac , itd.
tail
tail - wyświetla końcowe linie pliku Wywołanie: tail [+/-liczba[lc]] [nazwa_pliku] Opcje:
- +liczba - wyświetla podaną liczbę linii od końca pliku
- -liczba - wyświetla linie, zaczynając od linii o podanym numerze do końca pliku
- l - liczba oznacza linie
- c - liczba oznacza znaki
Przykład wykorzystania polecenia tail
- tail nazwa_pliku
- wyświetla ostatnie 10 linii pliku nazwa_pliku
- tail +100 nazwa_pliku
- wyświetla ostatnie 100 linii pliku nazwa_pliku
paste
paste - pozwala na łączenie kolejnych linii jednego pliku lub odpowiadających sobie linii z różnych plików. Wywołanie:
- paste [-dznaki] pliki
- łączy odpowiadające sobie linie z podanych plików w jedną i wysyła ją na standardowe wyjście, przy czym między łączone linie wstawiane są kolejne znaki
- paste -s [-dznaki] pliki
- każda linia pliku jest dodawana do poprzedniej
less
less - wyświetla zawartość pliku Przykłady wykorzystania polecenia less
- less test.c
powoduje wyświetlenie zawartości pliku test.c , przy czym wyświetlany jest jeden ekran, a wyświetlenie kolejnego ekranu następuje po wciśnięciu spacji
Kompresja i pakowanie danych
gzip
gzip - służy do kompresji plików; w wyniku powstają pliki nazwa_pliku.gz
Wywołanie: gzip [-d|-c] pliki
Opcje:
- -d - dekompresja pliku skopresowanego wcześniej
- -c - czytanie lub pisanie danych na standardowe wyjście zamias do pliku
Przykłady wykorzystania polecenia gzip:
- Wynikiem polecenia
gzip test
jest plik test.gz, któy zawiera spakowany plik test
- Aby rozpakować plik test.gz:
gzip -d test.gz
pigz
pigz - gzip korzystający jednocześnie z wielu procesorów
Opcje:
- takie jak w gzip
- -p - liczba wątków kompresji (domyślnie 8)
bzip2
bzip2 - działa podobnie jak gzip z tym, że w większości przypadków daje większy stopień kompresji. Ceną za to jest wolniejsze działanie programu, szczególnie w przypadku kompresji.
pbzip2
pbzip2 - równoległa - działająca jednocześnie na wielu procesorach wersja bzip2'a
tar
tar - pozwala łączyć pliki w archiwum
Wywołanie: tar [-xtrcvof] [nazwa_archiwum] [pliki]
Opcje:
- x - odczytuje podane pliki z nazwa_archiwum
- c - tworzy nowe nazwa_archiwum; usuwając to, co było w nazwa_archiwum
- v - wyświetlanie nazw dołączanych plików
- o - pliki odczytywane z nazwa_archiwum otrzymują nazwę właściciela i grupy, jaką ma osoba je odczytująca
- f - używa archiwum o nazwie nazwa_archiwum
- t - wyświetla nazwy plików, króre znajdują się w nazwa_archiwum
- r - dodaje pliki do nazwa_archiwum
- nazwa_archiwum - nazwa pliku, do którego mają zostać starowane pliki
- pliki - pliki, które mają zostać włączone do archiwum
Przykłady wykorzystania polecenia tar
- Polecenie
tar -cvf archiwum.tar *.c
wszystkie pliki z bieżącego katalogu z rozszerzeniem .c umieści w pliku archiwum.tar (plik ten zostanie stworzony również w bieżącym katalogu)
- Komenda
tar -xvf /user/jankowalski/pliki.tar
rozpakowuje pliki znajdujące się w pliki.tar do bieżącego katalogu
- Polecenie
tar -tvf archiwum.tar
wyświetla nazwy plików znajdujących się w archiwum.tar
- W systemie Linux (oraz niekiedy w innych) dostępna jest wersj GNU programu tar, która umożliwia jednoczesną kompresję powstającego archiwum za pomoca programu gzip lub bzip2. Funkcję tę włącza się za pomocą opcji -z:
tar -zcvf archiwum_skompresowane.tar.gz pliki
Tak utworzone archiwum mozna rozpakować poleceniem:
tar -zxvf archiwum_skompresowane.tar.gz
Aby użyć do kompresji bzip2 należy użyć opcji -j:
tar -jcvf archiwum_skompresowane.tar.bz2 pliki
- Jeśli tar nie wspiera opcji kompresji, moża użyć kombinacji poleceń tar i gzip oraz potoku:
tar -cvf - pliki | gzip -c > archiwum_skompresowane.tar.gz
Dekomresję wykonujemy analogicznie:
gzip -cd archiwum_skompresowane.tar.gz | tar -xvf -
- tar + pigz + ssh
tar -cvf - pliki | pigz | ssh login@komputer.docelowy.net "cat > archiwum_skompresowane.tar.gz"
lub
tar -cvf login@komputer.docelowy.net:/jakis/katalog/archiwum_skompresowane.tar.gz pliki \
--use-compress-program /bin/pigz --rsh-command /usr/bin/ssh
Inne polecenia
exit
exit - zakończenie działania aktualnego procesu; napisanie 'exit' po znaku zachęty powoduje wylogowanie użytkownika z systemu.
id
id - wyświetla numer użytkownika i numer grupy
Wywołanie: id
Przykłady wykorzystania polecenia
- id - wyświetla numer użytkownika uid i numer grupy gid
ssh
ssh (Secure Shell) - bezpieczny sposób logowania się na zdalny (odległy) komputer
Wywołanie: ssh [-l user] host
Opcje:
- -l user - login użytkownika na zdalnym komputerze, konieczne jest podawanie go w przypadku, gdy jest on inny niż ten, z którego następuje logowanie
- host - nazwa komputera, na który ma nastąpić logowanie
passwd
passwd - tworzenie lub zmiana istniejącego hasła
Wywołanie: passwd
Przykłady wykorzystania polecenia passwd
- Wpisanie polecenia passwd przez użytkownika jankowalski powoduje wyświetlenie napisu
Changing password for jankowalski
po czym pojawia się prośba o wpisanie stergo hasła:
Old password:
po pojawieniu się napisu
New password
należy wpisać nowe hasło, po czym wpisać je ponownie
Retype new password:
jeśli powtórnie wpisane hasło było takie same, jak za pierwszym razem, to hasło zostaje zmienione. W przeciwnym razie ważne pozostaje stare hasło i wyświetlany jest komunikat, że hasło nie zostało zmienione.