Linux

Praca w systemie Linux

Praca na superkomputerach prowadzi się najczęściej w trybie wiersza poleceń, za pomocą tzw. programu powłoki `bash`. Sama powłoka jak i środowisko Linuksa dostarcza zbioru komend służących do wykonania podstawowych czynności w systemie operacyjnym. W tej sekcji zostaną krótko zaprezentowane najczęściej używane komendy i podstawowe narzędzia pozwalające rozpocząć pracę z takim środowiskiem.

Pliki katalogi, systemy plików

Edytory

Procesy

Przeszukiwanie i przetwarzanie plików

Archiwizacja i kompresja

Edytory tekstu

Edytor tekstowy joe

Edytor joe jest zainstalowany na wszystkich komputerach CI TASK. Większość podstawowych funkcji wywołuje się przytrzymujące klawisze Contrl oraz K (^K) i wciskając dodatkowa literę

Niektóre operacje wymagają potwierdzenia lub dodatkowych informacj np. nazwy pliku - komunikat pojawia się w dolnym wierszu ekranu

Podstawowe polecenia:

  • Wyjście z zapisem do pliku: ^K X
  • Wyjście bez zapisu : ^K C
  • Zapis do pliku: ^K D
  • Początek bloku tekstu: ^K B
  • Koniec bloku tekstu: ^K K
  • Kopiowanie zaznaczonego bloku: ^K C
  • Okienko pomocy: ^K H
  • Usunięcie bieżącego wiersza: ^Y

Edytor tekstowy: vi

Edytor vi znajduje się na wszystkich komputerach CI TASK. Pozwala on wprowadzać zmiany do plików wyświetlanych na ekranie. Wywołanie edytora następuje poprzez: vi [opcje] [nazwa_pliku] . Jeśli plik istnieje, to program wyświetli jego zawartość na ekranie. Jeśli nie istnieje, to zostanie utworzony podczas pierwszej operacji zapisu. Gdy, uruchamiając edytor, nie podano nazwy pliku, to można ją podać podczas zapisu tekstu. Podstawowe opcje:

  • r plik- odtwarza plik po awarii edytora lub systemu
  • l - tryb LISP (używany przy programowaniu w języku LISP)
  • w

n - w oknie ma być wyświetlanych n linii

  • R - otwarcie pliku w trybie odczytu

Edytor vi ma dwa tryby: - tesktowy - naciśnięcie klawisza przyjmowane jest jako wprowadzenie znaku, który pojawia się na ekranie, - poleceń - naciśnięcie klawisza traktowane jest jako polecenie (bez potrzeby potwierdzania go klawiszem ENTER). Po uruchomieniu vi znajduje się w trybie poleceń. Przejście z trybu tekstowego do trybu poleceń następuje poprzez wciśnięcie klawisza ESC. Zmiana trybu na tekstowy następuje po wciśnięciu np. klawisza a, i, I, o. Najważniejsze polecenia:

  • wstawianie tekstu
  • a - za kursorem
  • A - na końcu linii
  • i - przed kursorem
  • I - na początku linii
  • R - nadpisywanie tekstu
  • tworzeni nowej linii
  • o - poniżej kursora
  • O - nad kursorem
  • kasowanie
  • d - wskazanego tekstu
  • D - do końca linii
  • x - znaku pod kursorem
  • J - łączenie linii
  • u - cofnięcie ostatniej zmiany
  • m - zaznaczenie linii tekstu
  • przeniesienie kursora
  • 0 - na początek linii
  • $ - na koniec linii
  • przewijanie tekstu
  • ^F - o jeden ekran w przód
  • ^B - o jeden ekran w tył
  • G - do wskazanej linii
  • poszukiwanie wzorca
  • / wzorzec - w przód
  •  ? wzorzec - w tył
  • zapisanie pliku
  •  :w - bez wyjścia z programu
  • ZZ - z wyjściem z programu
  • wyjście z edytora
  • x - z zapisaniem pliku
  •  :q! - bez zapisu

Procesy

 Proces w tle: &

Wywołanie: nazwa_programu & - umożliwia wykonanie programu nazwa_programu w tle, czyli bez kontroli użytkownika, który tylko uruchamia proces, po czym może robić coś innego. Po uruchomieniu procesu system wyświetla liczbę, która stanowi numer identyfikacyjny (PID), a następnie wyświetla znak zachęty powłoki. Użytkownik ma mozliwość zabicia procesu wykonywanego w tle poleceniem: kill PID.

kill

kill - żądanie zakończenia działania procesu

Wywołanie: kill [-sygnał] PID

gdzie:

  • sygnał:
  • 1 - zatrzymuje proces, jeśli użytkownik zerwał połączenie
  • 2 - tak jak [CTRL+C];, [BREAK]
  • 3 - wyjście ze zrzutem pamięci
  • 9 - zabicie procesu
  • PID - numer procesu (można go uzyskać poleceniem ps)

Przykłady wykorzystania polecenia kill

  • kill xxx

kończy proces o numerze xxx , numer procesu, który ma być zakończony, można uzyskać poleceniem ps

  • kill -9 xxx

powoduje bezwzględne zakończenie procesu o numerze xxx

  • kill -9 -1

zabija wszystkie procesy uruchomione przez użytkownika i wylogowuje go z systemu

Kierowanie strumieni <

Wywołanie: nazwa_programu < dane - powoduje podanie na wejście programu nazwa_programu zawartości pliku dane .

Kierowanie strumieni >

Wywołanie: nazwa_programu > wynik.txt - powoduje zapisanie wyniku programu nazwa_programu do pliku dane . Wynik programu nie zostaje w takim przypadku wyświetlony na ekran.

nohup

nohup - pozwala działać procesom po skończeniu pracy przez użytkownika

Przykłady wykorzystania polecenia nohup

  • nohup test &

- powoduje uruchomienie skryptu test w tle, przy czym skrypt ten będzie działał nawet po zakończeniu pracy pzez użytkownika

ps

ps - wyświetla informacje o stanie procesów

Wywołanie: ps [-opcje]

Opcje:

  • e - wyświetla informację o wszystkich procesach, a nie tylko o tych, które zostały uruchomione na danym terminalu
  • u nazwa_użytkownika - wyświetla procesy należące do danego użytkownika
  • f - tworzy pełny raport

Przykłady wykorzystania polecenia ps

  • ps -u jankowalski

wyświetli listę wszystkich procesów uruchomionych na komputerze przez użytkownika mającego login jankowalski

  • ps

wyświetli procesy uruchomione z tej powłoki przez użytkownika, który wydał polecenie

Przetwarzanie plików

awk

awk - służy do przeszukiwania plików w poszukiwaniu wzorca lub zależności oraz przetwarza odpowiadające im linie; może być używane do obróbki pól tekstowych i danych liczbowych. Wywołanie: awk [-Fx] program [parametry] [pliki] - gdzie program jest zbiorem instrukcji (w postaci: wzorzec {akcja})

Opcje: Fx - dzieli plik na rekordy i pola, gdzie x jest separatorem pól

cat

cat - umożliwia wyświetlanie i łączenie plików Wywołanie: cat [-suvte] [pliki] Opcje:

  • e - tylko z opcją -v; wyświetla znak $ na końcu linii
  • s - nie wyświetla informacji o nie istniejących plikach
  • t - tylko z opcją -v; wyświetla znak tabulacji jako ^I
  • u - powoduje, że wyjście nie jest buforowane
  • v - pokazuje znaki niedrukowalne

Przykłady wykorzystania polecenia cat

  • cat test.c

plik test.c jest wyświetlany na ekranie, przy czym zawartość ekranu jest przewijana aż do końca pliku

  • cat test1 test2 > wynik

wyjście polecenia cat zostało przekierowane do pliku wynik , więc polecenie to utworzy plik wynik zawierający pliki test1 i test2

 

cmp

cmp - porównywanie zawartości dwóch plików; domyślnie wyświetla tyko pierwszą znalezioną różnicę. Wywołanie: cmp [-l -s] plik1 plik2 Opcje:

  • l - wypisuje numer i wartości różniących się bajtów
  • s - nie informuje o różnicach

Kod wyjściowy polecenia cmp:

  • 0 - pliki są identyczne
  • 1 - pliki różnią się
  • 2 - brak pliku lub brak praw dostępu do pliku

Przykłady wykorzystania polecenia cmp

  • cmp test1 test2

- porównuje pliki test1 i test2 i wyświetla różnice między nimi (tzn. linię i numer różniących się znaków)

  • cmp -l test1 test2

- wyświetla wszystkie różnice między plikami

cut

cut - służy do wycinania kolumn lub pól z pliku Wywołanie: cut -clista [pliki]cut -flista [-dznak] [-s] [pliki] Opcje:

  • -clista - pozostawia wyszczególnione w liście kolumny
  • -flista - pozostawia wyszczególnione w liście pola
  • -dznak - znak jest separatorem pól
  • -s - pomija linie bez separatora pól

Przykłady wykorzystania polecenia cut

  • cut -f1,5 -d' ' test1

wyświetla pola 1 i 5 z pliku test1 , przy czym przyjmuje się, że pola oddzielone są spacją ( -d' ' )

  • cut -c5-10 test1

wyświetla kolumny od 5 do 10 z pliku test1

 

diff

diff - porównuje dwa pliki i pokazuje różnice między nimi Wywołanie: diff [-befh] plik1 plik2 Opcje:

  • b - pomijanie znaków spacji i tabulatorów
  • e - tworzy zestaw instrukcji dla edytora ed, umożliwiający odtworzenie pliku plik2
  • h - niepełna informacja

Przykłady wykorzystania polecenia diff

  • diff test1 test2

wyświetla różniące się linie w plikach test1 i test2 z bieżącego katalogu, przy czym linie z pliku test1 poprzedzane są znakiem ">" , zaś linie z pliku test2 poprzedzane są znakiem ">"

 

find

find - wyszukiwanie podanych plików w katalogach (wraz z podkatalogami) Wywołanie: find katalogi pliki - przeszukuje podane katalogi, aby znaleźć wymienione pliki, przy czym pliki może to być nazwa pliku, wzorzec nazwy, wielkość pliku, data ostatniej modyfikacji, itd.

 

grep

grep - wyszukuje w plikach linie z podanym wzorcem i wyświetla je Wywołanie: grep [-vclnbs] wzorzec [pliki] Opcje:

  • v - wyświetlanie linii nie zawierających wzorca
  • c - wyświetlanie liczby zmienionych linii dla każdego pliku oddzielnie
  • l - wyświetlanie nazw plików, w których znaleziono line odpowiadające wzorcowi
  • n - poprzedza linię jej numerem
  • s - nie wyświetla komunikatów o błędach przy dostępie do plików
  • wzorzec - jedno słowo lub ciąg znaków

Przykłady wykorzystania polecenia grep

  • grep 'pies' test

wypisuje wszystkie linie pliku test , które zawierają wyraz pies

  • grep dom *

przeszukuje pliki znajdujące się w bieżącym katalogu w poszukiwaniu słowa dom i wyświetla znalezione linie wraz z nazwami plików

 

 

join

join - łączy odpowiadające sobie linie z dwóch plików. Domyślnie polem łączącym jest pierwsze słowo w każdej linii Wywołanie: join plik1 plik2 Przykłady wykorzystania polecenia join

  • Polecenie

join test1 test2 łączy odpowiadające sobie linie z podanych plików, tzn. łączone są te kolejne linie, w których pierwsze słowo jest takie samo. Powtarzające się słowo jest wyświetlane tylko raz.

sed

sed - wykonuje zestaw poleceń edycyjnych na zawartości pliku Wywołanie: sed [-n] [-e skrypt] [-f plik_skryptu] [pliki] Opcje:

  • n - nie wyświetla przetworzonych linii
  • e skrypt - zestaw poleceń, które mają zostać wykonane
  • f plik_skryptu - polecenia edycyjne są zawarte w plik_skryptu

split

split - dzieli plik na mniejsze części Wywołanie: split [-n] [plik[przedrostek]] Opcje:

  • n - dzieli plik na części po n linii ; domyślnie n=100
  • przedrostek - pierwszy plik wyjściowy jest nazywany przedrostekaa, następny przedrostekab,

itd; domyślnie przedrostek=x Przykłady wykorzystania polecenia split

  • Polecenie

split -10 test ts podzieli plik test na części po 10 linii, przy czym pierwsze 10 linii jest kopiowane do pliku tsaa , następne 10 do pliku tsab , itd.

  • split test

podzieli plik na części po 100 linii, przy czym kolejne części będą zapisywane do plików aa, ab, ac , itd.

tail

tail - wyświetla końcowe linie pliku Wywołanie: tail [+/-liczba[lc]] [nazwa_pliku] Opcje:

  • +liczba - wyświetla podaną liczbę linii od końca pliku
  • -liczba - wyświetla linie, zaczynając od linii o podanym numerze do końca pliku
  • l - liczba oznacza linie
  • c - liczba oznacza znaki

Przykład wykorzystania polecenia tail

  • tail nazwa_pliku

- wyświetla ostatnie 10 linii pliku nazwa_pliku

  • tail +100 nazwa_pliku

- wyświetla ostatnie 100 linii pliku nazwa_pliku

paste

paste - pozwala na łączenie kolejnych linii jednego pliku lub odpowiadających sobie linii z różnych plików. Wywołanie:

  • paste [-dznaki] pliki

- łączy odpowiadające sobie linie z podanych plików w jedną i wysyła ją na standardowe wyjście, przy czym między łączone linie wstawiane są kolejne znaki

  • paste -s [-dznaki] pliki

- każda linia pliku jest dodawana do poprzedniej

less

less - wyświetla zawartość pliku Przykłady wykorzystania polecenia less

  •  less test.c

powoduje wyświetlenie zawartości pliku test.c , przy czym wyświetlany jest jeden ekran, a wyświetlenie kolejnego ekranu następuje po wciśnięciu spacji

Kompresja i pakowanie danych

gzip

gzip - służy do kompresji plików; w wyniku powstają pliki nazwa_pliku.gz

Wywołanie: gzip [-d|-c] pliki

Opcje:

  • -d - dekompresja pliku skopresowanego wcześniej
  • -c - czytanie lub pisanie danych na standardowe wyjście zamias do pliku

Przykłady wykorzystania polecenia gzip:

  • Wynikiem polecenia
gzip test

jest plik test.gz, któy zawiera spakowany plik test

  • Aby rozpakować plik test.gz:
gzip -d test.gz

pigz

pigz - gzip korzystający jednocześnie z wielu procesorów

Opcje:

  • takie jak w gzip
  • -p - liczba wątków kompresji (domyślnie 8)

bzip2

bzip2 - działa podobnie jak gzip z tym, że w większości przypadków daje większy stopień kompresji. Ceną za to jest wolniejsze działanie programu, szczególnie w przypadku kompresji.

pbzip2

pbzip2 - równoległa - działająca jednocześnie na wielu procesorach wersja bzip2'a

tar

tar - pozwala łączyć pliki w archiwum

Wywołanie: tar [-xtrcvof] [nazwa_archiwum] [pliki]

Opcje:

  • x - odczytuje podane pliki z nazwa_archiwum
  • c - tworzy nowe nazwa_archiwum; usuwając to, co było w nazwa_archiwum
  • v - wyświetlanie nazw dołączanych plików
  • o - pliki odczytywane z nazwa_archiwum otrzymują nazwę właściciela i grupy, jaką ma osoba je odczytująca
  • f - używa archiwum o nazwie nazwa_archiwum
  • t - wyświetla nazwy plików, króre znajdują się w nazwa_archiwum
  • r - dodaje pliki do nazwa_archiwum
  • nazwa_archiwum - nazwa pliku, do którego mają zostać starowane pliki
  • pliki - pliki, które mają zostać włączone do archiwum

Przykłady wykorzystania polecenia tar

  • Polecenie
tar -cvf archiwum.tar *.c

wszystkie pliki z bieżącego katalogu z rozszerzeniem .c umieści w pliku archiwum.tar (plik ten zostanie stworzony również w bieżącym katalogu)

  • Komenda
tar -xvf /user/jankowalski/pliki.tar

rozpakowuje pliki znajdujące się w pliki.tar do bieżącego katalogu

  • Polecenie
tar -tvf archiwum.tar

wyświetla nazwy plików znajdujących się w archiwum.tar

  • W systemie Linux (oraz niekiedy w innych) dostępna jest wersj GNU programu tar, która umożliwia jednoczesną kompresję powstającego archiwum za pomoca programu gzip lub bzip2. Funkcję tę włącza się za pomocą opcji -z:
tar -zcvf archiwum_skompresowane.tar.gz pliki

Tak utworzone archiwum mozna rozpakować poleceniem:

tar -zxvf archiwum_skompresowane.tar.gz

Aby użyć do kompresji bzip2 należy użyć opcji -j:

tar -jcvf archiwum_skompresowane.tar.bz2 pliki
  • Jeśli tar nie wspiera opcji kompresji, moża użyć kombinacji poleceń tar i gzip oraz potoku:
tar -cvf - pliki | gzip -c > archiwum_skompresowane.tar.gz

Dekomresję wykonujemy analogicznie:

gzip -cd archiwum_skompresowane.tar.gz | tar -xvf -
  • tar + pigz + ssh
tar -cvf - pliki | pigz | ssh login@komputer.docelowy.net "cat > archiwum_skompresowane.tar.gz"

lub

tar  -cvf  login@komputer.docelowy.net:/jakis/katalog/archiwum_skompresowane.tar.gz pliki  \
    --use-compress-program /bin/pigz  --rsh-command /usr/bin/ssh

Inne polecenia

exit

exit - zakończenie działania aktualnego procesu; napisanie 'exit' po znaku zachęty powoduje wylogowanie użytkownika z systemu.

id

id - wyświetla numer użytkownika i numer grupy

Wywołanie: id

Przykłady wykorzystania polecenia

  • id - wyświetla numer użytkownika uid i numer grupy gid

ssh

ssh (Secure Shell) - bezpieczny sposób logowania się na zdalny (odległy) komputer

Wywołanie: ssh [-l user] host

Opcje:

  • -l user - login użytkownika na zdalnym komputerze, konieczne jest podawanie go w przypadku, gdy jest on inny niż ten, z którego następuje logowanie
  • host - nazwa komputera, na który ma nastąpić logowanie

passwd

passwd - tworzenie lub zmiana istniejącego hasła

Wywołanie: passwd

Przykłady wykorzystania polecenia passwd

  • Wpisanie polecenia passwd przez użytkownika jankowalski powoduje wyświetlenie napisu
Changing password for jankowalski

po czym pojawia się prośba o wpisanie stergo hasła:

Old password:

po pojawieniu się napisu

New password

należy wpisać nowe hasło, po czym wpisać je ponownie

Retype new password:

jeśli powtórnie wpisane hasło było takie same, jak za pierwszym razem, to hasło zostaje zmienione. W przeciwnym razie ważne pozostaje stare hasło i wyświetlany jest komunikat, że hasło nie zostało zmienione.