OS zápočet – dril

Pri každej možnosti klikni P (pravda) alebo N (nepravda). Ak možnosť nechceš označiť, počíta sa ako chyba, rovnako ako na teste. Po vyhodnotení uvidíš pri každej otázke vysvetlenie. Otázky so značkou „starý test“ sú zo zápočtov z minulých rokov a pravdepodobne sa zopakujú.

Z prednášok som vybral iba to, čo sa dá pýtať ako P/N. Žltými rámčekmi sú označené formulácie, na ktorých stavajú chytáky.

1 · Čo je OS

• OS je softvér. Abstrakcia HW: zo zložitého a nekonzistentného robí jednoduché a konzistentné.
• Rozšírený stroj: k abstrakcii HW pridáva súborový systém, používateľský model, procesný model a virtuálnu pamäť.
• Virtuálny stroj: tak sa označuje HW spolu s OS.
• Manažér prostriedkov: riadi prístup k zdrojom striedaním, čiže multiplexom v čase a priestore.
• OS v užšom zmysle je abstrakcia nad HW, ktorá poskytuje jednotné rozhranie.
• OS v širšom zmysle je celé softvérové vybavenie výpočtového systému.
• Výpočtový systém je všetok HW a SW použitý na spracovanie informácií.

2 · História, klasifikácia, HW, stavebné kamene

Generácie

• 1. (1940–55): elektrónky a programovacie dosky (plugboard), OS ešte neexistuje.
• 2. (1955–65): tranzistor, mainframe, dávky (batch) na páskach a dierne štítky. Program, ktorý načíta prvý program z pásky, je predchodca OS.
• 3. (1965–80): integrované obvody. Multiprogramming = viac úloh v pamäti, a kým jedna čaká na I/O, beží iná. Spooling. Timesharing je variant multiprogrammingu, pri ktorom sa striedajú používatelia (cez terminály). Ďalej MULTICS → UNIX (Ken Thompson na PDP-7) → POSIX (IEEE) → MINIX → Linux.
• 4. (1980–): LSI, osobné počítače, GUI, siete.
• 5. (1990–): VLSI, smartfóny a mobilné OS.

Klasifikácia podľa určenia

• Mainframe OS: veľa jednoduchých jobov, batch, transakcie (banky), timesharing. Beží roky bez odstávky.
• Server OS: prístup veľa používateľov a zdieľanie HW a SW. Multiprocessor OS: clustery na náročné výpočty.
• PC OS: pre jedného používateľa. Od serverového sa dnes líši prakticky iba nastavením jadra.
• Embedded OS: riadi zariadenie bez priameho zásahu používateľa (práčka, pivovar).
• Real-time OS: musí za každú cenu dodržať stanovenú dobu odozvy. Rozlišujeme Soft RT a Hard RT.

Klasifikácia podľa štruktúry

CPU

• Rozhranie CPU pre OS tvorí množina inštrukcií, registre (PC, SP, PSW…) a režimy CPU (kernel, user).
• Režim CPU určuje, akú podmnožinu inštrukcií možno vykonávať. Do privilegovanejšieho režimu sa prechádza iba špeciálnou inštrukciou TRAP, ktorá je súčasťou systémového volania.
• Hyperthreading (multithreading CPU): CPU drží kontexty dvoch vlákien naraz, ale vždy sa vykonáva práve jedno. Výhodou je rýchle prepnutie (v ns), keď je jedno vlákno blokované.
• Prerušenie prepíše register PC adresou prerušovacieho podprogramu OS. OS musí odložiť kontext prerušenej úlohy.

Pamäť (od najrýchlejšej)

I/O

• Device controller je HW pripojený cez zbernicu a má registre na ovládanie zariadenia, ktoré sú dostupné z CPU. Device driver (ovládač) je SW abstrakcia v OS.
• Ovládač možno implementovať tromi spôsobmi. Polling (busy waiting): v cykle kontroluje, či zariadenie skončilo. Interrupt: CPU robí niečo iné a zariadenie po skončení vyvolá prerušenie. DMA: zariadenie samo zapisuje dáta do pamäte a na konci vyvolá prerušenie.

Stavebné kamene

• Program je súbor s usporiadanými inštrukciami. Proces je vykonávaný program s pridelenými prostriedkami (adresný priestor, registre, súbory). Proces teda nie je súbor.
• Proces môže vzniknúť iba prostredníctvom iného procesu, takže procesy tvoria Process Tree. OS si ich eviduje v Process Table.
• Adresný priestor je všetka potenciálne adresovateľná pamäť. Procesy sú navzájom izolované a do pamäte iného procesu zasahovať nemôžu (bráni tomu ochranný HW riadený OS). Virtuálna pamäť dáva procesu prístup k celému adresnému priestoru v obmedzenej fyzickej pamäti.
• Systémové volanie je špeciálna funkcia API OS. Jeho jadrom je inštrukcia TRAP. OS a HW sa dajú ovládať iba cez toto API.
• POSIX je štandard (nie OS). Vymedzuje minimálne vonkajšie rozhranie OS, čiže sadu systémových volaní, a nie vnútornú štruktúru OS.
• Súbor je abstrakcia nad blokmi disku a všetky operácie nad ním idú cez systémové volania. Adresár je špeciálny súbor.
• Shell ani GUI nie sú súčasťou OS. Sú to programy, ktoré sprístupňujú jeho funkcie.

3 · Procesy, vlákna, plánovanie

Proces

• Proces má vyhradený adresný priestor, stav (registre, PC, zásobník), pridelené I/O a otvorené súbory.
• Pseudo-paralelizmus: na jednom CPU beží v jednom okamihu práve jeden proces a rýchle striedanie budí dojem súbežnosti. Paralelizmus umožňujú viacjadrové CPU.
• Multiprogramming udržiava viac procesov v RAM a zvyšuje utilizáciu CPU podľa vzťahu U = 1 − pⁿ, kde p je pravdepodobnosť čakania na I/O a n je počet procesov. S rastúcim n utilizácia rastie.
• PCB (Process Control Block) je jeden záznam v Process Table. Kontext (aktuálny stav) sa pri preplánovaní odkladá do PCB.
• Vznik: pri štarte OS (init/systemd), systémovým volaním iného procesu, požiadavkou používateľa (shell) alebo batch jobom.
• fork() vytvorí presnú kópiu procesu. Pamäť programu sa zdieľa a dáta sa kopírujú až pri zápise (copy-on-write). exec() nahradí program procesu novým programom. Windows používa CreateProcess()/spawn().
• Dobrovoľný zánik: štandardné ukončenie, aj s chybou. Nedobrovoľný: fatálna chyba (segfault, delenie nulou) alebo kill iným procesom.
• exit() slúži na dobrovoľné ukončenie a vykoná sa automaticky po návrate z main, takže ho programátor volať nemusí.
• Zombie je proces po exit(), ktorý ostáva v tabuľke s exit kódom, kým rodič nezavolá wait()/waitpid().

Stavy procesu

        (3) naplánovaný
  READY ─────────────────► RUNNING
    ▲   ◄───────────────── │
    │     (2) preplánovaný │ (1) čaká na udalosť
    │ (4) udalosť prišla   ▼
    └──────────────────── BLOCKED

Vlákna (threads)

• Vlákno je vykonávaný program s vlastným stavom (registre, PC, zásobník). Definícia „s pridelenými prostriedkami“ patrí procesu.
• Vlákna jedného procesu zdieľajú program, dáta (globálne premenné), súbory a signály. Komunikujú cez spoločnú pamäť.
• Prepnutie medzi vláknami toho istého procesu je lacnejšie, lebo netreba meniť pamäť programu a dát.
• Vlákno má vlastný zásobník, lebo si musí pamätať vlastnú históriu volaní funkcií. OS si o ňom vedie TCB.
• POSIX: pthread_create() vytvorí vlákno, pthread_join() čaká na ukončenie iného vlákna. POSIX definuje vyše 60 volaní pre vlákna.

Plánovanie

• Plánovač usporadúva pripravené procesy podľa plánovacieho algoritmu.
• Kedy sa plánuje: proces skončil, vytvoril nový proces, zablokoval sa na syscall, alebo prišlo HW prerušenie (I/O, časovač). Udalosť nemusí vždy viesť k prepnutiu.
• Preemptívne plánovanie môže prerušiť bežiacu úlohu, aj keď proces nechce. Nepreemptívne plánovanie vymení proces, iba keď sa vzdá sám alebo sa zablokuje. Častejšie preplánovanie znamená väčšiu réžiu, takže preemptívne plánovanie má väčšiu réžiu.
• CPU-bound procesy sú výpočtovo intenzívne. I/O-bound procesy väčšinu času čakajú na I/O. Pri interakcii s človekom by I/O-bound procesy mali mať vyššiu prioritu.

4 · IPC: vzájomné vylučovanie

• Pri IPC dochádza k synchronizácii, vzájomnému vylučovaniu a posielaniu správ. Vláknam stačí synchronizácia a vylučovanie, lebo zdieľajú pamäť a posielanie správ nepotrebujú.
• Synchronizácia je riadené usporiadanie spolupracujúcich procesov. Vzájomné vylučovanie je druh synchronizácie, ktorý riadi prístup do kritickej oblasti (KO), teda časti programu, ktorá pristupuje k zdieľanému prostriedku.
• Race condition nastáva, keď dva a viac procesov súčasne používa jeden prostriedok.

4 podmienky vzájomného vylučovania (poradie je dôležité)

1. V KO môže byť najviac 1 proces.
2. Nesmie sa brať do úvahy rýchlosť a počet CPU.
3. Proces mimo KO nesmie brániť inému procesu vstúpiť do KO.
4. Čas čakania na vstup do KO musí byť konečný.

• Busy waiting neustále v cykle kontroluje, či môže vstúpiť. Plytvá CPU a spôsobuje inverziu priorít (proces s nízkou prioritou drží zámok, ktorý potrebuje proces s vysokou prioritou).
• Sleep and WakeUp: ak proces nemôže vstúpiť, je zablokovaný (uspaný) a po uvoľnení KO sa zobudí.

Semafor

• Je univerzálny prostriedok synchronizácie, abstraktný dátový typ s operáciami init(), up() a down().
• Definícia: počet ukončených operácií down() je vždy ≤ počet ukončených up(). init() definuje počiatočný počet ukončených operácií up().
• down(): ak s = 0, proces sa zablokuje a ide do radu (nečaká v cykle!). Inak s−−.
• up(): ak je rad neprázdny, zobudí jeden proces. Inak s++.
• init, up a down sú systémové volania a musia byť atomické, lebo sú to KO. Atomickosť sa zabezpečí busy waitingom (zakázanie prerušení, TSL alebo SW riešenie).
• Binárny semafor má hodnotu 0 alebo 1 a nikdy nie viac. Hodí sa na vzájomné vylučovanie. Inicializácia má byť mimo procesov, ktoré ho používajú.

• Mutex je knižničný (softvérový) ekvivalent semaforu na vylučovanie vlákien. Pri čisto user threadoch by semafor zablokoval celý proces. API: pthread_mutex_lock / unlock / trylock.
• Monitor je konštrukcia (rozšírená syntax) programovacieho jazyka. KO je objekt a naraz sa môže vykonávať iba jedna jeho operácia. Vylučovanie zabezpečí kompilátor. Príklad: Java synchronized.
• Nástrojmi vzájomného vylučovania sú semafor, monitor aj špeciálne inštrukcie.
• Pre N procesov fungujú bez zmien špeciálne inštrukcie, semafor, mutex aj monitor. Peterson pre N procesov funguje iba s úrovňami a jeho zložitosť je N². Ďalšie riešenie je Bakery algoritmus s lístkami.

5 · Synchronizácia a klasické problémy

• Synchronizácia slúži aj na usporiadanie v čase, podmienené vykonávanie a manažment prostriedkov.
• Binárny semafor inicializovaný na 0 slúži na poradie procesov: B volá down() a čaká, A po skončení zavolá up(). Počítací semafor reprezentuje počet rovnakých prostriedkov.
• Condition variable sa používa výlučne s mutexom a zabraňuje zbytočnému cykleniu. API: pthread_cond_wait(cond, mutex), pthread_cond_signal zobudí jedno vlákno, pthread_cond_broadcast zobudí všetky.
• Message passing funguje aj medzi rôznymi strojmi (distribuované systémy) cez volania send(dest, msg) a receive(src, msg). Problémy a riešenia: strata správy → ACK, opakované prijatie a zmena poradia → identifikátor správ, autentickosť → autentifikácia a šifrovanie.

Každá časť má najprv poznámky (čo príkaz a jeho prepínače znamenajú) a pod nimi krátke príklady. Za $ je to, čo píšeš, riadky bez $ vypíše bash a za ← je vysvetlenie. Všetky príklady sa odohrávajú v tomto priečinku:

/home/jano/skola/
├── ovocie.txt      jablko / hruska / slivka (3 riadky)
├── zvierata.txt    na grep (obsah v časti 8)
├── cisla.txt       na sort a uniq (obsah v časti 10)
├── skript.sh
├── .skryty         skrytý súbor (meno začína bodkou)
└── data/
    ├── udaje.txt
    └── zaloha/
        └── stare.txt

1 · Orientácia: pwd, ls, cd

Poznámky

• pwd = print working directory, vypíše, kde práve stojíš
• ls = vypíše obsah aktuálneho priečinka (alebo zadaného: ls data)
• ls -a = aj skryté súbory, vrátane . (tento priečinok) a .. (rodič)
• ls -A = skryté súbory bez . a ..
• ls -l = dlhý výpis (práva, vlastník, veľkosť, dátum)
• ls -h = veľkosti čitateľne (K, M, G), -r = opačné poradie, -1 = jeden súbor na riadok
• ls -R = rekurzívne (aj podpriečinky). Bez -R ls do podpriečinkov nejde.
• ls -d priecinok = vypíše samotný priečinok ako jeden záznam, NIE jeho obsah. ls -ld data = práva a vlastník priečinka data.
• ls -i = pridá číslo inode (identifikátor dát súboru). Hard linky majú rovnaké číslo.
• v ls -l je číslo hneď za právami počet hard linkov
• cd priecinok = vojdi do priečinka, cd .. = o úroveň vyššie
• cd, cd ~ alebo cd $HOME = domov (/home/jano)
• cd - = späť do predošlého priečinka
• /home = priečinok všetkých používateľov, nie tvoj domov
• cesta začínajúca / je absolútna, ostatné sú relatívne (od miesta, kde stojíš)

Príklady

$ ls
cisla.txt  data  ovocie.txt  skript.sh  zvierata.txt    ← .skryty tu nie je
$ ls -A
.skryty  cisla.txt  data  ovocie.txt  skript.sh  zvierata.txt

$ ls data
udaje.txt  zaloha             ← obsah priečinka
$ ls -ld data
drwxr-xr-x 3 jano jano 4096 Oct 22 14:00 data    ← -d: iba záznam o priečinku samotnom

$ cd data
$ pwd
/home/jano/skola/data
$ cd /etc
$ cd -                        ← späť tam, kde som bol
/home/jano/skola
$ cd                          ← domov
$ pwd
/home/jano

2 · Pozeranie súborov: cat, tac, less, head, tail, wc

Poznámky

• cat subor = vypíše celý súbor. Viac súborov spojí za sebou (concatenate). Bez súboru číta z klávesnice.
• tac subor = vypíše súbor odzadu (posledný riadok prvý)
• less subor = listovanie: medzera ďalej, b späť, /slovo hľadaj, n ďalší výskyt, g začiatok, G koniec, q koniec
• head subor = prvých 10 riadkov, head -3 alebo head -n 3 = prvé 3
• tail subor = posledných 10 riadkov, tail -1 = posledný riadok
• tail -n +2 = od 2. riadku do konca (nie posledné 2!)
• wc = počíta: -l riadky (presnejšie znaky nového riadku), -w slová, -c bajty, -m znaky
• wc s viacerými súbormi pridá na koniec riadok total. Pri čítaní zo stdin (wc -l < f alebo cez pipe) nevypíše meno súboru.
• tail -f log = sleduje súbor, do ktorého niečo pribúda (logy), a vypisuje nové riadky

Príklady

$ tac ovocie.txt
slivka
hruska
jablko
$ head -2 ovocie.txt
jablko
hruska
$ tail -n +2 ovocie.txt       ← od 2. riadku
hruska
slivka
$ wc -l ovocie.txt
3 ovocie.txt
$ wc -l < ovocie.txt          ← zo stdin: meno súboru sa nevypíše
3

3 · Súbory a odkazy: touch, cp, mv, rm, ln

Poznámky

• touch f = vytvorí prázdny súbor (0 bajtov, 0 riadkov). Ak súbor existuje, iba mu zmení čas.
• cp a b = kópia (nezávislá, nový inode). cp -r = kopíruje priečinok aj s obsahom.
• mv a b = presun alebo premenovanie
• rm f = zmaže meno súboru. rm -r priečinok s obsahom, rm -f bez pýtania, rm -i pýta sa. rmdir zmaže iba prázdny priečinok.
• cat neexistuje súbor nevytvorí. Súbory vytvára touch alebo > subor.
• hard link ln original hard = druhé meno tých istých dát. Má rovnaký inode a zmena cez jedno meno je vidno aj cez druhé. Po rm original dáta ostávajú, zmiznú až s posledným hard linkom. Nie je to kópia ani záloha. Nedá sa urobiť na priečinok ani na iný disk.
• symbolický link (symlink, soft link) ln -s original soft = malý samostatný súbor, v ktorom je uložená cesta k cieľu, čiže „skratka“. Má vlastný inode a v ls -l vyzerá ako soft -> original. Po zmazaní cieľa ostane nefunkčný (dangling). Môže ukazovať aj na priečinok a na iný disk.
• find -type l nájde symlinky

Príklady

$ echo first > original
$ ln original hard            ← hard link
$ ln -s original soft         ← symbolický link
$ ls -li
1234 -rw-r--r-- 2 jano jano 6 ... hard        ← rovnaký inode 1234, počet linkov 2
1234 -rw-r--r-- 2 jano jano 6 ... original
5678 lrwxrwxrwx 1 jano jano 8 ... soft -> original   ← vlastný inode, obsahuje cestu

$ echo extra >> hard
$ cat original
first
extra                         ← zápis cez hard je vidno aj cez original (tie isté dáta)

$ rm original
$ cat hard
first                         ← dáta žijú ďalej, lebo hard je stále ich meno
extra
$ cat soft
cat: soft: No such file or directory    ← symlink ukazuje na cestu, ktorá už neexistuje

$ echo second > original      ← vznikne ÚPLNE NOVÝ súbor (nový inode)
$ cat hard
first                         ← hard o novom súbore nevie
extra
$ cat soft
second                        ← symlink ide podľa mena, takže ukazuje na nový súbor

4 · Aliasy

Poznámky

• alias ll='ls -lah' = vytvorí skratku ll, platí iba v aktuálnom shelli
• alias ll = vypíše definíciu aliasu, samotné alias vypíše všetky
• unalias ll = alias zruší. Potom alias ll vypíše chybu (alias neexistuje).
• alias sa sám neuloží. Natrvalo ho treba ručne zapísať do ~/.bashrc a načítať cez source ~/.bashrc (alebo otvoriť nový terminál).

Príklady

$ alias ll='ls -lah'
$ ll                          ← spustí ls -lah
$ alias ll
alias ll='ls -lah'
$ unalias ll
$ alias ll
bash: alias: ll: not found

5 · echo, úvodzovky, premenné

Poznámky

• echo text = vypíše text a nový riadok
• echo -n = bez nového riadku na konci
• echo -e = interpretuje \n (nový riadok), \t (tabulátor), \\. Bez -e sa vypíšu doslova.
• priradenie: x=hodnota bez medzier okolo =. Čítanie: $x alebo ${x}.
• "..." (dvojité úvodzovky) = rozvinie $premenna aj $(prikaz), zachová medzery
• '...' (jednoduché) = nerozvinie nič, všetko je doslova
• \" = escapnutá úvodzovka (vypíše sa)
• $(prikaz) alebo prikaz = nahradí sa výstupom príkazu
• cat <<< text = reťazec ide na stdin príkazu
• $HOME domov, $USER meno, $PWD aktuálny priečinok, $SHELL cesta k shellu
• $$ = PID aktuálneho shellu
• $? = návratový kód posledného príkazu (0 = OK, iné = chyba)
• $_ = posledný argument predošlého príkazu
• !! = zopakuj posledný príkaz, !ec = posledný príkaz začínajúci na „ec“
• history = história príkazov (~/.bash_history), Ctrl+R = hľadanie v nej
• pomoc: man prikaz, help cd (vstavané príkazy), prikaz --help

Príklady

$ meno=Jano
$ meno = Jano
meno: command not found       ← s medzerami bash hľadá príkaz „meno“
$ echo "Ahoj $meno"
Ahoj Jano
$ echo 'Ahoj $meno'
Ahoj $meno
$ echo "${meno}ko"
Janoko
$ echo "$menoko"
                              ← premenná „menoko“ neexistuje, takže prázdny riadok

$ echo \"Ahoj svet\"
"Ahoj svet"
$ echo '"Ahoj svet"'
"Ahoj svet"
$ echo ""Ahoj svet""          ← "" je prázdny reťazec, takže úvodzovky zmiznú
Ahoj svet
$ echo "ah""oj"               ← reťazce vedľa seba sa spoja
ahoj
$ echo $(echo ahoj)
ahoj
$ $(echo ls -la)              ← výsledok „ls -la“ sa SPUSTÍ ako príkaz

$ ls neexistuje
ls: cannot access 'neexistuje': No such file or directory
$ echo $?
2                             ← chyba
$ echo $?
0                             ← teraz 0, lebo posledný príkaz bol úspešný echo

6 · Práva: chmod, chown, mkdir

Poznámky

• ls -l ukáže napríklad -rwxr-x---. Prvý znak je typ (- súbor, d adresár, l link), potom 3 trojice: user, group, others.
• súbor: r čítať, w zapisovať, x spustiť
• adresár: r vypísať obsah (ls), w vytvárať a mazať v ňom, x vojsť doň (cd)
• čísla: r = 4, w = 2, x = 1, sčítajú sa: 7 = rwx, 6 = rw-, 5 = r-x, 4 = r--, 0 = ---
• chmod 644 f = nastaví presne rw-r--r--, nezávisle od pôvodných práv
• chmod u+w pridá, g-w uberie, o=r nastaví presne. Kto: u user, g group, o others, a všetci.
• chmod +x f = bez u, g alebo o: všetkým
• + a - menia práva relatívne k pôvodným, takže výsledok závisí od toho, čo súbor mal
• chown jano:skupina f = zmeň vlastníka a skupinu (treba sudo), -R = rekurzívne
• mkdir -p a/b/c = vytvorí aj chýbajúce priečinky po ceste, mkdir -m 700 d = rovno s právami
• mazanie, vytváranie a premenovanie súboru je operácia v PRIEČINKU. Treba mať na priečinku w a x. Práva samotného súboru na to nemajú vplyv.
• chmod -R = rekurzívne, a+rw = všetkým čítanie aj zápis

Príklady

$ ls -l f
-r--r--r-- f
$ chmod u+w f
-rw-r--r-- f
$ chmod g+wx f
-rw-rwxr-- f
$ chmod u=rwx,g=rx,o= f       ← o= znamená, že ostatní nemajú nič
-rwxr-x--- f
$ chmod 644 f
-rw-r--r-- f

$ chmod 640 file              ← rw-r-----
$ chmod u+x file              ← rwxr-----  (740): skupina má stále iba r, ostatní nič
$ chmod g-r file              ← z 640 by vzniklo 600 = rw-------

$ ls -ld d d/item
dr-------- d                  ← priečinok d má 400: vlastník iba r
-rwxrwxrwx d/item             ← súbor má 777
$ rm d/item
rm: cannot remove 'd/item': Permission denied   ← na d chýba w+x a 777 na súbore nepomôže

7 · Procesy: ps, kill, pozadie

Poznámky

• ps = procesy v tomto termináli, ps x = všetky moje, ps ax = všetkých používateľov
• ps aux = všetky procesy (nie iba joby na pozadí). Stĺpce: USER, PID, %CPU, %MEM, VSZ, RSS (pamäť), TTY, STAT (stav), START, TIME, COMMAND.
• ps -elf = tiež všetky procesy, iný formát. Stĺpce: F, S (stav), UID, PID, PPID (PID rodiča), C, PRI, NI, ADDR, SZ, WCHAN, STIME, TTY, TIME, CMD.
• prikaz & = spusti na pozadí
• jobs = zoznam jobov aktuálneho shellu (nie všetkých procesov). Číslo jobu [1] je lokálne číslo v shelli, nie PID.
• fg %1 = job 1 do popredia, bg %1 = zastavený job 1 nech beží na pozadí, kill %1 = signál jobu 1
• kill PID = pošle signál, predvolene SIGTERM (15), ktorý sa dá zachytiť aj ignorovať
• kill -9 PID = SIGKILL, nedá sa zachytiť ani ignorovať
• kill -CONT PID = spustí zastavený proces
• Ctrl+Z = proces zastaví (neukončí). Ctrl+C = preruší, čiže ukončí (SIGINT).
• w a who = kto je prihlásený, last = posledné prihlásenia

Príklady

$ sleep 100 &
[1] 4242                      ← PID
$ kill 4242
[1]+  Terminated     sleep 100

$ sleep 100
^Z
[1]+  Stopped        sleep 100   ← iba zastavený, proces STÁLE EXISTUJE
$ jobs
[1]+  Stopped        sleep 100   ← [1] je číslo jobu, PID je napríklad 4300
$ bg %1                       ← beží ďalej na pozadí (alebo kill -CONT %1)
$ fg %1                       ← späť do popredia

8 · Glob (* ? [ ]): rozvíja ho BASH

Poznámky

• glob = vzor na mená súborov. Bash ho nahradí menami pred spustením príkazu.
• * = hocijaké znaky (aj žiadne)
• ? = presne jeden znak
• [ab] = jeden znak, a alebo b. [0-9] = jedna číslica.
• skryté súbory (s bodkou) * nezahŕňa
• ak nič nesedí, vzor ostane tak, ako je

Príklady

$ echo *.txt
cisla.txt ovocie.txt zvierata.txt
$ echo ?????.txt              ← 5 znakov + .txt
cisla.txt
$ echo [cz]*
cisla.txt zvierata.txt
$ echo .*
. .. .skryty
$ echo *.pdf
*.pdf                         ← nič nesedí

9 · find: hľadanie SÚBOROV

Poznámky

• tvar: find [kde] [podmienky] [akcia]. Bez cesty hľadá v . a bez akcie výsledky vypíše (-print).
• find je vždy rekurzívny
• -name "vzor" = meno súboru (iba posledná časť cesty), rozlišuje veľké a malé písmená, glob vzor
• -iname = meno, nerozlišuje veľké a malé písmená (insensitive)
• -path / -ipath = porovnáva celú cestu
• -type f súbor, -type d adresár, -type l link
• find vypíše aj samotný štartovací priečinok (ak spĺňa podmienky, napríklad -type d) a nájde aj skryté súbory
• hĺbka: štartovací priečinok má hĺbku 0, jeho priamy obsah hĺbku 1
• -maxdepth 1 = štart + priamy obsah, bez podpriečinkov
• -maxdepth 0 = iba samotný štartovací bod. find . -maxdepth 0 -type f nenájde nič, lebo . je priečinok.
• -mindepth 1 = vynechá štartovací priečinok
• -noleaf = vypne optimalizáciu prehľadávania (pre zvláštne súborové systémy ako CD-ROM alebo MS-DOS). Výsledok nemení a find je stále rekurzívny.
• -mtime = zmena obsahu (dni), -ctime = zmena statusu (práva, vlastník, nie creation!), -atime = prístup (čítanie)
• -mmin, -cmin, -amin = to isté v minútach
• čísla pri čase aj veľkosti: -3 = menej ako, +3 = viac ako, 3 = presne
• -size: c = bajty, k = KiB, M = MiB, G = GiB. Bez jednotky (alebo b) = 512-bajtové bloky.
• -size 0c = presne 0 bajtov (prázdny súbor, napríklad po touch)
• podmienky za sebou = AND. -or alebo -o = alebo, ! alebo -not = negácia. AND má prednosť pred OR.
• -name 'a.txt' -name 'c.txt' = AND, takže súbor by sa musel volať oboma menami naraz a nenájde sa nič
• zátvorky treba escapnúť a oddeliť medzerami: \( ... \)
• -delete = zmaže nájdené
• -exec prikaz {} \; = spustí príkaz pre každý súbor zvlášť ({} = súbor)
• -exec prikaz {} \+ = spustí príkaz raz so všetkými súbormi
• vzor daj do úvodzoviek, inak ho bash rozvinie skôr, než sa find spustí

Príklady

$ find . -name "*.txt"
./ovocie.txt
./zvierata.txt
./cisla.txt
./data/udaje.txt
./data/zaloha/stare.txt       ← aj hlboko v podpriečinkoch
$ find . -name "ovocie"       ← presné meno, takže nič
$ find . -name "*ovocie*"
./ovocie.txt
$ find . -maxdepth 1 -type d
.
./data
$ find . -path "*zaloha*"
./data/zaloha
./data/zaloha/stare.txt

$ mkdir -p outer/inner; touch outer/file
$ find outer -type d
outer                         ← štartovací priečinok sa počíta!
outer/inner
$ find outer -type d | wc -l
2

$ mkdir sub; touch top.txt sub/deep.txt
$ find . -maxdepth 1 -type f
./top.txt
$ find . -mindepth 1 -maxdepth 1 -type f
./top.txt
$ find . -maxdepth 0 -type f
                              ← nič: hĺbka 0 je iba „.“, a to je priečinok

$ touch a.txt b.log c.txt
$ find . -type f \( -name 'a.txt' -o -name 'c.txt' \)
./a.txt
./c.txt
$ find . -type f -name 'a.txt' -name 'c.txt'
                              ← nič (AND)
$ touch empty; find empty -size 0c
empty

$ find . -name "*.txt" -exec wc -l {} \;     ← wc 5-krát
3 ./ovocie.txt
7 ./zvierata.txt
...
$ find . -name "*.txt" -exec wc -l {} \+     ← wc 1-krát
...
22 total
$ find . -name "*.txt" | wc -l
5                             ← toto je POČET SÚBOROV, nie ich riadkov!

10 · grep: hľadanie TEXTU v súboroch

Poznámky

• tvar: grep [prepínače] 'vzor' [súbory]. Bez súboru číta zo stdin (z pipe).
• vypisuje celé riadky, v ktorých je vzor kdekoľvek
• -i = nerozlišuje veľké a malé písmená
• -v = invertuje: riadky, ktoré vzor NEobsahujú
• -w = iba celé slová
• -c = počet riadkov so zhodou (nie počet výskytov)
• -o = vypíše iba zhodnú časť, každú zhodu na nový riadok
• -n = pridá čísla riadkov
• -l = iba mená súborov so zhodou
• -r = rekurzívne v priečinku, -R = aj cez symlinky
• -q = nič nevypíše, výsledok je iba v $? (0 = našiel, 1 = nenašiel)
• -A 2 = aj 2 riadky za zhodou (After), -B 2 = pred zhodou (Before)
• -E = rozšírený regex (sprístupní + ? | { } ( ))
• pri viacerých súboroch je pred riadkom meno súboru: subor:riadok
• prepínače sa dajú spájať: -vc, -in…

Regex (iný ako glob!)

• . = ľubovoľný jeden znak
• * = predchádzajúci znak 0 a viackrát (nie „hocičo“!)
• .* = hocičo
• ^ = začiatok riadku, $ = koniec riadku, ^$ = prázdny riadok
• [abc] = jeden z týchto znakov, [^abc] = jeden znak, ktorý NIE JE a, b ani c
• [0-9], [a-z], [[:alpha:]] (písmeno), [[:digit:]] (číslica)
• \< a \> = začiatok a koniec slova
• iba s -E: + = 1 a viac, ? = 0 alebo 1, {3} = presne 3-krát, {3,5} = 3 až 5-krát, {3,} = aspoň 3-krát, a|b = a alebo b, ( ) = skupina
• bez -E treba tieto znaky escapnúť: \{3\}, \+
• \. = obyčajná bodka

Príklady

Obsah zvierata.txt: pes, macka, Pes je dobry, # komentar, kocur a pes, pesnicka a prázdny riadok (7 riadkov).

$ grep pes zvierata.txt
pes
kocur a pes
pesnicka                      ← „pes“ je aj vnútri slova
$ grep -i pes zvierata.txt
pes
Pes je dobry
kocur a pes
pesnicka
$ grep -w pes zvierata.txt
pes
kocur a pes
$ grep -c pes zvierata.txt
3
$ grep -vc pes zvierata.txt   ← riadky BEZ „pes“: macka, Pes je dobry, # komentar, prázdny
4

$ grep '^pes' zvierata.txt
pes
pesnicka
$ grep 'pes$' zvierata.txt
pes
kocur a pes
$ grep -c '^$' zvierata.txt
1
$ grep -E 'macka|kocur' zvierata.txt
macka
kocur a pes
$ grep 'macka|kocur' zvierata.txt    ← bez -E hľadá doslova „macka|kocur“, takže nič
$ grep 'ab*c'                 ← sedí na ac, abc, abbbc (b je 0+ krát)

11 · Presmerovanie: >, >>, 2>, 2>&1, <

Poznámky

• každý príkaz má stdout (1), čiže normálny výstup, a stderr (2), čiže chyby. Oba idú štandardne na obrazovku.
• > f = stdout do súboru. Súbor sa vytvorí alebo vymaže ešte pred spustením príkazu.
• >> f = stdout sa pripíše na koniec súboru (vytvorí ho, ak neexistuje)
• 2> f = iba chyby do súboru
• 2> /dev/null = zahoď chyby (/dev/null je čierna diera)
• > f 2>&1 = stdout aj stderr do f (skratka &> f)
• 2>&1 = stderr pošli tam, kam práve teraz ide stdout. Bash číta presmerovania zľava doprava, takže poradie je dôležité.
• 1>&2 = stdout na stderr. Bez & (1>2) vznikne súbor s menom „2“.
• < f = obsah súboru ide na vstup príkazu
• presmerovanie nemení návratový kód: cat chyba 2> err stále zlyhá ($? ≠ 0), iba chyba ide do súboru
• echo hello > wc nespustí program wc, ale vytvorí súbor s menom wc

Príklady

$ echo ahoj > pozdrav.txt
$ cat pozdrav.txt
ahoj
$ echo cau > pozdrav.txt      ← > prepíše
$ echo svet >> pozdrav.txt    ← >> pripíše
$ cat pozdrav.txt
cau
svet

$ ls neexistuje > vypis.txt
ls: cannot access 'neexistuje': No such file or directory   ← chyba ide stále na obrazovku
$ cat vypis.txt
                              ← PRÁZDNY: > ho vymazal a ls doň nič nezapísal
$ ls neexistuje 2> chyby.txt
                              ← na obrazovke nič, chyba je v chyby.txt

$ ls ovocie.txt neexistuje > vsetko.txt 2>&1
$                             ← oboje je v súbore
$ ls ovocie.txt neexistuje 2>&1 > vsetko.txt
ls: cannot access 'neexistuje': ...    ← chyba je na OBRAZOVKE
                              ← 2>&1 sa vykonalo prvé, keď stdout ešte šiel na obrazovku

12 · Pipe | a textové nástroje

Poznámky

• a | b = stdout príkazu a ide na vstup príkazu b. Oba bežia súčasne ako samostatné procesy.
• pipe prenáša iba stdout. Chyby prenesie iba 2>&1 | alebo skratka |&.
• > vedie do súboru, | vedie do príkazu
• ak príkaz v pipe dostane meno súboru, číta zo súboru a pipe ignoruje
• $? po pipe = návratový kód posledného príkazu v pipe. cat missing.txt | wc -l vypíše 0 a $? je 0, hoci cat zlyhal. Zmení to iba set -o pipefail, ktorý vráti chybu, ak zlyhal hocijaký príkaz v pipe.
• sort = triedi ako text (preto je „10“ pred „9“)
• sort -n číselne, -r zostupne, -u bez duplicít, -t, -k2 podľa 2. stĺpca oddeleného čiarkou
• uniq = odstráni iba susedné duplicity, preto pred ním takmer vždy ide sort
• uniq -c = pred každý riadok pridá počet výskytov, uniq -d = iba duplicitné riadky
• cut -d: -f1 = 1. stĺpec (field), oddeľovač :. -f1,7 = 1. a 7. stĺpec.
• tr a-z A-Z = nahrádza znaky, tr -d ' ' = zmaže znaky
• tee f = pošle výstup na obrazovku aj do súboru
• xargs prikaz = zo vstupu spraví argumenty príkazu

Príklady

$ ls ovocie.txt neexistuje | wc -l
ls: cannot access 'neexistuje': ...    ← chyba obišla pipe
1
$ ls ovocie.txt neexistuje 2>&1 | wc -l
2
$ ls ovocie.txt neexistuje |& wc -l
2
$ ls neexistuje 2>&1 >/dev/null | wc -l
1                             ← do pipe ide iba chyba

Obsah cisla.txt, každé číslo na samostatnom riadku: 3, 10, 3, 7, 10, 3.

$ sort cisla.txt              ← bez -n triedi ako TEXT, znak po znaku ako v slovníku
10                            ← „1“ je menší znak ako „3“, preto je 10 pred 3
10
3
3
3
7

$ sort -n cisla.txt           ← -n = ako ČÍSLA
3
3
3
7
10
10

$ uniq cisla.txt              ← NIČ sa nezmení: uniq porovnáva iba s riadkom tesne nad sebou
3                                a v súbore nie sú dve rovnaké čísla pod sebou
10
3
7
10
3

Top najčastejšie: sort | uniq -c | sort -nr po krokoch

$ sort cisla.txt              ← KROK 1: rovnaké čísla budú pod sebou
10
10
3
3
3
7

$ sort cisla.txt | uniq -c    ← KROK 2: zlúči ich a pred každé napíše POČET
      2 10                    ← vľavo počet, vpravo číslo: 10 bolo 2-krát
      3 3                     ← 3 bolo 3-krát
      1 7

$ sort cisla.txt | uniq -c | sort -nr     ← KROK 3: zoradí podľa počtu, zostupne
      3 3                     ← najčastejšie navrchu
      2 10
      1 7

$ ... | head                  ← KROK 4: vezme prvých 10 = 10 najčastejších

$ cut -d: -f1,7 /etc/passwd
root:/bin/bash
jano:/bin/bash
$ echo ahoj | tr a-z A-Z
AHOJ
$ head -5 subor | tail -1     ← 5. riadok
$ head -1 subor | tail -1 subor     ← tail má vlastný súbor, takže vypíše POSLEDNÝ riadok

13 · Skripty a argumenty

Poznámky

• #!/bin/bash (shebang) = prvý riadok, za ním cesta k interpretu. Nie je povinný, súbor ním nebude spustiteľný a nie je to meno autora.
• ./skript.sh potrebuje chmod +x
• bash skript.sh funguje aj bez +x
• skript.sh bez cesty funguje, iba ak je jeho priečinok v $PATH. Aktuálny priečinok . v PATH nie je.
• $PATH = priečinky so spustiteľnými programami oddelené :. Dá sa meniť a každý používateľ ho môže mať iný.
• $0 = meno skriptu (shift ho nemení)
• $1, $2… = argumenty
• $# = počet argumentov
• $@ = všetky argumenty. "$@" = každý zvlášť (správny spôsob).
• $* = všetky argumenty. "$*" = jeden reťazec.
• shift = zahodí $1 a posunie ostatné, shift 2 = o dva
• exit 1 = ukončí skript s návratovým kódom 1
• export X=1 = premenná bude viditeľná aj v spustených skriptoch (detských procesoch)
• source s.sh alebo . s.sh = vykoná skript v aktuálnom shelli
• basename /a/b/c.txt = c.txt (posledná časť), dirname /a/b/c.txt = /a/b (všetko okrem nej)

Príklady

$ cat skript.sh
#!/bin/bash
echo "$0 | $1 | $2 | $#"
shift
echo "$1 | $#"

$ ./skript.sh jablko "zelena hruska" slivka
./skript.sh | jablko | zelena hruska | 3     ← úvodzovky držia „zelena hruska“ pokope
zelena hruska | 2

$ ./skript.sh
bash: ./skript.sh: Permission denied      ← chýba +x
$ bash skript.sh              ← funguje
$ skript.sh
skript.sh: command not found  ← „.“ nie je v PATH
$ echo '$PATH'
$PATH                         ← v jednoduchých úvodzovkách sa nerozvinie

                              pri spustení ./s.sh a "b c":
for x in "$@"    → [a] [b c]        (2-krát, správne)
for x in "$*"    → [a b c]          (1-krát)
for x in $@      → [a] [b] [c]      (3-krát)

14 · Podmienky, cykly, aritmetika

Poznámky

• $((a + b)) = aritmetika, iba celé čísla (7 / 2 = 3, % = zvyšok)
• [ $a -eq $b ] čísla: -eq =, -ne ≠, -lt <, -le ≤, -gt >, -ge ≥
• (( a > b )) = číselné porovnanie, kde sa smie písať >
• [ "$a" = "$b" ], != = porovnanie reťazcov (medzery okolo sú povinné)
• -f existuje a je súbor, -d adresár, -e existuje, -r/-w/-x práva, -z prázdny reťazec, -n neprázdny reťazec
• v [ ] znamená > presmerovanie: [ 5 > 3 ] vytvorí súbor „3“
• a && b = b sa vykoná, iba ak a uspel
• a || b = b sa vykoná, iba ak a zlyhal
• a ; b = b sa vykoná vždy
• cykly: for i in 1 2 3, for i in $(seq 10 20), for ((i=0; i<5; i++)), while read r; do ...; done < subor

Príklady

$ a=5; b=3
$ echo $a+$b
5+3
$ echo $((a + b))
8
$ [ $a -gt $b ] && echo vacsie
vacsie
$ [ -d data ] && echo adresar
adresar
$ ls xyz || echo zlyhalo
ls: cannot access 'xyz': ...
zlyhalo

$ for i in $(seq 1 3); do echo "cislo $i"; done
cislo 1
cislo 2
cislo 3
$ while read r; do echo "-> $r"; done < ovocie.txt
-> jablko
-> hruska
-> slivka

15 · Polia

Poznámky

• z=(a b "c d") = pole s 3 prvkami (úvodzovky držia „c d“ pokope)
• ${z[0]} = prvý prvok (indexy sú od 0)
• $z bez indexu = iba prvý prvok
• ${z[@]} = všetky prvky
• ${#z[@]} = počet prvkov
• ${#z[0]} = dĺžka reťazca v prvku 0
• ${!z[@]} = indexy, ${z[-1]} = posledný prvok
• ${z[@]:1:2} = od indexu 1 dva prvky
• z+=(x) = pridá prvok, z[1]=X = zmení prvok
• "${z[@]}" s úvodzovkami = prvky ostanú celé. Bez úvodzoviek sa prvky s medzerou rozdelia.

Príklady

$ z=(jeden dva "tri styri")
$ echo ${z[0]}
jeden
$ echo $z
jeden                         ← iba prvý prvok!
$ echo ${#z[@]}
3
$ echo ${#z[0]}
5                             ← dĺžka slova „jeden“
$ z+=(pat)
$ echo ${z[@]}
jeden dva tri styri pat
$ k=(${z[@]})                 ← bez úvodzoviek
$ echo ${#k[@]}
5                             ← „tri styri“ sa rozdelilo

16 · Debug mód

Poznámky

• set -x = zapne debug (pred každý vykonávaný príkaz vypíše +)
• set +x = vypne debug (mínus zapína a plus vypína, opačne, ako by si čakal)
• bash -x skript.sh = spustí celý skript v debug móde
• #!/bin/bash -x = debug pre celý skript priamo zo shebangu
• set -v = vypisuje riadky skriptu tak, ako ich bash číta
• výpis debugu ide na stderr
• set -e nie je debug, ale ukončenie skriptu pri prvej chybe

Príklady

$ cat pokus.sh
#!/bin/bash
a=5
echo "a je $a"
$ bash -x pokus.sh
+ a=5
+ echo 'a je 5'
a je 5

17 · Používatelia a /etc

Poznámky

• whoami = moje meno, id = UID, GID a všetky skupiny, groups = skupiny
• /etc/passwd = čitateľný pre všetkých. Obsahuje meno, UID, GID primárnej skupiny, GECOS (celé meno, telefón…), domov a shell. Heslo je nahradené znakom x.
• /etc/shadow = hashe hesiel, číta ho iba root
• /etc/group = skupiny a ich členovia
• /etc = konfiguračné súbory. Bežný používateľ by ich nemal meniť a reštart po zmene väčšinou netreba.
• scp jano@server:/cesta/subor . = skopíruje súbor zo servera (secure copy)

Príklady

$ id
uid=1000(jano) gid=1000(jano) groups=1000(jano),27(sudo)
$ grep jano /etc/passwd
jano:x:1000:1000:Jano,izba 12,0900123456:/home/jano:/bin/bash
$ cat /etc/shadow
cat: /etc/shadow: Permission denied