Ännu en ny och spännande kurs

här kommer vi att skripta, först på linux, med BASH och senare med Power Shell (& C:o).

Allt ni redan kan göra på kommandoraden i linux, kan ni även lägga i en textfil som ni gör körbar och som ni då kan använda som skript.

För att få lite mer ordning på det hela behöver ni naturligtvis behärska både slingor, funktioner och villkor.

Kursen består av en rad praktiska uppgifter som påminner om de problem ni kommer att få lösa som systemadministratörer i verkliga livet.

Väl mött,

Roland Ronquist

0708 73 74 70

roland.ronquist@gmail.com

Litteratur

För att det här skall gå bra behöver ni kunna två saker, dels skall ni naturligtvis känna till de viktigaste linuxkommandona, för när ni skriptar använder ni precis samma kommandon som när ni kör i terminalen. Vilket naturligtvis medför att när ni programmerar så kan ni hela tiden testa varje kommando manuellt. En bra början, om ni känner er lite ovana med linux är att titta på boken från Linux Server 1. Det andra vi måste kunna är programmeringsspecifika saker som variabler, funktioner, vilkorshantering, slingor, returvärden och liknande. Även på det området skulle Gurulabs-boken kunna vara en början.

Här finns det flera bra saker på webben att läsa:

Advanced Bash-Scripting Guide på Linux Documentation Project kan vara en bra början:

http://tldp.org/LDP/abs/html/

likaså har Gentoo (som vanligt) en bra guide även för dej som vill lära dej skripta:

http://devmanual.gentoo.org/tools-reference/bash/index.html

Vill du bli skript-ninja finns ju alltid:

http://www.shell-fu.org/

Vi har även ett par herrar som är mycket aktiva och hjälpsamma på bash-kanalen på freenode (IRC), som både har en FAQ och en Wiki för bash-relaterade problem:

http://mywiki.wooledge.org/BashGuide

http://mywiki.wooledge.org/BashFAQ

Böcker

Dave Taylors "Wicked cool shell scripts" från No Starch kan vara ett alternativ, om du vill ha en riktig bok som kamrat i sängen, mörka vinterkvällar. Omfattande och fartfylld, definitivt mer läsning än vad som behövs för att klara den här kursen. Tycker du man-sidorna är jobbiga och om du vill slippa sållningen som informationssurfandet alltid innebär, då kan du skaffa "Linux in a nutshell" från O'Reilly, smidig uppslagsbok som berättar det viktigaste om nästan allting.

Somliga vill kanske bli bättre på avancerade verktyg som sed eller awk, då rekomenderar jag Dale Doughertys "sed and awk" från O'Reilly. Vill du hellre dyka ner bland balla reguljära uttryck, då har du Jeffrey friedl:s trevliga 'Mastering Regular Expressions' (O'Reilly den med) som just kommit i en ny och utökad version vilket innebär att du säkert kan hitta den gamla till reapris om du vill vara lite sniken. Personligen är jag förtjust i Mitchell Waite och Stephen Pratas "Advanced UNIX - A Programmer's Guide" som efter 30 år fortfarande är en mycket lättläst och smidig introduktion till både C-programmering och skalprogrammering. Boken används ännu idag som lärobok på många universitet runt om i världen.

IRC

Glöm inte att det finns många hjälpsamma människor på nätet och IRC är en populär (och smidig) väg att hitta dem på.

Linuxlabbarna

Ni har totalt fyra laborationer på linuxdelen av kursen som ni skall göra och lämna in.

Dessa redovisas individuellt per epost (och eventuellt genom demonstration) till:

mail:roland.ronquist@gmail.com

Laboration 1: Installera LAMP-applikation

LAMP, Linux, Apache, MySQL och PHP har blivit som ett standardrecept för hur man snabbt bygger en fungerande och avancerad webbapplikation. En av de viktigaste orsakerna till att linux faktiskt blivit så populärt i serverrummen.

https://en.wikipedia.org/wiki/LAMP_(software_bundle)

I den här laborationen skall ni välja en passande LAMP-app att installera och skriva ett skript som gör det hela någorlunda automatiskt.

Om du väljer exempelvis https://wordpress.org/,  MediaWiki, OwnCloud eller NextCloud, så brukar alla dessa vara smidiga att installera utan någon egentlig konfiguration av de bakomliggande programmen (Apache, MariaDB (MySQL) eller PHP).

Tillvägagångssätt

Först installerar in de paket som behövs för att köra applikationen ("yum install", "apt install" eller "apt-get install" beroende på vilken distribution du kör). Sedan tankar du hem koden från någon av applikationerna nedan (alltså den senaste källkoden, inte något gammalt skrammel som din distribution råkar ha i sitt repository). Packa upp filerna på rätt ställe och gör de saker som krävs för att det hela skall fungera.

Är du mer ambitiös ser du till att alltihopa fungerar helt automatiskt, men det skulle kunna räcka om användaren får svara på någon fråga också.

Det finns naturligtvis många roliga saker man kan göra om man vill ha lite bling på sitt skript;

skicka meddelanden via epost, chat (IRC, XMPP, Tox, Telegram, Facebook, Twitter, SMS,...), ni kan skriva meddelanden till syslog, det går att visa textbaserade dialogrutor via programmet dialog eller grafiska via programmet zenity (ni kan få installera dem..),

WordPress

Detta är en av de absolut populäraste bloggplattformarna, detta har gjort att det finns väldigt många färdiga plugins och teman att  tanka hem, även fast det egentligen är avsett för bloggar så gör tilläggsmodulerna att det egentligen finns få webbtjänster man inte skulle kunna tänkas sätta upp med WordPress som grund.

https://wordpress.org/

https://en.wikipedia.org/wiki/WordPress

MediaWiki

Precis som WordPress talar vi om en väldigt populär lösning här. Wiki är ett hawaiianskt ord som betyder snabb, det används om en typ av informationsstjänst där användarna själva kan uppdatera informationen; Wikipedia är den mest kända wikin och MediaWiki är Wikipedias egna wiki-program. I och med att den är byggd för Wikipedia så klarar den extrem användning, både räknat i användare och informationsmängdens storlek.

https://www.mediawiki.org/wiki/MediaWiki

https://en.wikipedia.org/wiki/MediaWiki

OwnCloud

Är en populär informationstjänst som är tänkt att hjälpa privatpersoner och företag att bli oberoende av populära molntjänster för -främst- lagring. Från början var den tänkt att ersätta tjänster som DropBox och Google Drive, men -redan utan- pluginmoduler gör den mycket mer:

kalendrar kan administreras centralt (som hos Google)

dokument likaså (Google Docs)

det finns mobilappar och roliga tillägg för musik och media, och mycket annat.

https://owncloud.org/

https://en.wikipedia.org/wiki/OwnCloud

NextCloud

I våras valde nyckelutvecklarna till OwnCloud att starta om och lämna företaget OwnCloud, som ligger bakom den applikationen. Det nya projektet heter NextCloud och gör, ännu så länge, ungefär samma saker som OwnCloud, men vi kan förvänta oss att det hela kommer att gradvis utvecklas i en ny riktning.

https://nextcloud.com/
https://en.wikipedia.org/wiki/Nextcloud

Laboration 1 redovisas senast måndagen 12 december.

Skicka epost (roland.ronquist@gmail.com) med ditt skript och berätta vad det gör och vad jag behöver för att kunna provköra det (vilken dist, några speciella program och eventuella andra förutsättningar).

Laboration 2: säkerhetskopiering

Bakgrund

Detta är den absolut vanligaste skriptinguppgiften över huvud taget. Speciellt i samband med "kontors-it"; stora parallella klustersystem, som exempelvis det mesta som google håller på med, bygger på att informationen redan från början lagras på så många platser att ingen information raderas för att någon disk skulle råka dö. Många andra större informationstjänster bygger på den principen, men för oss andra så är säkerhetskopiering ett återkommande bestyr.

För den oinvigde verkar säkerhetskopiering enkelt, det är väl bara att köra tar, cpio, dump, rsync eller något av de andra fina verktygen som det vimlar av till linux, vad är problemet???

För det första har vi datamängden, dagens diskar är ganska rymliga. Skall ni ta en kopia på allt varje dag går det åt väldigt mycket lagringsutrymme och det finns framför allt två vägar att bemästra detta. För det första gör man gärna inkrementella säkerhetskopior, man kopierar bara de filer som ändrats sedan sist. För det andra har man ett schema, fullbackup i början på månaden, dessa sparas ett år; utom den som togs i januari som sparas 10 år (som är vanligt myndighetskrav för exempelvis bokföring). Varje dag tar man sedan inkrementella kopior som sparas till nästa fullbackup. Ungefär, backupschemat varierar med verksamhetens krav och naturligtvis beroende på hur mycket det får kosta.

Ett annat tekniskt problem är framför allt databaser, men även andra program som arbetar med (gärna stora) datafiler som uppdateras kontinuerligt och som sällan (eller aldrig stängs). Försöker du ta en kopia av en sådan fil är det troligt att databasen (eller vad det var för program) inte vill kännas vid filen när du återställt data från din säkerhetskopia. När det kommer till databashanterare finns det ofta verktyg, antingen för att dumpa innehållet till en datafil på ett kontrollerat sätt så att informationen kan återskapas från denna fil, eller så kanske man kan låsa filerna på disk tillfälligt. I värsta fall tvingas man stänga av databasen under den tid som säkerhetskopieringen varar. Rör det sej exempelvis om ett bokföringsprogram på ett företag som arbetar i bara en tidszon så brukar det ofta gå bra att stänga ned databasen under natten samtidit som man säkerhetskopierar. Men om vi i stället tänker oss någon form av ehandelsplattform, resebyrå eller liknande, i sådana fall brukar det krävas att allt skall vara tillgängligt dygnet runt och då måste du göra speciella saker för att det skall fungera.

Till själva uppgiften

Du skall göra en säkerhetskopia informationen som används av din LAMP-applikation som du installerade i skriptet i föregående laboration. Då vill du ha med dels alla konfigurationsfiler, databasen, samt naturligtvis php-kod och annat trevligt som du hittar i filträdet som din webbserver använder för att presentera applikationen när användarna surfar in från nätet.

Om du dumpar databasen med något roligt verktyg, det finns flera, eller om du stänger ner den under säkerhetskopieringen får du avgöra (och motivera själv). Du skulle naturligtvis även kunna skriva ett eget dump-skript i SQL om du är lite mer ambitiös och gillar databasprogrammering.

Det är bra om du presenterar lösningar för hur säkerhetskopieringen schemaläggs, både i form utav en plan (på måndagar gör vi så, på tisdagar si och vid fullmåne offrar vi en ko...) och ett schema, någon form av automatik som kör din säkerhetskopieringslösning enligt planen du beskrev nyss.

Laboration 2 redovisas senast måndagen 19 december.

Skicka epost (roland.ronquist@gmail.com) med ditt skript och berätta vad det gör och vad jag behöver för att kunna provköra det (vilken dist, några speciella program och eventuella andra förutsättningar).

Laboration 3: Återställningsskript

Bakgrund:
I linuxvärlden är det ovanligt att man ens försöker återställa programfiler och liknande som kommer med pakethanteringen. Program som du själv plockat in i systemet manuellt är en helt annan sak.
På systemet vi arbetar med här har du installerat LAMP-infrastrukturen från din distributions repository, Själva applikationen tankade ju ditt skript ned manuellt, dessa filer måste naturligtvis vara med i din säkerhetskopia från uppgift 2 ovan. Likaså vill du naturligtvis ha konfigurationsfiler och databas. Är du noga har du bara säkerhetskopierat de filer du själv ändrat, de som är orörda sedan installationen behöver du inte bry dej om eftersom du får motsvarande filer om du installerar igen.
Uppgift:
Du skall göra ett återställningsskript som dels återinstallerar de paket som behövdes för att kunna köra den applikation du installerade i första laborationen. Din LAMP-stack alltså. Sedan skall du slurpa tillbaka din säkerhetskopia så att ditt skript även återställer din applikation, med alla data, på en ny maskin (som redan har samma dist installerad som på den gamla maskinen).
Laboration 3 redovisas senast fredagen 23 december.

Skicka epost (roland.ronquist@gmail.com) med ditt skript och berätta vad det gör och vad jag behöver för att kunna provköra det (vilken dist, några speciella program och eventuella andra förutsättningar).



Laboration 4: administration och övervakning

Bakgrund:
När du kör en server finns det en rad saker du vill kunna hålla koll på. Vad som prioriteras och vad som faktiskt är viktigt kan variera ganska mycket mellan olika ställen. Har du exempelvis 10000 frontendservrar med identisk konfiguration som användarna kommer åt via någon form av lastbalansering, då spelar kanske inte diskarnas hälsa så stor roll på varje enskild maskin. Men man kan fortfarande vara intresserad av att lista ut ifall någon försöker bryta sej in i datorerna eller liknande. Driftar du system för ditt företags bokföring eller deras ehandelsplattform, då är ju prioriteten en helt annan när det kommer till diskarnas hälsa...
Har du maskiner som står i en väl kyld serverhall så är kanske inte temperaturmonitoreringen lika kritisk som om du hanterar ombordservrar i en fordonsflotta där det kanske både saknas fullgod kyla och där miljön varierar mycket mer och mycket oftare.
Uppgift:
Någon form av övervakningsprogram; vi kommer att prata mer om det i skolan och texten här kommer att uppdateras längre fram.

Laboration 4 redovisas i januari.

Skicka epost (roland.ronquist@gmail.com) med ditt skript och berätta vad det gör och vad jag behöver för att kunna provköra det (vilken dist, några speciella program och eventuella andra förutsättningar).







Hans exempel skript:

#!/bin/bash

# vi installerar lamp automagiskt
# rolles exempel

# root?

# [ nedan, se 'man test'
# -eq är två nummer samma?
if [ 0 -eq $(id -u) ]
then
  # vi uppdaterar vårt system
  apt update
  apt upgrade -y
  # vi installerar MariaDB och Apache2
  apt install -y mariadb-server mariadb-client apache2 libapache2-mod-php
  if [ -f phpBB-3.1.10.tar.bz2 ]
  then
    echo phpBB-3.1.10.tar.bz2 redan nedladdad
  else
    # antingen curl eller wget (wget ofta standard på din dist)
    # curl -o phpBB-3.1.10.tar.bz2 https://www.phpbb.com/files/release/phpBB-3.1.10.tar.bz2
    wget https://www.phpbb.com/files/release/phpBB-3.1.10.tar.bz2
  fi
  chown 1000 phpBB-3.1.10.tar.bz2
  if [ -e /var/www/phpBB3 ]
  then
    echo  /var/www/phpBB3 finns redan
    exit 8
  else
    bzip2 -dc < phpBB-3.1.10.tar.bz2 | (cd /var/www && tar xf - )
    mv /var/www/html /var/www/html..orig
    ln -s /var/www/phpBB3 /var/www/html
  fi
else
  echo du måste vara root din idiot
  exit 9
fi

exit 0