#!/bin/bash

set -eu

# Header:
# Kenteken,Voertuigsoort,Merk,Handelsbenaming,Vervaldatum APK,Datum tenaamstelling,Bruto BPM,Inrichting,Aantal zitplaatsen,Eerste kleur,Tweede kleur,Aantal cilinders,Cilinderinhoud,Massa ledig voertuig,Toegestane maximum massa voertuig,Massa rijklaar,Maximum massa trekken ongeremd,Maximum trekken massa geremd,Retrofit roetfilter,Zuinigheidslabel,Datum eerste toelating,Datum eerste afgifte Nederland,Wacht op keuren,Catalogusprijs,WAM verzekerd,Maximale constructiesnelheid (brom/snorfiets),Laadvermogen,Oplegger geremd,Aanhangwagen autonoom geremd,Aanhangwagen middenas geremd,Vermogen (brom/snorfiets),Aantal staanplaatsen,Aantal deuren,Aantal wielen,Afstand hart koppeling tot achterzijde voertuig,Afstand voorzijde voertuig tot hart koppeling,Afwijkende maximum snelheid,Lengte,Breedte,Europese voertuigcategorie,Europese voertuigcategorie toevoeging,Europese uitvoeringcategorie toevoeging,Plaats chassisnummer,Technische max. massa voertuig,Type,Type gasinstallatie,Typegoedkeuringsnummer,Variant,Uitvoering,Volgnummer wijziging EU typegoedkeuring,Vermogen massarijklaar,Wielbasis,Export indicator,Openstaande terugroepactie indicator,Vervaldatum tachograaf,Taxi indicator,Maximum massa samenstelling,Aantal rolstoelplaatsen,Maximum ondersteunende snelheid,API Gekentekende_voertuigen_assen,API Gekentekende_voertuigen_brandstof,API Gekentekende_voertuigen_carrosserie,API Gekentekende_voertuigen_carrosserie_specifiek,API Gekentekende_voertuigen_voertuigklasse

function lees_data() {
	# FIXME remove head -n 10 once done
	cat /vol/share/groups/liacs/scratch/pt2020/Open_Data_RDW__Gekentekende_voertuigen-sample.csv.bz2 \
	| bunzip2 \
	| tail -n +2 \
	| grep -v '"'
}

function personen_autos() {
	lees_data | grep "Personenauto"
}

echo "Kenteken formaten"
personen_autos | cut -f1 -d',' | sed "s/[A-Z]/X/g" | sed "s/[0-9]/9/g" | sort | uniq -c
echo

echo "Top 10 modellen"
personen_autos | cut -f3,4 -d',' | sort | uniq -c | sort -n -r | head -n10
echo

echo "Top 10 taxi modellen"
personen_autos | cut -f3,4,56 -d',' | awk 'BEGIN { FS="," } $3 ~ /Ja/ { print $1 "," $2 }' | sort | uniq -c | sort -n -r | head -n10
echo

echo "Gemiddelde leeftijd merken met > 100.000 personenauto's"
personen_autos | cut -f3,6 -d',' | sed "s/\([^,]*\),[0-9]*\/[0-9]*\/\([^,]*\)/\1,\2/" | cut -f1- -d '/' | sort | ./groepeer_merken.py | sort -n
echo

echo "Personen auto's geregistreerd per weekdag"
personen_autos | cut -f6 -d',' | python3 weekdag.py | sort | uniq -c | sed "s/^ *//" | sed "s/ /,/" | python3 weekdag_plot.py
#xdg-open weekdagen.pdf
echo

# Merk,cataloguswaarde,vermogen
echo "Gemiddelde waarden cataloguswaarde en vermogen per merk"
personen_autos | cut -f3,24,51 -d',' | python3 waarde_vermogen.py
#xdg-open scatter_waarde_vermogen.pdf
echo