LINUX: Kode Kuras Web dengan WGET

Kodenya:

wget \
--recursive \
--convert-links \
--adjust-extension \
--page-requisites \
--span-hosts \
-e robots=off \
--timestamping \
--domains=software.endy.muhardin.com \
http://software.endy.muhardin.com

Cara penggunaan, tinggal copy paste aja di putty

Keterangan di atas:
Penjelasan opsi:

1. recursive : tiap ada link di halaman web, link tersebut ikut diunduh
2. convert-links : ubah link (halaman lain, gambar, javascript, dsb) menjadi link lokal, supaya dia tidak mengarah ke internet
3. adjust-extension : bila ada link yang dinamis seperti cgi, asp, php, konversi menjadi extension statis seperti html
4. page-requisites : unduh semua kebutuhan halaman supaya tampilannya sesuai asli (misalnya gambar, stylesheet, dsb)
5. span-hosts : banyak orang (termasuk saya) menghosting gambar di layanan publik seperti flickr, google plus, dan lainnya. Opsi ini menyuruh wget supaya link di luar website saya juga diunduh
6. robots=off : ada beberapa website yang melarang halaman dibuka selain oleh browser. Opsi ini perlu supaya larangan tersebut diabaikan
7. timestamping : timestamp tiap file diset sesuai di server. Ini memungkinkan kita untuk menjalankan lagi wget di lain hari untuk mengupdate website yang sudah pernah kita unduh. Dengan opsi ini, file yang sudah diunduh tidak akan diunduh ulang. Menghemat bandwidth dan waktu
8. domains : membatasi halaman yang diunduh hanya untuk domain tertentu
URL website yang ingin diambil. Pada contoh di atas adalah http://software.endy.muhardin.com