wget e’ un tool di download files da terminale, abbiamo visto in precedenza come si installa su macosx.  Il suo uso si rivela utilissimo in tante occasioni, sopratutto per esempio quando dobbiamo scaricare files collegati a una macchina sulla quale non abbiamo un front-end grafico.
Ma non solo.

Per esempio, il comando:

wget http://www.ilmiosito.it

scarichera’ la home page del sito.
Altri utilizzi nel seguito dell’articolo:

Con il parametro “-r” si forzera’ wget a scaricare in modo ricorsivo anche i link collegati alla home page comprensivi di immagini e altri dati:

wget -r http://www.ilmiosito.it

wget permette anche di mascherare la propria identita’ fingendosi un browser qualsiasi nel caso servisse:

wget  -r -p -U Mozilla http://www.ilmiosito.it

Due opzioni molto importanti sono –wait e –limit-rate.
La prima serve per inserire una pausa tra un download e un altro e ogni tentativo di download, questo nel caso il sito riconoscesse il comportamento di wget come quello di un download manager e venisse percio’ blacklistato, col secondo comando si puo’ limitare il bitrate del download per evitare di saturare la banda in download.
Ad esempio (attenzione, si tratta di un solo rigo…):

wget –wait=20 –limit-rate=200K -r http://www.ilmiosito.it

Scarica tutti i files del sito in modo ricorsivo, fingendosi un browser Mozilla, aspettando 20 secondi tra un download e l’altro e limitando la banda a 200 Kilobit (KB/sec).
L’opzione -np (–no-parent) serve a confinare il download dei files presenti all’interno della stessa cartella…

Per automatizzare l’uso di wget e’ possibile inserire una serie di links di siti o files da scaricare, in un file di testo (separati ognuno da un “a capo”) e poi invocare il comando coi parametri adeguati per far si che wget scarichi l’intero elenco di files.
Il comando in oggetto e’:

wget -i lista.txt

I links all’interno del file di testo “lista.txt” verranno depositati all’interno della stessa directory.

wget puo’ inviare i parametri di username e password nel caso il sito o il servizio remoto lo richiedesse.
Un esempio: per chi possiede un account su rapidshare o altri servizi di download files che richiedono autorizzazione previo inserimento di username/password, e’ possibile inviare autenticazione all’interno dello stesso comando.
Per es.

wget –auth-no-challenge –user=USER –password=PASS -i lista.txt

In questo modo si otterra’ l’intera lista di files inviando per ognuno la corretta USER/PASS.
Se si aggiungera’ il parametro “&” alla fine del comando, sara’ possibile chiudere il terminale senza interrompere il download.
Oppure si puo’ utilizzar eil comando “screen”, che vedremo in un articolo a parte.

Ecco un altro comando un po piu’ complicato da analizzare:

wget -r -l1 -H -t1 -nd -N -np -A.mp3 -i ~/mp3blogs.txt

Ecco che significa:
-l1 (elle minuscola e 1) significa che si scaricheranno i files senza scendere oltre un livello di profondita’ nelle directory
-H
significa che wget potra’ scaricare files che sono linkati fuori dal dominio indicato
– t1
(ti minuscola e 1) indica il numero di tentativi da fare se non trova un file
-np significa no-parent: non si dovra’ uscire fuori da quella cartella…
-A.mp3 e’ l’unione del comando -A (–accept=LIST) e dell’estensione desiderata, significa che il comando scarichera’ solo e soltanto files con estensione “.mp3”
-N significa che wget scarichera’ solo i files nuovi inserendo un timestamp sui files scaricati
-nd significa che wget non creera’ directory localmente per tener pulito il download

il resto serve per cercare il file mp3blogs.txt nella home utente, nel quale saranno elencati i siti da visitare
Alla fine il tutto serve per scaricare dai siti elencati nel file di testo, i files mp3 collegati alle pagine.