WGET


Download hinter Proxy

Schnell mal per Proxy was downloaden :

export http_proxy="proxy:8080" 
#export ftp_proxy="proxy:8080"
export proxy_username="mydomuser"
export proxy_passwd="geheim"

dann:

wget http://server/verzeichnis/datei

oder:

export http_proxy=http://mydomuser:geheim@proxy:8080

dann:

wget http://server/verzeichnis/datei

Nach getaner Arbeit mindestens das Passwort in den Variablen wieder löschen:

unset proxy_passwd
unset http_proxy
history -c


Downloadbandbreite beschränken

Bandbreite eines Downloads auf 200k/s begrenzen, damit andere Benutzer nicht gestört werden:

wget --limit-rate=200k http://cdimage.debian.org/debian-cd/current/i386/iso-dvd/debian-6.0.2.1-i386-DVD-1.iso


CURL

nur einen bestimmten Dateityp downloaden:

zunächst Indexdatei downloaden:

curl --proxy-user doedel:seinpasswort -x proxysrv:8080 -v http://ftp5.gwdg.de/pub/opensuse/update/13.1/i586/ -o index.html

dann Indexdatei bearbeiten und in Dateiliste umwandeln:

cut -d \> -f3 index.html | cut -d \< -f1 >>neueindex.htm

jetzt am Anfang die URL einfügen:

awk '{print "url = http://ftp5.gwdg.de/pub/opensuse/update/13.1/i586/"$0}' neueindex.htm >getfile.lst

Jetzt Dateien downloaden:

curl --proxy-user doedel:seinpasswort -x proxysrv:8080 -v -K getfile.lst


selbstgenerierte Zertifikate beim Download ignorieren
echo insecure >> ~/.curlrc
curl https://meinServer/meineDatei.txt
#oder gleich
curl -k https://meinServer/meineDatei.txt


Komprimierung testen
curl  -H "Accept-Encoding: gzip" -I http://mysrv


siehe auch: Audio

 
 
/www/htdocs/w00d1d2b/wiki/JS_data/pages/linux/wget.txt · Zuletzt geändert: 2017/10/24 10:28 von richard