12 Mai 2010
wget und robots.txt
Kategorie Computer
Per Default Einstellung folg wget der robots.txt. Sprich er lädt diese runter und schaut nach ob er z.b. eine bestimmte Datei runterladen darf oder nicht. Wenn nun z.b. in der robots.txt drinsteht das keiner Robot etwas runterladen darf: User-agent: * Disallow: / Dann wird wenn man wget im Debug Modus startet wget -d “URL” kommt [...]
0 Kommentar »