整站爬虫命令-白红宇

整站爬虫命令

阅读量：6577 次

发布时间：2019-06-24

本文共 604 字，大约阅读时间需要 2 分钟。

原文链接：https://user.qzone.qq.com/296917342/blog/1551108123

整站爬虫命令：

linux平台

wget --mirror --convert-links  --adjust-extension --page-requisites  --retry-connrefused  --exclude-directories=comments -U "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:47.0) Gecko/20100101 Firefox/47.0"  --execute robots=off  http://xxxx.com

wget --mirror --convert-links --adjust-extension --page-requisites --retry-connrefused --exclude-directories=comments -U "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:47.0) Gecko/20100101 Firefox/47.0" --execute robots=off

转载于:https://www.cnblogs.com/machangwei-8/p/10452868.html

你可能感兴趣的文章

SNMP AGENT函数介绍

查看>>

[Usaco2005 Open]Disease Manangement 疾病管理 BZOJ1688

查看>>

【Android视图效果】分组列表实现吸顶效果

查看>>

多文件上传示例源码(默认支持各种类型，包括图片)

查看>>

命令行基本操作学习笔记（一）

查看>>