克隆侠十三代v1.4升级说明:
1.屏蔽蜘蛛和屏蔽IP地址改为直接在nginx端屏蔽,保存后,无需重启软件即刻生效!
2.增加泛模板采集器,将要克隆的模板提前采集到本地,提升克隆速度。
泛站设置中,克隆网址 增加 提取模板网址 功能,可以将采集到本地的模板提取出网址。
3.增加@301www 选项,可以自由设置顶级域名是否301到www域名
4.增加泛站缓存访问,开启后,应对蜘蛛爬取泛站时,把服务器爬死的问题,这种情况很少,蜘蛛量特别大的时候,可以开启,主要是针对一些配置比较低的服务器才会出现爬死的问题。
5.防御设置中,增加 IP请求速率限制 开启后,可防止恶意攻击。
6.新增verify文件夹,里面可以放百度验证的HTML文件。因为开启 蜘蛛放行和404后,通过HTML标签验证,可能会验证不了。所以改成 HTML文件验证的方式。
7.日志记录,之前只是记录访问页面的,新的所有访问都会记录,访问图片,css,robots.txt 地图 404错误页面,都会得到记录,更好的掌握蜘蛛到底在你服务器上访问了什么。