【已回应】nginx 防火墙5.7是不是屏蔽了sitemap 爬虫百度抓...

nginx 防火墙5.7 是不是屏蔽了 sitemap 爬虫百度抓取失败！ QQ图片20190312182244.png

你们这要测试一下啊！

2293310198 · 发表于 2019-3-12 19:50:55

没有这个问题，建议点那个抓取失败看看具体原因，针对性解决

宝塔技术-小强 · 发表于 2019-3-13 09:25:38

关于sitemap的问题。在内测版本是存在这个问题，但是后面的话。把爬虫不拦截了。
现在应该不存在这个sitemap 爬取失败的了

宝塔技术-小强 · 发表于 2019-3-13 09:26:11

如果你的提交连接很多，可以选择把防御CC的阀值调大一些

宝塔技术-小强 · 发表于 2019-3-13 09:29:10

如果还有问题请联系 Q 1249648969

宝塔技术-小强 · 发表于 2019-3-13 09:44:56

宝塔技术-小强 · 发表于 2019-3-13 09:45:28

11号之前。当时的会拦截。后续修改之后。这个sitemap 的表格

可爱大白白 · 发表于 2019-3-13 16:28:08

宝塔技术-小强发表于 2019-3-13 09:45
11号之前。当时的会拦截。后续修改之后。这个sitemap 的表格

cc值调多大

宝塔技术-小强 · 发表于 2019-3-13 16:44:54

240 或者360

可爱大白白 · 发表于 2019-3-13 17:56:42

本帖最后由可爱大白白于 2019-3-13 17:57 编辑

宝塔技术-小强发表于 2019-3-13 16:44
240 或者360

240 或者360 写哪里呢？ QQ图片20190313175615.png

宝塔技术-小强 · 发表于 2019-3-13 18:05:37

第二个啊

【已回应】nginx 防火墙5.7是不是屏蔽了sitemap 爬虫 百度抓...