【已完成】新版NG防火墙怎么屏蔽指定搜索引擎的爬虫

新版NG防火墙怎么屏蔽指定搜索引擎的爬虫？或者说删掉蜘蛛池对应的搜索引擎IP即可？

大炮运维V587 · 发表于 2022-12-1 18:09:20

您好，您可以到UA黑名单中添加对应的蜘蛛UA，可以拦截

宝塔用户_lqppox · 发表于 2022-12-1 18:15:28

大炮运维V587 发表于 2022-12-1 18:09
您好，您可以到UA黑名单中添加对应的蜘蛛UA，可以拦截

例如拦截谷歌蜘蛛之后用户还能通过谷歌浏览器打开设置后的网站吗

大炮运维V587 · 发表于 2022-12-1 18:29:06

宝塔用户_lqppox 发表于 2022-12-1 18:15
例如拦截谷歌蜘蛛之后用户还能通过谷歌浏览器打开设置后的网站吗

蜘蛛的UA和google浏览器的访问是不同的，你添加蜘蛛的ua就好

宝塔用户_lqppox · 发表于 2022-12-1 18:30:43

大炮运维V587 发表于 2022-12-1 18:29
蜘蛛的UA和google浏览器的访问是不同的，你添加蜘蛛的ua就好

添加了添加了之后谷歌浏览器就访问不了了。。。。。。。。。。。

宝塔用户_lqppox · 发表于 2022-12-1 18:38:47

宝塔用户_lqppox 发表于 2022-12-1 18:30
添加了添加了之后谷歌浏览器就访问不了了。。。。。。。。。。。

OK 搞定了，刚才添加成浏览器的UA了