当前位置:论坛首页 > Linux面板 > 讨论

想屏蔽抓取问号后面的网址,robots要这么写呢?

发表在 Linux面板2020-10-14 14:13 [复制链接] 5 1753

最近收录了很多 http://www.xxx.com/?mType=Group 这样的网址,问号后面的字符是随机的,如果想屏蔽要这么写呢?谢谢大佬
Disallow: /?* 这样写对吗
还是要 Disallow: /?*=*

想用百度站长工具抓取下试试 好像也不能用了
使用道具 举报 只看该作者 回复
发表于 2020-10-14 14:18:04 | 显示全部楼层
对不对站长后台可以测试的嘛,你输入几个网站测试一下是否正常屏蔽或者生效,,
使用道具 举报 回复 支持 反对
发表于 2020-10-14 14:26:22 | 显示全部楼层
wordpress建站安装 发表于 2020-10-14 14:18
对不对站长后台可以测试的嘛,你输入几个网站测试一下是否正常屏蔽或者生效,, ...

站长工具不能用了,显示 请求出错,请稍后重试。
使用道具 举报 回复 支持 反对
发表于 2020-10-14 16:54:21 | 显示全部楼层
Disallow: *?*
使用道具 举报 回复 支持 反对
发表于 2020-10-14 16:55:18 | 显示全部楼层
如果确定问号前面只会有斜杠,也可以这么写
Disallow: /?*
使用道具 举报 回复 支持 反对
发表于 2020-10-14 18:11:26 | 显示全部楼层
倾心丨WHY 发表于 2020-10-14 16:55
如果确定问号前面只会有斜杠,也可以这么写
Disallow: /?*

好的 谢谢
使用道具 举报 回复 支持 反对
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

企业版年付运维跟进群

普通问题处理

论坛响应时间:72小时

问题处理方式:排队(仅解答)

工作时间:白班:9:00 - 18:00

紧急问题处理

论坛响应时间:10分钟

问题处理方式:1对1处理(优先)

工作时间:白班:9:00 - 18:00

工作时间:晚班:18:00 - 24:00

立即付费处理
快速回复 返回顶部 返回列表