宝塔用户_wfueze 发表于 2024-5-23 10:02:41

【已完成】请问像这种流量限制会影响蜘蛛的抓取吗？

小鸡太弱了，想把流量限制得小一点，不晓得这术会不会影响蜘蛛抓取？



运维技术阿闯 发表于 2024-5-23 10:28:39

您好，流量限制是会限制蜘蛛的，您可以设置合理的方式，比如搜索引擎的蜘蛛是特定的User-Agent标识自己，您可以通过允许这些User-Agent的访问来确保搜索引擎蜘蛛不受流量限制的影响。

宝塔用户_wfueze 发表于 2024-5-23 11:46:17

好的，懂了

运维技术阿闯 发表于 2024-5-23 11:52:07

宝塔用户_wfueze 发表于 2024-5-23 11:46
好的，懂了

好的，后续有问题可以再开新帖呢
页: [1]
查看完整版本: 【已完成】请问像这种流量限制会影响蜘蛛的抓取吗？