当前位置:论坛首页 > Linux面板 > 讨论

网站在备案期间通管局要求关闭网站开启蜘蛛正常索引的...

发表在 Linux面板2019-5-10 22:39 [复制链接] 1 1353

首要前提,香港的服务器域名在已建站的前提下需要备案,或比较紧急的情况下需要快速上线的域名。在备案时不影响百度收录,及蜘蛛的正常爬行。首先,首先要写一个php代码判断用户是从什么地方来的,然后我们对应返回什么内容。下面直接上代码
<?php
function isCrawler() {
    echo $agent= strtolower($_SERVER['HTTP_USER_AGENT']);
    if (!empty($agent)) {
        $spiderSite= array(
            "TencentTraveler",
            "Baiduspider+",
            "BaiduGame",
            "Googlebot",
            "msnbot",
            "Sosospider+",
            "Sogou web spider",
            "ia_archiver",
            "Yahoo! Slurp",
            "YoudaoBot",
            "Yahoo Slurp",
            "MSNBot",
            "Java (Often spam bot)",
            "BaiDuSpider",
            "Voila",
            "Yandex bot",
            "BSpider",
            "twiceler",
            "Sogou Spider",
            "Speedy Spider",
            "Google AdSense",
            "Heritrix",
            "Python-urllib",
            "Alexa (IA Archiver)",
            "Ask",
            "Exabot",
            "Custo",
            "OutfoxBot/YodaoBot",
            "yacy",
            "SurveyBot",
            "legs",
            "lwp-trivial",
            "Nutch",
            "StackRambler",
            "The web archive (IA Archiver)",
            "Perl tool",
            "MJ12bot",
            "Netcraft",
            "MSIECrawler",
            "WGet tools",
            "larbin",
            "Fish search",
        );
        foreach($spiderSite as $val) {
            $str = strtolower($val);
            if (strpos($agent, $str) !== false) {
                return true;
            }
        }
    } else {
        return false;
    }
}
if (isCrawler()){
    echo header('Location: [url]  甲网页地址 '.[/u-rl]$request_uri);
}
else{
   echo header('Location: [url]乙网页地址'.[/u-rl]$request_uri);
}

?>

根据蜘蛛的头部判断是否为蜘蛛,如果是则返回一个页面,否则返回另一个页面,亲测有效,喜欢的可以收藏哦!
使用道具 举报 只看该作者 回复
发表于 2019-5-11 11:24:03 | 显示全部楼层
牛掰哄哄! 这个必须要收藏下
使用道具 举报 回复 支持 反对
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

普通问题处理

论坛响应时间:72小时

问题处理方式:排队(仅解答)

工作时间:白班:9:00 - 18:00

紧急运维服务

响应时间:3分钟

问题处理方式:宝塔专家1对1服务

工作时间:工作日:9:00 - 18:30

宝塔专业团队为您解决服务器疑难问题

点击联系技术免费分析

工作时间:09:00至18:30

快速回复 返回顶部 返回列表