对于一个站长,尤其是像我这样的菜鸟站长,十分在意搜索引擎的收录情况,但有时候好几天也没有动静,这时候就纳闷了,是不是蜘蛛没有来爬取我的网站?但无奈菜鸟一只,不懂得如何查看,今天上网查了一会,终于找到了3个解决方案(最后一种不推荐,对wordpress修改变得很大),都是简单易懂,操作方便,最适合新手使用。
方案一:使用代码
<?php
functionget_naps_bot()
{
$useragent =strtolower($_SERVER['HTTP_USER_AGENT']);
if(strpos($useragent,'googlebot')!==false){
return'Googlebot';
}
if(strpos($useragent,'msnbot')!==false){
return'MSNbot';
}
if(strpos($useragent,'slurp')!==false){
return'Yahoobot';
}
if(strpos($useragent,'baiduspider')!==false){
return'Baiduspider';
}
if(strpos($useragent,'sohu-search')!==false){
return'Sohubot';
}
if(strpos($useragent,'lycos')!==false){
return'Lycos';
}
if(strpos($useragent,'robozilla')!==false){
return'Robozilla';
}
returnfalse;
}
functionnowtime(){
$date=gmdate("Y-n-j H:i:s",time()+8*3600);
return$date;
}
$searchbot =get_naps_bot();
if($searchbot){
$tlc_thispage =addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="spiderlogs.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispagen");
fclose($data);
}
?>
将上面贴出来的代码另存为spider.php,你可以任意给它取个名字,只要保证扩展名是php,让它能够正常执行即可;然后上传到“/wp-content /themes/使用的主题”目录中;最后在你的模板文件中调用它,例如在Wordpress博客中,你可以在footer.php文件中添加"<!--?php include('spider.php') ?--><!--蜘蛛记录-->"。
接下来就是等待搜索引擎蜘蛛到你的网站来爬行了,爬行的结果记录在网站根目录的spiderlogs.txt中,你直接打开http://ihuan.me/sp
方案二:使用wp-log-robots插件
很简单,在后台搜索该插件,安装并启用,等一会儿,然后直接在浏览器地址栏:http://ihuan.me/robots_log.txt ,这样当有蜘蛛访问后你就会看到蜘蛛抓取的记录了。这个插件,非常小,插件主文件只有一个 wp-log-robots.php ,大小仅3KB。关键它的统计数据不用添加到数据库中,而是以文本文件记录下来的。当然了,如果空间内存不足的话可以删除文件,让他从新生成
方案三:使用SEO蜘蛛来访统计插件
这个插件在后台搜不到,功能和wp-log-robots差不多,好处就是看起来舒服一点。截图如下(当然了,我也是新安装的,蜘蛛不多。但是百度还真靠谱,刚安上就检测到百度的蜘蛛):

当然了,我的是新安装的还有统计图表没有出来
百度网盘飞机票:http://pan.baidu.com/s/1ntwowmH
我用的是光年日志分析软件,是不只要能分析日志就行,就不用改这些代码了?
2015年4月13日 10:52
安装SEO蜘蛛来访统计插件后底部会出现此链接
2015年2月28日 11:32好吧,我只能说,坑爹的插件作者!!!!
2015年2月28日 11:48我也是今天才发现的,太可恶了,提醒大家不要用啊!
2015年2月28日 12:01准不准啊?
2015年2月27日 08:18只要不开静态,对方没有UA模拟就是准确的
2015年2月27日 11:21我觉得,就第一种相当的不错
2014年10月25日 16:55其实,第二个最好,完全不影响速度
2014年10月25日 17:04那我现在就弄去,我一直认为只要是插件,就会影响速度呢
2014年10月25日 17:48可以试试
2014年8月31日 15:01安心做内容,这个以后再说
2014年8月31日 12:42很少见到有检测蜘蛛的文章,不过要想知道真实情况可以去百度站长平台看索引量。
2014年8月31日 11:57百度蜘蛛来的挺多,就是收录不行
2014年8月31日 12:59不错啊!
2014年8月30日 23:40谢谢
2014年8月31日 11:24挺不错的,支持一下,以后会经常关注该博客,同时欢迎回访!
2014年8月30日 22:25谢谢
2014年8月31日 11:24感谢分享
2014年8月30日 21:07