phpnow设置apache日志记录百度蜘蛛Baiduspider谷歌蜘蛛爬行

phpnow设置apache日志记录蜘蛛爬行，
日志里面记录蜘蛛的作用应该不用我详细说明了，很多站长都很需要，尤其是百度的蜘蛛记录，下面我简要说下让apache日志记录蜘蛛爬行的设置。做seo的都要分析网站日志，这个很多用的。

Apache默认的日志记录方式如下：
#
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common
LogFormat "%{Referer}i -> %U" referer
LogFormat "%{User-agent}i" agent
# You need to enable mod_logio.c to use %I and %O

# logged therein and *not* in this file.

CustomLog logs/access.log common

记录到的如下：
123.150.183.110 - - [01/May/2011:00:00:17 +0800] "GET /gwykszh/ HTTP/1.1" 200 23540

Apache还有个较复杂的combined的日志记录方式，如下：
LogFormat “%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined
把上面的 CustomLog logs/access.log common 改成CustomLog logs/access.log combined
其记录到的类似：
123.150.183.110 - - [01/May/2011:00:00:17 +0800] "GET /gwykszh/ HTTP/1.1" 200 23540 “-” “Baiduspider+

(+http://www.baidu.com/search/spider.htm)”
这上面是记录全部蜘蛛的，一般来说这样就够了，网络上面还有说只记录百度蜘蛛的大家可以参考下：

为了能更方便的了解Baidu蜘蛛来访的情况，索性单独写了个只记录Baidu蜘蛛来访记录。common中的%l和%u好像都记录不到东

西的，所以也去掉。

SetEnvIfNoCase User-Agent Baiduspider baidu_robot
LogFormat “%h %t \”%r\” %>s %b” robot
CustomLog “|/usr/local/apache2.2.0/bin/rotatelogs /usr/local/apache2.2.0/logs/baidu_%Y%m%d.txt 86400 480″

robot env=baidu_robot
或者
CustomLog logs/access.log common
这样在logs目录下，就会每天产生baidu_年月日.txt的日志了，每条的记录和下面的类似：
220.181.38.90 [01/May/2011:23:59:33 +0800] “GET / HTTP/1.1″ 200 8427

方法很简单，如果你要只记录其他蜘蛛的记录也很容易，如法炮制就行了，可能做英文站的站长会有这种需要。