| Blog信息 |
|
blog名称:
日志总数:1304
评论数量:2242
留言数量:5
访问次数:7630218
建立时间:2006年5月29日 |
| |
|
 [网络与系统管理]AWStats 6.4 final安装笔记
软件技术
lhwork 发表于 2007/2/10 23:31:28 |
| 1.安装# wget http://jaist.dl.sourceforge.net/sourceforge/awstats/awstats-6.4.tgz# tar zxvf awstats-6.4.gz# cp -r awstats-6.4 /usr/local/awstats# chown -R root:root /usr/local/awstats# chmod -R 755 /usr/local/awstats# cd /usr/local/awstats/tools# perl awstats_configure.pl安装过程中会让你回答下列等问题Do you want me to setup Apache to write 'combined' log files [y/N] ? yDo you want me to build a new AWStats config/profile file (required if first install) [y/N] ? yYour web site, virtual server or profile name:> www.test.comDirectory path to store config file(s) (Enter for default):> /usr/local/etc/awstats安装过程会自动在httpd.conf文件中添加下面的配置信息Alias /awstatsclasses "/usr/local/awstats/wwwroot/classes/"Alias /awstatscss "/usr/local/awstats/wwwroot/css/"Alias /awstatsicons "/usr/local/awstats/wwwroot/icon/"ScriptAlias /awstats/ "/usr/local/awstats/wwwroot/cgi-bin/"<Directory "/usr/local/awstats/wwwroot">Options NoneAllowOverride NoneOrder allow,denyAllow from all</Directory>修改主机配置文件(/usr/local/etc/awstats/awstats.www.test.com.conf)，重点检查LogFile、LogType、LogFormat、 SiteDomainin、HostAlias这几个选项对于在GNU/Linux上统计Apache日志只需修改：LogFile SiteDomain这2个选项1. GNU/Linux LogFile="/var/log/httpd/access_log.%YYYY-24%MM-24%DD-24"这个配置的意思是用24小时前的年份，月份，日期拼出的日志文件名；2. SiteDomain="www.test.com"站点的名称，缺省是空的，如果为空，AWStats将拒绝运行；3. 对于统计IIS日志需要多修改一个：LogFormat=2缺省值是1：Apache日志，2是IIS日志 创建/usr/local/share/awstats目录用于统计数据输出# mkdir -p /usr/local/share/awstats/http修改/usr/local/apache/conf/httpd.conf配置文件把 CustomLog logs/access_log combined改成CustomLog /var/log/httpd/mylog.log combined我的配置文件部分内容如下LogFile=" /var/log/httpd/mylog.log"SiteDomain="www.test.com"HostAliases="test.com www.test.com 192.168.0.3"DirData="/usr/local/share/awstats/http"其他需要注意的事项AWStats缺省不过滤swf文件，会把.swf算成PageView，所以如果站点上swf文件主要是广告的话最好还是要过滤掉。2.日志统计统计主机日志# cd /usr/local/awstats/wwwroot/cgi-bin/# perl awstats.pl -config=www.test.com -update -lang=cn你可以生成一个静态页面来浏览信息 # perl awstats.pl -config=www.test.com -output -staticlinks -lang=cn> awstats.www.test.com.html定时统计主机日志#update awstats30 7 * * * /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=www.test.com -update -lang=cn测试http://192.168.0.3/awstats/awstats.pl?config=www.test.com3.虚拟主机日志统计AWStats自带了一个批处理工具：tools/awstats_updateall.pl，可以批量地遍历一个目录下所有地配置文件并运行统计。因此剩下的工作就主要是日志的同步问题了。针对多个站点，很多配置选项是重复的，如果每个配置文件都修改维护起来会很麻烦，AWStats从5.4版本开始提供了配置文件包含的功能，所以我们可以配置一个通用配置，比如：common.conf然后其他站点的配置设置为：可以通过后面的选项覆盖和缺省不一致的配置。awstats.bbs.chedong.confInclude "chedong.common.conf"LogFile "/path/to/bbs_log"SiteName "bbs.chedong.com"awstats.www.chedong.confInclude "chedong.common.conf"LogFile "/path/to/www_log"SiteName "www.chedong.com"HostAliases="chedong.com" 统计指标说明* 参观者：按来访者不重复的IP统计，一个IP代表一个参观者；* 参观次数：一个参观者可能1天之内参观多次（比如：上午一次，下午一次），所以按一定时间内（比如：1个小时），不重复的IP数统计，参观者的访问次数；* 网页数：不包括图片，CSS, JavaScript文件等的纯页面访问总数，但如果一个页面使用了多个帧，每个帧都算一个页面请求；* 文件数：来自浏览器客户端的文件请求总数，包括图片，CSS，JavaScript等，用户请求一个页面是，如果页面中包含图片等，所以对服务器会发出多次文件请求，文件数一般远远大于文件数；* 字节：传给客户端的数据总流量；* 来自REFERER中的数据：日志中的参考（REFERER）字段，记录了访问相应网页之前地址，因此如果用户是通过搜索引擎的搜索结果点击进入网站的，日志中就会有用户在相应搜索引擎的查询地址，这个地址中就可以通过解析将用户查询使用的关键词提取出来：比如：2003-03-26
15:43:58 123.123.123.123 - GET /index.html 200 192 HTTP/1.1
Mozilla/4.0+(compatible;+MSIE+5.01;+Windows+NT+5.0)
http://www.google.com/search?q=chedongAWStats在搜索引擎的关键短语和关键词统计方面的功能还是比较完整的：可以对全世界3百多种机器爬虫进行识别，并且可以识别大部分主流国际化搜索引擎和很多地区的本地语言搜索引擎。4.plugin安装GeoIP需要GeoIP C LibraryGeo::IP Perl Module (faster, but requires C library) Geo::IP::PurePerl Module (slower, but does not require C library)C Library和Perl Module是一组，必须先编译安装C的，再编译安装perl，或者直接装PurePerl Module，我就是这种方式安装GeoIP C Library# wget http://www.maxmind.com/download/geoip/api/c/GeoIP-1.3.8.tar.gz# tar zxvf GeoIP-1.3.8.tar.gz# cd GeoIP-1.3.8# ./configure; make; make install安装 Geo::IP Perl Module# wget http://www.maxmind.com/download/geoip/api/perl/Geo-IP-1.25.tar.gz# tar zxvf Geo-IP-1.25.tar.gz# cd Geo-IP-1.25# perl Makefile.PL# make# make test (在AS4下通不过，放弃，改装PurePerl Module)# make install以上两步也可以这样安装# perl -MCPAN -e shellcpan> install Geo::IP安装Geo::IP::PurePerl Module# wget http://www.maxmind.com/download/geoip/api/pureperl/Geo-IP-PurePerl-1.14.tar.gz# tar zxvf Geo-IP-PurePerl-1.14.tar.gz# cd Geo-IP-PurePerl-1.14# perl Makefile.PL# make# make test# make install也可以这样安装# perl -MCPAN -e shellcpan> install Geo::IP::PurePerl修改/usr/local/etc/awstats/awstats.www.test.com.conf，取消下面这行的注释，启用此插件LoadPlugin="geoip GEOIP_STANDARD"更新GeoIP库# cd /usr/local/share/GeoIP/# wget http://www.maxmind.com/download/geoip/database/GeoIP.dat.gz# gunzip GeoIP.dat.gz 定时更新GeoIP库0 0 * * * root /usr/local/bin/geoipupdate -v安装XWhois# perl -MCPAN -e shellcpan> install Net::XWhois修改/usr/local/etc/awstats/awstats.www.test.com.conf，取消下面这行的注释，启用此插件LoadPlugin="hostinfo"安装decodeutfkeys# perl -MCPAN -e shellcpan> install URI::Escape修改/usr/local/etc/awstats/awstats.www.test.com.conf，取消下面这行的注释，启用此插件LoadPlugin="decodeutfkeys"更新日志/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=www.test.com -update -lang=cn 5.分析其它日志5.1.ftp日志5.1.1.proftp设置proftp更改proftpd.conf文件，添加如下两行LogFormat awstats "%t %h %u %m %f %s %b"# 注意：在％号之间必须用tab键作为分隔符，不能用空格键ExtendedLog /var/log/xferlog read,write awstats# WARNING: ExtendedLog directive might need to be placed inside a virtual host context if you use them然后关闭老的日志格式TransferLog none# WARNING: TransferLog directive might need to be placed inside a virtual host context if you use them. 想让你的设置生效，先停止proftp服务，删除旧的日志文件/var/log/xferlog，然后启动proftp服务。登陆ftp，下载一个文件，你的新日志文件会有新的一行，类似如下这个样子：[01/Jan/2001:21:49:57 +0200] ftp.server.com user RETR /home/fileiget.txt 226 1499设置AWStats复制配置文件awstats.model.conf到/usr/local/etc/awstats目录下，并把文件名改成awstats.ftp.conf，修改这个新的配置文件# mkdir -p /usr/local/share/awstats/ftp# cp /usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf /usr/local/etc/awstats/awstats.ftp.conf# vi /usr/local/etc/awstats/awstats.ftp.interpack.cn.confLogFile="/var/log/xferlog" LogType=F LogFormat="%time1 %host %logname %method %url %code %bytesd" LogSeparator="\t"SiteDomain="ftp.test.com"HostAliases="ftp.test.com 192.168.0.3"DirData="/usr/local/share/awstats/ftp" NotPageList="" LevelForBrowsersDetection=0 LevelForOSDetection=0 LevelForRefererAnalyze=0 LevelForRobotsDetection=0 LevelForWormsDetection=0 LevelForSearchEnginesDetection=0 ShowLinksOnUrl=0 ShowMenu=1 ShowSummary=UVHB ShowMonthStats=UVHB ShowDaysOfMonthStats=HB ShowDaysOfWeekStats=HB ShowHoursStats=HB ShowDomainsStats=HB ShowHostsStats=HBL ShowAuthenticatedUsers=HBL ShowRobotsStats=0 ShowEMailSenders=0 ShowEMailReceivers=0 ShowSessionsStats=1 ShowPagesStats=PBEX ShowFileTypesStats=HB ShowFileSizesStats=0 ShowBrowsersStats=0 ShowOSStats=0 ShowOriginStats=0 ShowKeyphrasesStats=0 ShowKeywordsStats=0 ShowMiscStats=0 ShowHTTPErrorsStats=0 ShowSMTPErrorsStats=0统计主机日志# /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=ftp.test.com -update -lang=cn你可以生成一个静态页面来浏览信息 # perl awstats.pl -config=ftp.test.com -output -staticlinks -lang=cn> awstats.ftp.test.com.html定时统计主机日志#update awstats30 7 * * * /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=ftp.test.com -update -lang=cn测试http://192.168.0.3/awstats/awstats.pl?config=ftp.test.com5.2.mail日志适用于Postfix, Sendmail, QMail复制配置文件awstats.model.conf到/usr/local/etc/awstats目录下，并把文件名改成awstats.mail.conf，修改这个新的配置文件# mkdir -p /usr/local/share/awstats/mail# cp /usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf /usr/local/etc/awstats/awstats.mail.conf# vi /usr/local/etc/awstats/awstats.mail.confFor standard Postfix, Sendmail, MDaemon and standard QMail logfiles, setLogFile="perl /usr/local/awstats/tools/maillogconvert.pl standard < /var/log/maillog |"If the logfiles are compressed, they can be processed this wayLogFile="gzip -cd /var/log/maillog.0.gz | /usr/local/awstats/tools/maillogconvert.pl standard |"And for VAdmin QMail logfiles (multi-host/virtualhost mail servers running vadmin software), setLogFile="perl /usr/local/awstats/tools/maillogconvert.pl vadmin < /var/log/maillog |"Then, whatever is you mail server, you must also change: LogType=M LogFormat="%time2 %email %email_r %host %host_r %method %url %code %bytesd"SiteDomain="mail.test.com"HostAliases="mail.test.com 192.168.0.3"DirData="/usr/local/share/awstats/mail" LevelForBrowsersDetection=0 LevelForOSDetection=0 LevelForRefererAnalyze=0 LevelForRobotsDetection=0 LevelForWormsDetection=0 LevelForSearchEnginesDetection=0 LevelForFileTypesDetection=0 ShowMenu=1 ShowSummary=HB ShowMonthStats=HB ShowDaysOfMonthStats=HB ShowDaysOfWeekStats=HB ShowHoursStats=HB ShowDomainsStats=0 ShowHostsStats=HBL ShowAuthenticatedUsers=0 ShowRobotsStats=0 ShowEMailSenders=HBML ShowEMailReceivers=HBML ShowSessionsStats=0 ShowPagesStats=0 ShowFileTypesStats=0 ShowFileSizesStats=0 ShowBrowsersStats=0 ShowOSStats=0 ShowOriginStats=0 ShowKeyphrasesStats=0 ShowKeywordsStats=0 ShowMiscStats=0 ShowHTTPErrorsStats=0 ShowSMTPErrorsStats=1统计主机日志# /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=mail.test.com -update -lang=cn你可以生成一个静态页面来浏览信息 # perl awstats.pl -config=ftp.test.com -output -staticlinks -lang=cn> awstats.mail.test.com.html定时统计主机日志#update awstats30 7 * * * /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=mail.test.com -update -lang=cn测试http://192.168.0.3/awstats/awstats.pl?config=mail.test.com |
|
|