网站日志分析让你及时发现网站问题提升SEO效果

作为一名SEOer，对网站进行日志分析是必备的工作，通过日志分析蜘蛛返回的状态码能及时发现网站里面是否存在错误或者蜘蛛无法爬取的页面，得以发现问题及时解决。

网站日志分析

网站日志分析有什么用？

1、重要的频道(大量流量着陆页面，高转化率，用户直接交易页面等)有更多的爬虫来抓取;
2、在爬虫一定的抓取时间内，尽量少花精力放在一些无用的噪音页面上(重复页面，低质量页面，空内容页面，404页面，不排名页面，低转化页面等);
3、爬虫在抓取页面的时候，(店家网：抖音运营资料)，尽量增加抓取的有效性，而不是重复抓取几篇相同的页面;
4、爬虫不会被繁杂的URL参数所扰，不会进入无休止的爬虫陷阱中;
5、每个页面的下载时间足够的快，这样，可以让爬虫在时间一定的基础上能够更多的抓取页面;
6、爬虫都能够完整的抓到我们想让他抓的页面，不要抓到我们的隐私页面;
7、日志中不要有太多的404，不要有无理由的跳转，(快手运营如何做好账号分析,快速涨粉)，不要有很多的500(服务器错误),这样的情况出现;
8、那些更新频繁但是价值很低的页面不要吸引太多的爬虫精力;
9、我们所有的产品，所有的品类，所有一切有用的东西都要被爬虫完整爬到并且快速遍历;
10、能用碰到真正的爬虫，(正规的淘宝运营公司有哪些)，而不是一些模拟爬虫的机器人;
11、爬虫能够完整的下载到我们的robots.txt;
12、爬虫可以根据我们入口的调整，robots.txt的限制引导，JS的设计等按照我们的要求进行爬取;
13、爬虫越多越好。。。对我们的兴趣越大越好，当然，一切是在我们自身信任度和重要度增加的基础上。

常用网站日志分析工具
1、天眼日志分析系统

软件介绍：
天眼日志分析系统是中国推广学院推出的一套针对SEO日志分析软件，支持windows和linux等操作系统的日志分析。包括对百度、谷歌、360和搜狗等搜索引擎蜘蛛爬行情况分析。另外软件独创网站安全分析，和IP黑名单功能。软件兼容性强可以在本机和服务器系统直接运行。是目前国内出色的SEO日志分析系统。

2、爱站日志分析

软件介绍：
爱站日志分析工具是一款由爱站打造的日志分析软件，能帮助站长进行日志分析工作，即时监控蜘蛛访问状况，发现问题，及时处理。此工具可以自动识别IIS、Apache、Nginx日志格式,支持直接拖拽日志一个或多个文件（夹）至窗口进行分析，每一项数据都分别以“数据显示”和“图形显示”两种不同方式向用户展示数据结果。

20171013_101946.png

爱站SEO工具包之网站日志分析工具使用方法

网站日志分析工具视频教程 – 爱站seo工具包

3、光年日志分析

1，这是第一个专门为SEO设计的日志分析软件。以前的很多日志分析软件，都是顺带分析一下SEO方面的数据，而这个软件里面分析的每一个指标都是为SEO设计的。而且很多的分析维度，都是其他日志分析软件没有的。这能让你看到很多非常有用、但是以前获取不了的数据。
2，它能分析无限大的日志，而且速度很快。很多的日志分析软件，在日志大于2G以后，都会越来越慢或者程序无响应。而这个软件能分析无限大的日志，并且每小时能分析完40G的日志。这对于那种需要分析几个月内的日志、以及要分析几十G的大型网站的日志都非常有帮助。
3，能自动判断日志格式。现在很多的日志分析软件，(专业网站快速排名)，对Nginx或者CDN日志都不支持，而且对日志记录的顺序都要格式要求。而这个软件就没有这么多的限制，它能从日志中自动检测到哪个是时间、哪个是URL、哪个是IP地址等等。
4，软件容量小、操作简单、绿色免安装版。这个软件不会动不动就几十M，现在软件还不足1M，可以用邮件附件非常方便发出去。软件的操作也很简单，三个步骤就可以。还有就是软件不需要安装，是绿色免安装版。

光年日志分析工具V2.0使用说明：

如何获取网站日志？

这个就不多说了，获取网站日志大家在虚拟主机后台多找找一定有的。如果是用的VPS。拿到日志更不再话下，要说的是，如果网站启用了CDN，需要到CDN后台去下载日志

如何让阿里云服务器日志按天生成？

阿里云CDN日志默认按小时生成，(京东开店需要营业执照么)，通过工具可以按天记录日志
CentOS中设置Apache服务器网站访问日志[每天的日志]
在阿里云的linux 服务器下Apache的日志默认设置是七天更新一次, 并且所在的目录无法通过FTP浏览器查看, 这样让小白操作起来非常麻烦
可以使用rotatelogs来设置服务器的网站访问日志按天记录,每天生成一个单独的文件, 这样非常方便查看