蜘蛛若不能准确爬行网站页面带来的后果可能就是网站一直不会被看好,所以,肯定要关注蜘蛛是怎样爬行你的网站页面的哦!世界工厂网小编为大家介绍一种工具,方便站长们查询蜘蛛是否准确爬行你的网站页面!
不明白站长们有没有查过蜘蛛能否准确爬行网站的页面链接,中文seo工具中有很多的蜘蛛模拟器,可以查看蜘蛛抓取的网页文字内容,但是却很少有工具给出蜘蛛爬行的链接。
webconfs.com是国外比较闻名的seo网站,主如果为大家提供一些SEO工具,比如闻名的关键词密度检查器、蜘蛛模拟器等,其中蜘蛛模拟器不仅给出了抓取的问题内容,还给大家提供了爬行的链接——Spidered Links。
运用这个工具可以查看蜘蛛是否能够准确的爬行页面上的链接地址,笔者也是刚发现了要与大家分享的问题——网站内页中的相对地址蜘蛛是无法准确爬行的。笔者刚上线的钱江人才网就出现了这样的问题。
下面笔者就以自己的网站为例,给大家分享一下,希望可以作为参考,蜘蛛模拟器工具的地址为:http://www.webconfs.com/search-engine-spider-simulator.php,在查询框中输入自己的网站,这里最好查询你自己网站的内页,因为首页的相对地址对蜘蛛来讲一般不会出现问题。笔者的网站查询结果部分截图分析:

打开上面的地址网页是不存在的,因为爬行的地址是错误的,这里由于网站页面中运用是相对地址,准确的地址为www.xxxx.com/News/...,这里蜘蛛抓取的时分给漏掉了一个目录,就无法准确的向下爬行了。
所以网站的内页最好还是运用绝对地址,蜘蛛可以直接去爬行准确的链接地址。