解决SEO网站URL规范问题 分析Twitter由于URL规范问题造成严重后果的案例

　　Google上次更新Pr值，很多人受到鼓舞(不少seo行业朋友的网站pr值都上升了，包括不少新站)。不过，没有经过多久，google又来了一次pr更新，不少seo行业朋友的网站pr升上去，又降下来了！最经典的应当是Twitter这个网站的Pr值的变化，可谓“惊心动魄”了！也是刚刚从ZAC的博客上看到这篇文章的介绍，也结合了一些自已的想法，也是为了向各位外贸seo行业的朋友传达一个概念：URL的规范特别重要，即使，你再强盛的网站，URL不规范，也会受到影响的！

　　6月27号Google工具条PR更新了一次，然后很多人注意到Twitter首页PR降为零。(Google首页也降到9，不过这不是重点。)7月19号Google居然又更新一次工具条PR。Google更新工具条PR值从一个月一次变到3个月一次，以至半年一次，所以这次不到一个月就再次更新有点蹊跷。据目前透露的信息，这次更新PR貌似主要就是为了修正Twitter PR值的问题。【当时我还在庆幸了，相信很多朋友也是这样的，我把我的这个seo博客(chineseb2c.com)投入了一个301跳转的实验，之前是运用的huaseo.cn这个域名的，因为最近做英文seo的时分，301没有什么效果，我就运用我的这个seo博客进行301实验了，刚刚跳转两周左右，就更新PR了，而且Pr值还到2了，不过，301跳转之前的网站Pr也是2，但是，这第二次更新Pr的时分，我的Pr又回去了!!】

　　今天看到SEL上Vanessa Fox的一篇文章，解释了为什么Twitter的一些技术失误导致Google抓取、URL规范化、PR计算等一系列问题，这是一个很经典的URL规范化的问题，对于网站整体的性能影响特别大的。所以，分享出来和大家一起关注这个问题。

　　为什么不是Google的错误，Google却这么上心，更新了PR呢?预测原因有二：

　　一是无论任何情况下Twitter首页PR为零，大家肯定是说Google有问题，而不是Twitter有问题，虽然其实确实是Twitter自己造成的。

　　二是，在Google+推出的同时，Google与Twitter合作合同到期了，不能直接通过API抓数据了，这时分Twitter PR降为零，大家恐怕心里会嘀咕，这Google真是过了河立刻就拆桥啊，Google不想背这个黑锅。

　　言归正传。

　　Google一位发言人回复SEL关于Twitter PR时说：

　　最近Twitter不断修改它们的robots.txt文件和HTTP头信息，玩得太起劲了，暂时造成Google算法处理Twitter时的URL规范化问题。现在规范化问题差不多解决了，所以我们更新了工具条PR以反映最新数据。Twitter在Google索引库里一直有很高PR，没有惩罚。

　　所以Vanessa Fox研究了一下Twitter到底有什么robots文件、服务器头信息、URL规范化问题。真是不看不明白，一看吓一跳。顺便提一下，Vanessa Fox是前Google员工，负责网管工具webmaster tools的。

　　Vanessa Fox搜了一下自己名字“Vanessa Fox”，结果如下图：　

　　URL规范

　　有URL，但没标题，没说明，也就是其实没抓取，只是部分索引。【相信大家以前也遇到过这种问题，我也遇到过，就是我在做外贸seo的时分，产品网站在做好之前是禁止收录的，有的时分，外贸B2C产品网站已经开始建设外链了，但是，还没有开启收录，结果就会出现这种问题，即有URL，没有标题，也没有说明】