营销分享
浅谈新站问题robots.txt文件是否正确
2014-07-11 12:33  浏览:338040  搜索引擎搜索“手机晒展网”
温馨提示:信息一旦丢失不一定找得到,请务必收藏信息以备急用!本站所有信息均是注册会员发布如遇到侵权请联系文章中的联系方式或客服删除!
联系我时,请说明是在手机晒展网看到的信息,谢谢。
展会发布 展会网站大全 报名观展合作 软文发布

  前几天,刚上的一个新站淘宝减肥超市,但百度一直都没有收录,而谷歌收录很正常,这让我感到特别困惑,于是便到网上查了一下原因,发现以下几个原因:

  百度停止收录有下几个原因:

  1.百度对新站的考验。由于是新站,而未能获得百度的信赖,需要考验一段工夫。

  2.WEB站短期内采集过多。由于baiduspider对于网上千百复制的东西已经厌烦。

  3.网页内容伪原创没有价值。由于过度伪原创,网页不具有可读性,完全没有价值,被百度丢弃。

  4. Robot.txt设置错误,禁止了蜘蛛D抓取。

  5.服务器不稳定或者程序含有病毒

  看完之后,我分析了一下网站,这个网站没有任何采集内容,都是原创内容,而且是每天都会更新网站内容的,网站关键词也没有任何堆砌现象,服务器运用的是万网独立空间,访问速度还算可以的吧,但网站迟迟没有被百度收录,剩下的就是一和四两种原因吧。百度对新站的考验这个我是了解的,但也不用这么长工夫,于是我猜想可能是Robot.txt设置错误,禁止了蜘蛛D抓取了吧,给大家看看之前我写的Robot.txt文件内容:

  

 

  就是这段代码,之前我都是这样写的,没发现有任何问题的,大家也可以看看有没有什么问题,请指导一下,现在我又直接将Robot.txt文件内容改成了这样的:

  # Robots.txt file from http://www.qiantu123.com

  # All robots will spider the domain

  User-agent: *

  Disallow:

  希望百度能够收录成功,这也是在网上找到的Robot.txt写法,但不明白是否准确,本人是新手,正在学习, 望大家指教一下。我的QQ是:1021360269.

  本文由淘宝减肥超市原创,网址:http://www.qiantu123.com/转载请注明

    IP:113.118.50.***     举报/删稿
展会推荐
让朕来说2句
评论
收藏
点赞
转发