网站robots文件里默认的都是这些,请问这些都是不要被收录的,为什么所有的网站都默认这些

User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets

  你用的应该是开源程序,这个程序在设置开发时,他们弄的,你可以不用去管,如果你还有其他需要不收录的地方,可以在下面继续添加就可以。
  希望,能给你带来些帮助!
温馨提示:答案为网友推荐,仅供参考
第1个回答  2013-07-22
用的是dedecms吧(织梦)。开源程序设置好的,大家使用这一套程序,当然一个样了。别的程序就不一样了,因为网站内的文件名称就不可能一样。

相关了解……

你可能感兴趣的内容

本站内容来自于网友发表,不代表本站立场,仅表示其个人看法,不对其真实性、正确性、有效性作任何的担保
相关事宜请发邮件给我们
© 非常风气网