点睛时刻 - 专注互联网创业、网络营销、淘客引流推广、seo优化

关闭

当前位置:首页 > seo优化 » 正文

SEO教程 robots.txt文件常见用途

网站广告
本文将为你介绍最常用的四种robots.txt文件格式。

1. 允许所有的搜索引擎访问网站的任何部分

User-agent: *
Disallow:

(或者也可以建一个空文件 "/robots.txt")

2. 禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

3. 禁止所有搜索引擎访问网站中所有的动态页面

User-agent: *
Disallow: /*?*

4. 禁止网站上的程序文件被搜索引擎蜘蛛索引,这样可以节省服务器资源。

一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

User-agent: *
Disallow: /admin/   后台管理文件
Disallow: /require/   程序文件
Disallow: /attachment/  附件
Disallow: /images/     图片
Disallow: /data/       数据库文件
Disallow: /template/   模板文件
Disallow: /css/       样式表文件
Disallow: /lang/      编码文件
Disallow: /script/    脚本文件
注:每个网站的文件夹名字可能会不一样

网站广告
上一篇:SEO 经验教程 网页图片优化技巧
下一篇:谷歌调整nofollow标签对PR的处理

相关推荐

网站广告

猜你喜欢


关于我们

会员中心

广告合作

联系我们

  • 微信公众号
  • 站长QQ
  • 站长微信
二维码
关闭
关闭