织梦DedeCMS站点robots文件详细写法以及优化
织梦DedeCMS本身自带有一个robots.txt文件,但是里面的设置很简单,并不能完全满足网站的优化要求,尤其是对于使用伪静态的网站来说,robots.txt文件的优化,要怎样做才行呢?
下面是我的一点想法,适用于伪静态的DedeCMS网站。
User-agent: *
Disallow: /dede 织梦管理后台目录,需要改名,具体设置在下面详细说明
Disallow: /include 程序核心文件目录
Disallow: /member 会员管理目录,有些文件可以开放
Disallow: /plus 插件及辅助功能目录
Disallow: /templets 织梦模板文件存放目录
Disallow: /data 系统缓存或其它可写入数据存放目录
Disallow: /uploads 上传下载文件保存目录,不想搜索引擎引用图片的话,禁止
Disallow: /images 系统默认模板图片存放目录
Disallow: /index.php 网站默认首页,静态化的话,最好禁止
Disallow: /404.html 404错误页面
Allow: /plus/search.php 开放禁止目录里的具体文件
下面着重讲下后台管理目录和栏目页的设置:
1、dede后台管理目录,为了网站安全考虑需要改名。然而改名之后,大家不免疑惑:改了名,应该在robots.txt文件里怎么设置禁止搜索引擎抓取呢?如果直接禁止抓取,就泄露了后台目录,等于改名无效。我们可以通过下面的设置解决这个问题,如我们设置后台目录为dedecms:
在robots.txt文件里面加上“Disallow: /d*ms”这句就可以了。
这样我们就能即禁止了搜索引擎的抓取,又不会泄露了后台目录名称。
2、栏目页。有些人会注意到,如果网站不做伪静态优化的话,栏目分页后会有两个链接指向栏目首页,如*/web/和*/web/list_1_1.html,为了网站优化,建议先将栏目分页优化以下(具体做法大家可以在网上找),把首页和第一页的链接改为*/web/的形式,然后在robots.txt文件里做以下设置:
在robots.txt文件里面加上“Disallow: /*1.html$“这句。
以上就是DEDECMS robots.txt文件的设置,大家可以根据自己网站的情况具体设置。
注意事项:
1.为安全起见,最好按官方说明设置好网站目录权限;
2.后台目录改后的名称开头字母和结尾字母不要和其他目录有相同之处;
3.设置完成后最好用百度站长工具测试一下robots.txt文件设置是否有效。
免责声明:本站所有文章和图片均来自用户分享和网络收集,文章和图片版权归原作者及原出处所有,仅供学习与参考,请勿用于商业用途,如果损害了您的权利,请联系网站客服处理。
来源:网友投稿 关注:
时间:2020-03-19 08:33
☉首先声明,只要是我们的vip会员所有源码均可以免费下载,不做任何限制(了解更多)
☉本站的源码不会像其它下载站一样植入大量的广告。为了更好的用户体验以后坚持不打水印
☉本站只提供精品织梦源码,源码在于可用,不在多!!希望在这里找到你合适的。
☉本站提供的整站织梦程序,均带数据及演示地址。可以在任一源码详情页查看演示地址
☉本站所有资源(包括源码、模板、素材、特效等)仅供学习与参考,请勿用于商业用途。
☉如有其他问题,请加网站客服QQ进行交流。
☉本站的源码不会像其它下载站一样植入大量的广告。为了更好的用户体验以后坚持不打水印
☉本站只提供精品织梦源码,源码在于可用,不在多!!希望在这里找到你合适的。
☉本站提供的整站织梦程序,均带数据及演示地址。可以在任一源码详情页查看演示地址
☉本站所有资源(包括源码、模板、素材、特效等)仅供学习与参考,请勿用于商业用途。
☉如有其他问题,请加网站客服QQ进行交流。
相关织梦教程:
- dedecms SQL注入漏洞 member/album_add.php 修复
- dedecms cookies泄漏导致SQL漏洞 /member/article_add
- Windows虚拟主机指定目录禁用脚本执行权限方法
- 西部数码虚拟主机设置禁止脚本执行权限
- 阿里云主机设置织梦程序禁止脚本执行权限及禁止写入
- dedecms织梦导致CPU峰值现象的解决办法
- 织梦程序网站被挂马或快照劫持终极解决办法
- 阿里云提醒/member/reg_new.php注入漏洞解决办法
- 织梦安全:更改plus名称
- 织梦栏目属性增加链接rel、nofollow和新窗口target
- 织梦问答模块PHP7报错解决方法
- dedecms解决移动端首页不自动更新问题