配资券商平台

股票配资 股票配资 资讯 查看内容

学会正确建立网站的robots.txt文件

2020-07-11| 发布者: 武昌信息港| 查看: 135| 评论: 1|配资券商平台文章来源: 互联网

摘要: 学会正确建立网站的robots.txt文件robots.txt文件的建立,文件以txt形式体现,txt文件告诉抓取工具哪些文件可抓取,......
学会正确建立网站的robots.txt文件
robots.txt文件的建立,文件以txt形式体现,txt文件告诉抓取工具哪些文件可抓取,哪些文件不抓取,可以做到快速的抓取高质量高权重的页面,提升网站优化效果。

robots.txt基本写法有:
1) 、允许所有搜索引擎访问网站的所有部分
2) 、禁止所有搜索引擎访问网站的所有部分
3) 、只需要禁止蜘蛛访问某个目录,比如禁止admin、css、images等目录被索4)、屏蔽一个文件夹/templets,但是又能抓取其中一个文件的写法:/templets/main
5)、 禁止访问/html/目录下的所有以”.php”为后缀的URL(包含子目录)
6)、 仅允许访问某目录下某个后缀的文件
7)、 禁止索引网站中所有的动态页面
8)、 禁止搜索引擎抓取我们网站上的所有图片(如果你的网站使用其他后缀的图片名称,在这里也可以直接添加)

许多cms程序都有缓存目录,这种缓存目录的优点是能够十分有用的晋升网站的拜访速度,削减网站带宽,对用户体会也是极好的。不过,这样的缓存目录也有必定的缺陷,那就是会让查找引擎进行重复的抓取,一个网站中内容重复也是大错,对网站百害而无一利。许多运用cms建站的兄弟都没有注意到,有必要要导致注重。

错误地阻挡了robots索引网站:有两种方法可能阻挡robots:主机服务器的根目录下有简单文本文件;网页中含某种META标签。

很多网站有意无意的直接在robots文件屏蔽了百度或网站部分页面,却整天在找原因为什么蜘蛛不来抓取我的页面,这能怪百度吗?你都不让别人进门了,百度是怎么收录你的网页?所以有必要时常去检查一下网站robots文件是否正常。

配资券商平台 robots.txt文件:robot文件告诉搜索引擎你的网站哪部分可以抓取,哪部分不可以抓取,把你的xml网站地图放进robot文件中。Robots文本,可以对网络蜘蛛设定,让他有针对性的去爬取你想要让他看到的内容。


文章来源  




鲜花

握手

雷人

路过

鸡蛋

最新评论(1)

Powered by 武昌信息港 X3.2  © 2015-2020 武昌信息港版权所有