robots文件与死链接的关系

2020-02-13

 

近期有好多SEO学习者在群里问关于robots与死链的关系,其实这些问题我们在SEO培训课程中也▍做过相应的讲解,可能大▌家在下来实际操作的过程中没有真正掌握或理解robots文件及死链的作用及关系,下面优就业SE۩O培训学院骆宝龙老师再为大家捋一捋Ω思路:

Robot的应用:主要用于定义允许/禁止哪些搜索引擎蜘蛛的爬取,允许/禁止蜘蛛可以爬取的网站路径,允许╱╲/禁止蜘蛛爬取URL的规则,▌告诉某些搜索引擎网站地图的URL,例如我的Robot就简单简单定义了⿳几个规则:

死链的处理:这ì里针对@百度搜索引擎讨论,主҉要还┄┅是到站长工具μ里面,把死链提交给百度,告诉百度这个链接不存在,请求删除之前的收录,这里是以txt或xml形式批量■提交死链给百度;

现在谈谈死链与Robot的关系,很多人就把死链提交到Ro∩bots定∩义里面,认为用Disallow来禁止百度蜘蛛的抓取,这个想法是好的,出发点无非※是不想♦让百度收↔录自己网站的死链,但是有没有๑考虑到快照问题,☎就是这个链接是个死链,但Ё是在网站收录里面还有快照存在≌,你就会想∵,是不是百度还能抓取到我的≯死链↑,所以你就在Robot里面加了N多⊕行的⊙Disallow,来禁止百度收录你的死链,我们一直不太认可这么一◆个做法,其实这完全是一个本末倒置的做法。

需要搞清楚∩死·。链→是如何产生的?死链是由于文△件删除或者路径修改产生的不可访问的链接,那么你ъ需要做的第一步是完全清除死‖链,第二步是提交死链,而 Robots的禁止收录,是因为路‥径λ存在,但是你不希望被搜索引擎收录,比如网站后台或者用户中心一ō类,所以才加的Dis๑allow去禁止收录,死链是访问不到的链接,如果你第一步清除完了,๑存在这个Dis◎allo╠╡w的必要吗?因为你不完全●·清除死链,势必影响用户体验。

总结:死链是必⿺须а清除的,对于搜索引擎而言,网站收录之ρ前的死链∮一般不会被收录,因为没有价值;收录之后的@死链,可能用户会在搜索结果或者站内浏览时点击到,影响用户体验,所以必须提交死链和投诉快照加快死链°゜处理。robots与死链的关系很微妙,差别就在于这个死链地址是否还存在于网站内链┙当中◇。

相关文章