为什么网站链接可以拜访，还会被蜘蛛判定为死链接
发布时间：2022-03-13 14:11:21 所属栏目：搜索优化 来源：互联网
导读：网站链接可以点击打开页面，但是网站日志中爬虫显示为死链接（如何发明网站死链，请查看下载死链检测工具：死链检测工具Xenu）。 【详述】：死链发生的原因是：因为友链页面上线时候，程序员没加内容，主动返回404了，而且是网站每个页面底下都会呈现，才
|
网站链接可以点击打开页面，但是网站日志中爬虫显示为死链接（如何发明网站死链，请查看下载死链检测工具：死链检测工具Xenu）。 【详述】：死链发生的原因是：因为友链页面上线时候，程序员没加内容，主动返回404了，而且是网站每个页面底下都会呈现，才会呈现这么多死链接。但是及时处置之后，还会有爬虫爬的成果是死链，我正常点击是没问题的，不知道为啥？主要的是我现在能做些什么抢救下吗？ 网站死链 【解决方案】：依据我的经验，这个时光仅作为参考吧，究竟无法考证。（日志里看不到蜘蛛在这个时光对死链URL的抓取）我猜测中间流程是这样的：（如何处置死链，seo大神分享死链解决方案教你如何处置预防网站死链） 为什么网站链接可以拜访，还会被蜘蛛判定为死链接 （1）蜘蛛抓取了死链前链URL，缓存到百度的页面库中； （2）蜘蛛发明死链URL返回了404，并且连续一段时光拜访，依然返回404（用于断定该页面是否为临时404，当连续返回404次数到必定阈值后，不再拜访，认定该URL是死链），将该URL纳入死链库； （3）抓取导出了死链的页面，断定这些页面上是否依然导出了死链，如果依然导出，则记载该次抓取时光； （4）注意，第三步，可能只会抓取死链前链的页面，不会再对死链URL进行抓取（即使死链URL现在已经好了，但没能在短时光内正常返回状况码/页面信息，所以不会再被抓取）； 【死链对网站的影响】尽量从程序上严谨地进行设计，死链问题虽小，但可能会因为呈现的时光长、范畴广，而影响到整体网站的表示具体为： （1）导出死链的页面，评分会受到影响（如果有多数页面，因为导出死链而在页面评级层面从高质>一般>低质进行改变的话，对整个网站也是一种丧失）； （2）如果经常导出死链，可能会使网站的内容质量受到疑惑（特殊是使用了页面提交的情形下，可能会使得搜索引擎分配给网站的资源配额降低。 综合起来，死链这个问题还是要严厉节制的。试想一下，页面导出黑链、垃圾页面、低质量页面，就已经够页面受的了，导出让搜索引擎根本无法辨认的页面，搜索引擎会喜欢吗？ （编辑：大连站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐