我来分享： 关于网站死链的若干问题

那么，今天小编就为大家讲解一下，死链是如何产生的；死链对网站又有何影响；我们应该如何去发现死链；我们应该如何正确处理死链。

导致网站出现死链的因素有很多。而最常见的因素有6个：

1、网站内部添加了错误的内部链接：由于编辑员的失误或者是程序员的大意，导致网站产生了一些不存在的页面，而这些页面就是死链。

2、网站出现暂时无法访问的情况：由于服务器、空间或者程序出了问题，导致网在短时间内无法访问，那么网站就会产生大量返回码为5开头的服务器错误页面。

3、外部链接的错误：用户或者站长在站外发布了错误URL；别的网站复制或采集了你们含有错误链接的页面。

4、爬虫提取了不完整的url：由于网站个别url中存在不规则字符，或者url与后面的文字链接起来，导致个别爬虫在提取页面url时，提取了不完整的url，使得url变得无效。

5、网站改版：这是最容易产生死链的一个因素。因为网站在改版的时候，会删除许多的老页面，从而会导致网站产生大量的死链。

6、管理员删除页面：网站管理员删除被黑、广告、过时、被灌水页面导致很多死链接。

死链对网站的影响有三方面，分别是：

1、影响搜索引擎对网站的评分。

2、会浪费掉搜索引擎抓取网站页面的配额并且会影响其他正常页面的抓取。

3、会影响网站的用户体验。

网站的链接那么多，我们可以通过什么方法去发现死链呢？

1、百度站长工具中的抓取异常工具可以查看最近一个月产生的各种死链，并支持导出功能。

1、百度站长工具：站长工具有一个抓取异常工具，可以查看最近一个月所产生的链接，而且可以导出。

2、使用相关爬虫软件：比如Xenu，可以爬取全站所有链接并分析页面状态，分析完成后，还可以导出，对于我们提取死链接很方便。

3、在网站运营中，特别是论坛，经常需要删除某些页面，在删除页面时一定要记录对应的Url以便后期提交死链。

通过上述两种办法提取的死链列表，一定要经过删重和验证，比如用wps表格进行删除重复链接，然后再使用Http状态批量查询工具验证下是否确实是死链接。

1、网站改变是最容易产生死链接的，所以我们在改版网站的时候，尽量不要删除或修改一些有价值的url。如果我们一定要更换域名或者url分配规则的话，那么我们一定要对之前有价值的url进行一个301跳转，使其跳转到相关的url上。如果我们真的要删除老的数据的话，那么我们必须要对删除的页面的url进行整理以及提交死链。

2、对于那些已经整理好的死链粘贴到网站根目录的一个文档中，然后将这个文档地址提交到百度站长工具--网页抓取--死链提交--添加新数据--填写死链文件地址，这样就可以处理网站所发现的死链了。当然，如果这些死链是有一定规则的话，我们可以用规则开提交死链的。

相关注意事项：

1、在百度站长工具中提交死链前，一定要确保提交的死链数据不存在活链接。一旦存在活链，会显示提交失败导致无法删除。

2、由于很多网站程序问题，很多打不开的页面返回码并非404，这是一个大问题，比如明明是打不开的页面返回码是301、200、500，如果是200的话，会导致网站中出现不同URL获取相同内容。比如我的一个站，社区的帖子删除后，返回码却是500，后期发现了，立马进行了处理。大家尽量找出所有错误URL格式，并设置HTTP状态码为404。

3、把所有的错误页面找到后，一定要寻找此类页面URL相同特征，并且和正常页面的特征有区分，写对应规则到robots文件中，禁止蜘蛛抓取，就算你已经在站长工具中提交了死链，也建议robots封禁抓取。

4、robots只能解决蜘蛛不再抓取此类页面，但解决不了已经收录页面的快照删除问题，若你的网站被黑，删除了被黑页面，除了robots封禁被黑页面外，还应该将这些页面提交死链。提交死链是删除被黑页面快照的最快办法。