结论先行:旧地址没有完全等价的迁移目标时,优先判断它是否仍有承接价值。有承接价值就保留一个可访问的替代页并做指向说明,没有承接价值就让旧地址返回410,而不是统一甩到首页。这个选择的前提是你能确认旧地址的流量来源和内容相关性;如果旧地址仍被外部引用、仍有用户直接访问,直接410会丢掉这部分入口,此时应改为保留一个最接近的替代页。
第一种是内容被拆分或合并,旧地址的主题分散到了多个新页面;第二种是内容被彻底删除,新站没有对应主题。这两种情况的处理代价不同。前者可以选一个最接近的新页面承接,并在页面上说明内容去向;后者没有可承接对象,继续保留旧地址只会让用户和抓取程序反复落到空内容上。
判断依据可以看两个信号:旧地址在迁移前是否有稳定的外部链接或直接访问,以及旧地址主题在新站是否还有至少一个相关页面。两个信号都成立时,保留替代页的成本低于直接删除;只有一个成立时,需要按下面第二节的条件再取舍。
保留替代页适合以下情况:旧地址仍有外部引用,或旧地址主题与某个新页面高度相关,用户从旧地址进入后能继续完成原来的目的。此时动作是把旧地址指向最接近的新页面,而不是指向首页。指向首页会让用户和抓取程序得到一个与预期无关的页面,后续判断该地址是否已处理完会更加困难。
直接返回410适合以下情况:旧地址主题在新站已无对应内容,且没有明显的外部引用或直接访问需求。410表示资源已永久移除,比404更明确。执行后应观察服务器日志中该地址的请求变化,如果请求量下降但未归零,说明仍有外部来源在引用,这时需要回到保留替代页的方案,而不是继续等待。
一个反例会让上述结论失效:如果旧地址所在目录整体迁移,而新目录结构完全不同,逐个判断每个旧地址的承接价值成本过高。此时可以按目录批量处理,把有相关主题的目录指向新目录入口,把无相关主题的目录整体返回410。但批量处理前要先抽查若干旧地址,确认目录内并非全部都有承接价值,否则会误删仍有用的入口。
站点地图可以帮助抓取程序发现新地址,但不保证旧地址被替换或移除。把旧地址从站点地图中删除,只是不再主动提交它,不等于它不再被访问或引用。robots.txt 的抓取限制同样不等于可靠的索引移除:它阻止抓取,但已收录的旧地址可能仍出现在结果中,且不同搜索引擎对限制后的处理方式需要分别核查。
如果旧地址需要尽快退出索引,更可靠的动作是让旧地址返回410或301到相关新页面,并确保新页面可被抓取。仅靠 robots.txt 或删除站点地图条目,通常不足以完成移除。
假设某旧地址原来介绍一款已停产的产品,新站没有同款产品页,但有一个同类产品列表页。此时旧地址仍有外部引用,用户进入后可能想找替代品。动作是把旧地址指向该列表页,并在列表页顶部说明原产品已停产、可查看同类产品。结果是用户和抓取程序都能落到相关内容上,后续可以继续观察该地址的请求是否转移到列表页。
如果该旧地址没有任何外部引用,且同类列表页与它的主题只是勉强相关,保留替代页反而会让用户困惑。此时更合适的动作是返回410,并在服务器日志中确认请求逐步减少。若请求未减少,再考虑恢复一个说明页。
先导出迁移前有外部引用或直接访问的旧地址清单,再逐条标记是否有相关新页面。有相关页面的做指向,没有相关页面的返回410。执行后查看服务器日志中这些地址的请求变化,并分别核查不同搜索引擎对旧地址的处理情况。请求量下降不能单独证明处理正确,还要确认新地址是否已被抓取和收录;如果新地址本身未被发现,旧地址的处理再干净也无法让用户找到替代内容。