改版或迁移时,先核对旧URL到新URL的对应关系、重定向状态码、是否形成链式或循环跳转,以及旧URL是否仍能被抓取到重定向信号。时间和人手有限时,优先处理有搜索流量和外部链接的旧URL,再批量处理其余页面。
URL重定向技术的核心不是“把所有旧地址跳到首页”,而是让每个有价值的旧URL指向内容最接近的新URL。改版时最常见的错误是整站301到首页,这会让搜索引擎难以判断新页面与旧页面的继承关系。
可以按以下顺序整理映射表:
判断标准:如果旧URL讲的是A主题,新URL也讲A主题,就适合一对一重定向;如果旧URL已无对应内容,才考虑跳转到上级栏目。把大量不相关旧URL统一跳首页,通常不是好选择。
永久迁移用301,临时调整用302,这是基本区分。需要核对的是服务器实际返回的状态码,而不是配置文件里写了什么。可以用命令行检查:
curl -I https://example.com/old-page
看返回的HTTP/1.1 301或302,以及Location指向的新地址。如果返回200,说明重定向没生效;如果返回404,说明旧URL已经丢失。
还要区分几种情况:
适用条件:如果旧URL有外部链接或搜索流量,优先用服务器端301;如果只是站内临时活动页,302可以接受,但迁移完成后应改回或移除。
链式跳转指A跳到B,B又跳到C。每多一跳,抓取和权重传递都可能被削弱,排查也更麻烦。循环跳转则是A跳到B、B跳回A,用户和爬虫都到不了目标页。
检查方法:对优先名单里的旧URL逐个执行curl -IL,观察跳转链。如果看到两次以上Location,就应把中间跳转改成直接指向最终URL。
常见来源包括:旧域名跳新域名、旧栏目跳新栏目、HTTP跳HTTPS叠加在一起。改版时先把最终目标确定,再让所有旧URL一步到位。
重定向生效的前提是搜索引擎能抓到旧URL。如果robots.txt屏蔽了旧目录,爬虫可能看不到重定向;如果旧URL只存在于已下线的站点地图里,发现速度也会变慢。
需要核对:
注意:robots.txt的抓取限制不等于可靠的索引移除;站点地图也不保证收录。重定向是给仍可抓取的旧URL传递信号,不能替代对已屏蔽路径的单独处理。
可以按下面的步骤执行:
curl -I抽查状态码,确认是301而不是200或404。curl -IL检查跳转链,把多跳改成一步到位。判断结果的标准:旧URL返回301、Location指向内容对应的新URL、没有链式或循环跳转、旧URL未被robots.txt屏蔽,这四项同时满足,才算基本核对完成。HTTPS只解决传输加密,不保证安全无漏洞或排名提升,不要把它当作重定向核对的一部分。
下一步:从访问日志或搜索平台导出旧URL清单,先为有流量的前几十条建立映射表,再逐条验证状态码和跳转链。