收录批量查询发现一批URL未被收录时,最小修复试验的做法是:只选一个可验证的假设,只改一处,只观察一组URL,并预先写下判断标准。假设你批量查询100个页面,发现其中30个未收录,且这30个都集中在同一目录、模板相同、内容类型一致。不要同时改标题、内链、站点地图和robots.txt,而应先提出一个最可能的原因,用最小改动去验证它。
最小修复试验的核心不是“修得多”,而是“改得少、看得清”。假设上述30个未收录页面都来自同一个列表模板,且该模板的正文段落由前端脚本渲染。此时可以提出一个假设:抓取工具拿到的是空壳HTML,正文内容未被直接输出,因此未被收录。
观察对象只选这30个中的5个,另外从已收录页面中选5个作为对照。对照组的模板和内容类型应尽量接近,否则无法判断差异来自修复还是来自页面本身。记录试验开始日期、这10个URL、当前收录状态,以及你准备修改的具体位置。
同一现象通常有两种处理方案,选择哪一种取决于你的判断依据和可接受的验证周期。
如果抓取工具根本没有访问这些URL,方案B更合适;如果抓取工具已经访问但拿不到正文,方案A更合适。两者不能互相替代。
curl获取响应,或使用搜索平台的URL检查工具查看渲染后的HTML。常见错误包括:同时修改多个位置,导致无法判断哪个改动起作用;只观察一个URL,把偶然波动当成修复成功;把robots.txt的抓取限制当成索引移除手段,实际上robots.txt只限制抓取,不保证已收录页面被移除;把HTTPS当成收录或排名的保证,HTTPS不保证安全无漏洞,也不保证排名。
判断结果时,区分三种情况:试验URL的HTML中出现正文且观察期内被收录,说明假设得到支持;HTML中出现正文但未被收录,说明原因可能不在渲染,需要重新提出假设;HTML中仍未出现正文,说明修改未生效或抓取工具获取的版本不同,应先排查修改是否部署成功。
完成一轮最小修复试验后,不要立即扩大修改范围。先记录这一轮中“改了什么、观察了什么、结果是什么”,再决定是否把同一修复应用到同组其他URL。如果试验结果不支持原假设,回到批量查询结果,重新分组并换一个假设,仍然只改一处。