前置资料：第72篇完成的状态码与重定向记录，以及页面映射中的公开范围与索引预期。
本篇任务：根据页面用途分别设置抓取规则、索引指令和访问保护。
目标与准备
robots.txt主要告诉遵守规则的爬虫哪些路径不应抓取，noindex告诉支持该指令的搜索引擎不要索引内容。两者不是同一个开关。准备页面公开范围和索引预期，为每类URL写清需要允许抓取、避免索引还是保护访问，先确定目的，再选择方法，避免全站统一设置后误伤产品资料。
robots阻止抓取不可靠地删除已存在的索引，也不是保护私密资料的方法。搜索系统可能通过其他信息知道被阻挡的URL。noindex则需要爬虫访问页面并读取指令才生效，不能一边禁止抓取，一边期待页面里的noindex被发现。客户图纸等非公开资料应采用实际访问控制，而不是仅在规则文件写路径。
操作方法
在策略表填写URL或规则范围、用途、是否公开、是否希望索引、控制位置和测试结果。检查站点根目录的robots文件及模板里的索引设置，留意规则是否覆盖图片、脚本或正文需要的资源。修改一条目录规则前先列出受影响样本，防止不小心阻止所有产品页或必要渲染文件。
HTML页可以在head中提供合适的robots meta指令，非HTML资源可使用相应HTTP响应头。以不希望索引的公开内部查询页为例，确保页面可被读取后再检查noindex。不要把noindex写入robots.txt当成Google支持的方案，也不要只看CMS勾选状态，要验收实际响应和页面代码。
应用示例
以CNC工厂为应用示例，公开的加工服务说明希望被发现，样件准备文章也应正常读取；客户上传的图纸需要访问保护，不能出现在公开目录或站点地图中。测试模板可以处于限制环境，但正式上线时应重新核对，防止复制模板把noindex带到所有服务页。
若旧测试页已出现在搜索中，先确认内容公开风险与应采用的处理，再实施访问保护或适当移除方案。不要解除私密文件保护只为让爬虫读取指令。公开而仅不希望索引的页面，与必须限制访问的文件具有不同目标，维护人员应分别处理，并记录原设置和变更理由。
产出与验收
修复后对每类样本检查robots允许情况、实际meta与响应头，确认没有矛盾指令。已上线页面可结合URL检查了解搜索系统看到的状态，结果更新需要重新抓取。若页面仍在结果中，先核对是否读取了新设置，而不是不断叠加更多规则或把所有目录都阻挡。
最终输出逐类策略和实测证据，公开内容、索引控制与隐私访问边界清楚。将允许访问的重复版本交给下一篇处理规范URL，保留本篇排除计划供站点地图核对。抓取管理与索引管理解决不同问题，明确职责后才能避免技术修复本身制造新的搜索障碍。
