终止条件要在试验开始前写死,而不是等数据好看或难看时再临时判断。核心做法是同时设定一个“继续推广”阈值和一个“停止并回退”阈值,并规定观察窗口与判定口径;只要试验页在窗口内的表现没有越过继续线,就按预设方案停止,不再追加页面。
两种做法都成立,但适用条件不同。绝对门槛适合试验页数量少、站点整体流量平稳、你能接受用固定数值下判断的情况;相对对照适合站点本身波动大、存在季节或需求变化、单看一个数值容易误判的情况。
绝对门槛的代价是脆弱:搜索需求整体下滑时,试验页可能被误判为失败;整体上涨时,又可能被误判为成功。相对对照的代价是需要额外维护一组不参与改动的对照页,且对照页必须与试验页在页面类型、内容深度、内链位置上尽量接近,否则比较结果没有意义。
选择依据可以简化成一句话:如果你无法稳定地找到可比对照页,就用绝对门槛,但把观察窗口拉长;如果你能维护对照页,就优先用相对对照,因为它能抵消一部分外部波动。
无论选哪种判定方式,终止条件都应包含三部分:观察窗口、判定指标、动作。缺任何一部分,执行时都会变成争论。
一个假设示例:假设某站点把 8 个试验页改成新的内容结构,设定窗口为上线后第 14 天到第 42 天,主要指标为这些页面的自然点击量相对对照页的变化方向,辅助指标为页面平均停留时长的变化方向。若主要指标在窗口内持续不低于对照页,则把改动推广到同类页面;若主要指标明显低于对照页且辅助指标同步走低,则回退这 8 个页面并停止推广。这里的所有数值都是假设,用于说明比较方法,不代表任何真实项目结果。
很多人只给试验页设了终止条件,却忘了给“推广”设边界,结果一次改动铺满全站,出问题时无法定位。推广阶段应分批进行,每一批都沿用同一套判定口径,并规定“连续两批未达标就整体暂停”。
实施动作上,可以先推广到与试验页最接近的一批页面,观察一个完整窗口后再决定是否扩大。这个动作的结果会直接影响下一步:如果第一批达标,说明结论至少在小范围内可复现,可以继续扩大;如果第一批不达标,说明试验页的结论可能依赖特定页面条件,此时应停止扩大并回头检查差异,而不是加大推广量去“摊平”波动。
终止条件是决策工具,不是自动开关。以下情况应触发人工复核,而不是直接按阈值执行:
需要强调的是,请求量、抓取量或某个统计指标归零,并不能单独证明改动正确或错误。它还可能来自采集故障、页面暂时不可访问、内部链接调整或需求本身的波动。遇到这类现象,先确认数据是否完整,再判断是否触发终止条件。
在试验开始前,把窗口、指标、阈值和对应动作写进一份可交接的记录,并注明假设与数据来源。这样做的实际作用是:当结果处于灰色地带时,团队能回到原始约定判断,而不是各自挑选有利的数据。记录中还应写明本次试验不承诺固定见效时间,前后比较需要考虑季节、搜索需求变化和数据采集差异。
如果试验结果不达标,回退动作也应记录清楚:回退了哪些页面、回退后是否继续观察、下一次试验要改什么。终止条件的目的不是证明某个改动一定有效,而是让“继续投入”和“及时止损”都有明确依据。