流量分析：访客被分配到不同版本时怎样识别样本污染
📱 Mozilla/5.0 (compatible; QlyzeBot/1.0; +https://app.qlyze.io/bot)
🔗 /78a4f91c5dd7.html
📄
流量分析：访客被分配到不同版本时怎样识别样本污染
先给结论：识别样本污染，不能只看各版本汇总指标的差异，而要先确认“分流是否真的随机、分流后是否发生了版本串扰”。如果分流日志、曝光日志和转化日志能按同一访客标识串起来，并且分流比例在时间、设备、来源维度上稳定，那么汇总差异更可能是版本效果；如果分流比例本身随渠道或时间漂移，汇总差异就不能当作版本结论。
先区分两种“不同版本”：分流实验与发布切换
访客被分到不同版本，通常有两种情况。第一种是并行分流实验，同一时间窗内新旧版本同时在线，按访客或会话随机分配。第二种是灰度发布或分批切换，不同地区、不同渠道、不同入口在一段时间内先后看到不同版本。两者的污染识别方式不同。
并行实验里，污染主要表现为同一访客先后进入两个版本、缓存或跳转导致曝光版本与分流版本不一致。灰度发布里，污染主要表现为版本与时间、渠道、地域高度共变，你无法判断差异来自版本还是来自这批访客本身。因此第一步不是比较转化率，而是确认版本分配机制属于哪一种，并找出分配依据是什么。
用一条可串接的证据链判断污染
可操作的证据链至少包含三层记录：分配层记录访客被分到哪个版本，曝光层记录访客实际看到哪个版本，行为层记录后续动作发生在哪个版本上下文里。三层都用同一个访客标识或实验标识串联。
如果三层一致，且分配比例在各维度上稳定，样本污染的可能性较低。如果出现以下任一情况，就要优先怀疑污染：
- 分配层显示 A 版本，曝光层却出现 B 版本的页面标识，说明串扰或缓存问题。
- 同一访客标识在短时间内同时出现在两个版本的曝光日志中，说明分流未按访客稳定。
- 分流比例在来源渠道、设备类型或登录状态上明显偏离设定值，说明分配不是随机的，而是被渠道或入口结构影响。
- 行为日志缺少版本上下文，只能靠时间戳推断，这种情况下版本归属本身不可靠。
这里的关键动作是：先抽查一小段原始日志，按访客标识逐个还原其路径。如果抽查中已经出现跨版本曝光，就不必急于跑全量对比；应先修分流或修日志，再重新积累数据。这一步的结果直接决定下一步是继续分析还是暂停分析。
保留、改写还是退出：三种取舍的适用前提
保留适用于污染范围可界定、且污染访客占比很低的情况。前提是你能识别出哪些访客被污染，并能把他们从对比样本中剔除，同时剔除后各版本在时间、渠道、设备上的分布仍然可比。如果剔除后样本结构明显变化，保留就没有意义。
改写适用于分流机制本身可以调整的情况。例如把按会话分流改为按访客稳定分流，或把版本标识写入曝光日志，使后续数据可追溯。改写的前提是你还有时间窗重新积累数据，并且改写后不会引入新的偏差。改写完成后，应先用小流量验证分流比例是否稳定，再决定是否扩大。
退出适用于版本与渠道、时间、地域高度绑定，且无法拆分的情况。例如灰度发布按地区推进，新旧版本面对的是不同市场环境。此时汇总对比无法回答版本效果，继续分析只会得到看似有差异、实则不可归因的结论。退出不是放弃分析，而是把问题改为“在控制渠道和时间后，版本是否仍有稳定差异”，或者改用同地区前后对比并明确其局限。
一个注明假设的短例子
假设某站点把访客随机分到旧版和新版，分流比例设定为各一半。分析时发现新版转化率更高，但进一步按来源拆分，发现新版样本中来自自然搜索的访客占比明显高于旧版。此时有两种解释：一是分流确实随机，只是小样本波动；二是分流被来源渠道影响，例如某些入口跳转时固定带上了新版参数。
验证方法是回看分配日志：如果同一来源的访客在两个版本中比例接近，波动解释成立；如果某一来源几乎全部进入新版，污染解释成立。这个例子不依赖具体数值，只说明比较方法：先看分流比例是否在关键维度上稳定，再看结果差异。若污染成立，汇总转化率差异就不能作为版本结论，下一步应修正入口参数或按来源分层后再比较。
常见误判与边界
分流比例归零或某版本曝光量突然下降，不能单独证明处理正确。它也可能是日志上报延迟、页面改版导致标识丢失、或流量本身在时间上的正常波动。同理，第三方估算流量、搜索引擎报告与站内统计口径不同，三者对同一时间段的版本流量给出不同数字，并不直接说明哪个版本被污染，只能说明口径不一致。
识别样本污染的目标不是找到一个绝对干净的样本，而是判断当前数据能否支持版本对比。如果支持，就保留并继续；如果可以通过改写分流和日志来支持，就改写后重来；如果版本与外部条件无法拆分，就退出汇总对比，改用有明确前提的分层或前后比较。这个判断本身，比任何单一指标都更接近可用的流量分析结论。
