导致A-B测试结论失真的原因，往往不是计算能力不足，而是随机化展示做得不彻底，以及把统计显著误当成业务显著。一次看似干净的实验，如果流量分桶与样本检验环节存在偏差，最终上线功能可能不会带来预期收益，甚至影响核心指标。
真正要解决偏差，需要从两个层面同时入手。第一层是实验流量进入分析系统之前的分桶机制，第二层是拿到实验结果后的统计推断方法。如果分流阶段已经引入系统性差异，后面的显著性检验只是在给错误数据做精确计算。因此，随机化展示和显著性检验必须作为一个整体来设计。
一、偏差从哪来：随机化展示不是简单分流
简单按用户ID奇偶、或按请求到达顺序轮流分配流量，看起来像随机，实际上很容易产生偏差。比如ID奇偶可能与注册渠道相关，某些渠道只会产生奇数尾号；按时间轮流分配则会受到大促、推送、地域时区的影响。一个实验组可能天然包含更多新用户或高活跃用户，此时即使不做任何改动，两组的转化率也会明显不同。
随机化展示的落地通常使用稳定哈希分桶。把用户ID、设备ID或业务统一标识与实验层盐值拼接后做哈希，再对总桶数取模。这种方式保证同一个用户在多次请求中落在同一个桶，避免用户在实验过程中跳组，同时让不同实验之间保持正交。下面的Python示例用MD5摘要生成一个0到99的桶号：
import hashlib
def assign_bucket(user_id: str, salt: str, total_buckets: int = 100) -> int:
digest = hashlib.md5((salt + user_id).encode('utf-8')).hexdigest()
return int(digest[:8], 16) % total_buckets
experiment = assign_bucket('user_10086', 'checkout_v2', 100)
control = assign_bucket('user_10086', 'checkout_v2_control', 100)
print(experiment, control)
哈希分桶解决的是稳定性问题，但不能解决所有偏差。还需要通过分层与互斥层管理实验流量。分层实验允许同一个用户参与多个不冲突的实验，例如一个实验改按钮颜色，另一个实验改推荐排序；互斥层则保证同层内用户只进入一个实验，避免多个实验同时影响同一指标。正式上线前，建议先运行一次AA测试，让两组进入完全相同的版本，如果AA测试出现显著差异，说明分桶机制或数据管道存在问题，必须停下来排查。
二、统计显著性检验：数据差异不等于业务可信
实验组转化率31%，对照组27%，这个差异是否可信？单看绝对差值是4个百分点，但该差异可能来自样本波动。统计显著性检验的作用，是判断在当前样本量下，观察到的差异有多大可能仅仅由随机噪声产生。Z检验适用于大样本比例类指标，核心思路是将两组的率差除以其标准误，得到一个标准化统计量。
下面的代码实现双比例Z检验，并返回Z值与P值：
from scipy.stats import norm
import math
def z_test_two_proportions(success_a, n_a, success_b, n_b):
p_a = success_a / n_a
p_b = success_b / n_b
p_pool = (success_a + success_b) / (n_a + n_b)
se = math.sqrt(p_pool * (1 - p_pool) * (1 / n_a + 1 / n_b))
z = (p_a - p_b) / se
p_value = 2 * (1 - norm.cdf(abs(z)))
return z, p_value
z, p = z_test_two_proportions(310, 5000, 270, 5000)
print(z, p)
if p < 0.05:
print('reject null hypothesis')
else:
print('no significant difference')
P值小于0.05只说明差异不太可能完全由随机波动解释，不代表业务效果一定值得上线。还需要结合置信区间与最小检测效应判断。置信区间过宽，意味着样本量不足；最小检测效应过大，意味着实验对小幅改进不敏感。下面的函数可以估算单组所需最小样本量，参数p_baseline是基线转化率，mde是希望检测到的最小提升：
def min_sample_size(p_baseline, mde, alpha=0.05, power=0.80):
z_alpha = norm.ppf(1 - alpha / 2)
z_beta = norm.ppf(power)
p2 = p_baseline + mde
n = (z_alpha + z_beta) ** 2 * (p_baseline * (1 - p_baseline) + p2 * (1 - p2)) / (mde ** 2)
return math.ceil(n)
print(min_sample_size(0.10, 0.02))
多重比较也经常造成假阳性。如果同时观察20个指标，并且每个指标都使用0.05作为阈值，即使没有任何真实效果，平均也会有一个指标出现显著。解决办法是预注册核心指标、使用Bonferroni或错误发现率方法校正阈值，或者将P值判定与业务阈值分开。
三、工程化防偏：用AA测试和SRM检验兜底
实验平台最常见的隐性偏差是样本比例失衡，也就是SRM。假设设计时希望实验组和对照组各50%流量，但埋点丢失、重定向逻辑错误、灰度规则冲突，都可能导致最终进入分析的用户比例变成52比48。SRM检验用于判断实际样本量与预期分配比例是否一致，卡方检验是最常用的方法：
from scipy.stats import chisquare observed = [10023, 9977] expected = [10000, 10000] chi2, p = chisquare(observed, f_exp=expected) print(chi2, p)
如果SRM检验的P值非常小，则说明分桶后的样本量与预期不符，此时无论实验指标多好看都不能直接采纳。很多团队会把SRM检验前置到实验报告中，和指标显著性一起展示，作为数据质量的红线。
另一个值得投入的方向是方差缩减。用户行为指标通常波动很大，直接比较均值会降低检验灵敏度。CUPED等方法利用实验前的历史指标作为协变量，将实验前数据带入回归或差值计算，可以在不增加流量的情况下有效降低方差。这样能更快识别真实改进，也能减少因为噪声导致的错误显著。
最后，结论不能只停留在统计层面。统计显著性回答的是差异是否可能随机出现，业务显著性回答的是这个提升是否值得投入工程资源。一个大型实验可能检测出0.1%的点击率提升且P值很小，但如果改动会增加维护成本或延迟，最终决策仍然需要权衡。