A/B测试是产品迭代中最常用的决策工具，但不少团队的实验结果并不可靠：这周显示B版本胜出，下周结论又翻转了；或者实验跑了三天就急着上线新方案，结果上线后指标纹丝不动。这些问题的根源大多不在于实验平台，而在于统计层面——样本量不够、显著性判断错误。本文将从功效分析的原理出发，完整讲解A/B测试中样本量与显著性的计算方法，帮助你把实验结论建立在扎实的统计基础上。
一、为什么A/B测试会得出错误结论
要理解A/B测试为什么会失效，首先要理解两类统计错误。第一类错误（假阳性）指的是：两个版本实际上没有差异，但实验数据显示有显著差异。如果你把显著性水平设为0.05，意味着即使版本完全相同，每做20次实验也会有一次误判胜出。第二类错误（假阴性）则相反：两个版本确实存在差异，但实验没能检测出来，通常是样本量不足导致灵敏度不够。
实际业务中最常见的错误做法有两种。第一种是提前偷看数据：实验还没跑够预定的样本量，中途看到p值小于0.05就停止实验。这种做法会大幅推高实际的假阳性率，因为p值在实验过程中是波动的，多次查看相当于给了数据多次跨过显著性门槛的机会。第二种是样本量严重不足：比如每个版本只有几百个用户，即使真实存在10%的提升，实验也大概率检测不出来，最终得出“两个版本无差异”的错误结论，白白浪费了实验资源。
还有一个容易被忽视的问题是多重检验。如果一次实验同时观察十几个指标，或者对多个版本同时做两两比较，那么至少有一个指标“碰巧显著”的概率会急剧上升。这些都是需要在实验设计阶段就通过统计方法提前规避的陷阱。
二、如何科学计算所需样本量
样本量计算的核心工具是功效分析（Power Analysis）。它涉及四个相互关联的参数：显著性水平α（通常取0.05）、统计功效1-β（通常取0.8，即有80%的概率检测出真实差异）、最小可检测效应MDE（你希望实验能可靠检测出的最小提升幅度），以及基线转化率p。给定其中三个，就能推出第四个。样本量计算的本质是：在保证假阳性率和假阴性率可控的前提下，检测出目标幅度差异所需的最少观测数。
以比例类指标（如转化率）为例，双样本双侧检验的样本量计算公式为：
import math
def sample_size(p1, mde, alpha=0.05, power=0.8):
"""
计算A/B测试每个分组所需样本量
p1: 基线转化率
mde: 最小可检测相对提升幅度，如0.05表示提升5%
"""
p2 = p1 * (1 + mde) # 实验组预期转化率
z_alpha = 1.96 # alpha=0.05对应的双侧z值
z_beta = 0.84 # power=0.8对应的z值
p_bar = (p1 + p2) / 2
numerator = (z_alpha * math.sqrt(2 * p_bar * (1 - p_bar)) +
z_beta * math.sqrt(p1 * (1 - p1) + p2 * (1 - p2))) ** 2
denominator = (p2 - p1) ** 2
return math.ceil(numerator / denominator)
# 基线转化率5%，希望检测出10%的相对提升
n = sample_size(p1=0.05, mde=0.10)
print(f"每组所需样本量: {n}") # 输出约为每组 31000 左右
从计算结果可以看出一个反直觉的规律：样本量与最小可检测效应的平方成反比。想检测10%的相对提升每组需要约3万人，而想检测5%的提升则需要约12万人，样本量翻了四倍。这就是为什么在流量有限的业务线上，必须谨慎设定MDE——设得太小实验跑不完，设得太大又失去了实验意义。
如果不想手写公式，也可以直接使用Python的statsmodels库，它内置了标准的功效分析函数：
from statsmodels.stats.power import NormalIndPower
from statsmodels.stats.proportion import proportion_effectsize
baseline = 0.05 # 基线转化率
expected = 0.055 # 预期提升后的转化率
effect = proportion_effectsize(baseline, expected)
analysis = NormalIndPower()
n = analysis.solve_power(effect_size=effect, alpha=0.05, power=0.8,
ratio=1.0, alternative='two-sided')
print(f"每组所需样本量: {int(n) + 1}")
两种方式计算结果基本一致。得到样本量后，再用每日可用流量除以它，就能估算实验需要运行的天数。此外建议至少跑满一到两个完整周期（通常是7天或14天），以覆盖工作日与周末的行为差异，避免周期性波动污染结果。
三、显著性判断：正确理解p值与置信区间
拿到实验数据后，正确的显著性判断比简单比较两个转化率重要得多。p值的准确含义是：假如两个版本真的没有差异，观察到当前差异或更极端差异的概率。p值小于0.05并不等于“B版本有95%的概率更好”，这是一个非常普遍的误解。p值只告诉你数据与“无差异假设”的兼容程度，不直接给出结论的可信概率。
相比单一p值，置信区间提供的信息更全面。如果转化率差值的95%置信区间不包含0，可以判定差异显著；同时区间的宽窄还能反映估计的精确程度。用Python做双比例z检验的完整示例如下：
import numpy as np
from statsmodels.stats.proportion import proportions_ztest
# 对照组：5000人中260人转化；实验组：5000人中305人转化
conversions = np.array([260, 305])
observations = np.array([5000, 5000])
z_stat, p_value = proportions_ztest(conversions, observations,
alternative='two-sided')
print(f"z统计量: {z_stat:.3f}, p值: {p_value:.4f}")
# 计算差值的95%置信区间
p1 = 260 / 5000
p2 = 305 / 5000
diff = p2 - p1
se = np.sqrt(p1 * (1 - p1) / 5000 + p2 * (1 - p2) / 5000)
ci_low, ci_high = diff - 1.96 * se, diff + 1.96 * se
print(f"转化率差值: {diff:.4f}, 95%置信区间: [{ci_low:.4f}, {ci_high:.4f}]")
if p_value < 0.05:
print("差异显著，可以认为实验版本更优")
else:
print("差异不显著，无法排除随机波动")
上面的例子中p值约为0.03，95%置信区间不包含0，可以判定实验组显著优于对照组。但要注意，即使统计显著，也应结合业务判断：如果提升幅度只有0.1%，置信区间虽然不含0，业务价值可能微不足道。统计显著性与业务重要性是两个独立的维度，必须同时评估。
四、让实验更可靠的实践建议
除了掌握计算方法，实验流程上的规范同样关键。首先，一定要在实验开始前固定样本量或实验时长，中途不偷看、不提前停止。如果确实需要监控长期实验，应采用序贯检验或贝叶斯方法这类专门支持多次查看的统计框架，而不是套用传统的固定样本检验。
其次，警惕新奇效应。老用户面对新版本往往初期反应强烈，导致早期数据虚高，几周后回落到真实水平。对此可以按用户新老分层分析，或者延长观察周期。同时还要注意辛普森悖论：整体数据呈现的趋势，可能在各分层中完全相反，因此关键实验应做分层检验，确认结论在各用户群体中的一致性。
最后，当同时检验多个指标或多个版本时，要对显著性水平做多重比较校正，常用方法包括Bonferroni校正（将α除以检验次数）或控制假发现率的BH procedure。工程上建议把样本量计算、显著性检验、置信区间输出封装成标准化的内部工具或流程，让每一次实验都自动附带统计审计结果，从制度上杜绝“拍脑袋”式的数据决策。
总结来说，可靠的A/B测试依赖三个环节的配合：实验前用功效分析确定样本量与运行时长，实验中严格执行固定假设检验方案，实验后用p值结合置信区间并叠加业务判断做出决策。把这些统计基本功打牢之后，实验结论的稳定性会显著提升，数据驱动的产品迭代才能真正落地。