背景:为什么需要「最小可检测提升」

反过来问:我已经有每组 3000 人的流量,能可靠检测出多大的提升?这个数字叫 MDE(最小可检测提升)。如果 MDE 是 30%,意味着 20% 的真实提升你也测不出来——这个实验从设计上就不可能成功。
⚠ 常见痛点:小流量产品做 A/B 测试经常「测不出显著」,不知道是改动无效还是样本不够——MDE 让这个问题透明。

方法:怎么算

  1. 输入:基线转化率、每组已有样本量、置信度与功效(留空默认)
  2. 反解样本量公式得到 MDE(绝对值 pp 与相对值 %)
  3. 对照业务判断:这个 MDE 水平是否够用
  4. 输出:当前样本能检测的最小提升
MDE ≈ (zα+zβ) × √(2p(1−p) ÷ n)(近似):MDE ≈ (zα+zβ) × √(2p(1−p) ÷ n)(近似)

案例:真实数字走一遍

CASE
某工具类产品日活低,想验证改版效果
输入:基线转化率 5%、每组样本 3000 人
  1. MDE 绝对值 ≈ 1.58pp,相对值 ≈ 31.5%
  2. 解读:只有 ≥31.5% 的提升才能被可靠检测——20% 的好改动测不出来
  3. 选择:要么积累样本到 3 万/组,要么改测「上游指标」(点击率,流量大基线高)
团队改为测试「推荐位点击率」(基线 20%、流量大),MDE 降到 6%——可行的实验设计。MDE 的价值:让「测不出」在设计阶段就被发现。