实验前算样本、实验后验效果——这是经营者最高频的问题之一。本文不给标准答案(每个业务答案不同),而是给你一条可执行的决策链:每一步用什么工具、输入什么、看什么输出。

一、决策链:4 步走完

第一步:算样本
测算工具:实验样本量测算
跑之前算清楚:基线 5% 检测 10% 提升,每组要 3 万+ 人——样本不足只会得到错误结论。
第二步:校验检出力
测算工具:最小可检测提升
已有样本量时,反推能可靠检测的最小提升幅度,避免「测了个寂寞」。
第三步:验证效果
测算工具:实验效果评估
跑完后做 Z 检验——Z > 1.96 才是 95% 置信的显著提升。
第四步:深挖增量
测算工具:增量效果测算
显著之后再用对照组深挖:多少成交是真的因为这次干预。

二、常见误区

  • 涨了就全量——不检验显著性,把随机波动当效果
  • 实验跑太短——样本没到就下结论,MDE 高达 30% 时 15% 的真实提升测不出来
  • 忽略自然增长——大改版赶上大促,涨幅全记在改版头上
决策链的价值不在单步多准,而在顺序不乱:先归因再动手、先算清再投入、先守住底线再追求上限。

三、从问题到答案只需要 10 分钟

以上每一步都是现成的测算工具:打开 suxiai.cn/calc.html(或小程序「测算」Tab),按本文顺序依次填入数据,每步 10 秒出结果——比翻报表、开会争论快得多。