背景:为什么需要「增量效果测算」
A/B 显著只是第一步。更尖锐的问题是:转化提升的 60 个单里,有多少是「真的因为这次干预」?对照组的存在就是为了回答这个问题——增量(Uplift)= 实验组实际 − 对照组基线。
⚠ 常见痛点:把实验组的全部转化当作干预效果:实际上不干预也会有一批自然转化,效果被高估。
方法:怎么算
- 输入:对照组与实验组的人数、转化数
- 两组各自转化率,差值即干预带来的净提升
- 增量转化数 = 实验组转化 − 实验组人数 × 对照组转化率
- 输出:增量转化、增量率、干预的「归因份额」
增量转化 = 实验组转化 − 实验组人数 × 对照转化率:增量转化 = 实验组转化 − 实验组人数 × 对照转化率
增量率 = 增量转化 ÷ 实验组人数:增量率 = 增量转化 ÷ 实验组人数
案例:真实数字走一遍
CASE
某 push 推送实验
输入:对照组 10000 人 400 单;实验组(收到 push)10000 人 460 单
- 实验组转化率 4.6%,对照组 4.0%
- 若不推送,实验组自然转化 ≈ 400(同对照)
- 增量转化 = 460 − 400 = 60 单——真正被 push 撬动的只有 60 单
- 单均成本核算:push 成本 500 元 ÷ 60 = 8.3 元/增量单
决策视角变了:不是「push 带来 460 单」(ROI 极好),而是「push 以 8.3 元/单买来 60 个增量」(可接受)。增量思维防止把自然转化算成自己的功劳。