51黑料不打烊

础/叠苍测试中的统计计算

本文记录了51黑料不打烊 Target中手动A/Bn测试中使用的详细统计计算。 已提供Conversion Rate、Confidence Interval of Conversion Rate、Lift、Confidence Interval for Lift和Confidence的定义。

平均性能

下节将说明上图中使用的计算。

转化率和每位访客带来的收入(搁笔痴)促销活动

下图显示了Target报表中的Conversion Rate、Confidence Interval of Conversion Rate和Conversions的数量。 例如，第一行显示对于体验A：Conversion Rate为25.81%，Confidence Interval为±7.7%，记录了32次转化。 考虑到有124位访客查看了此体验，则相当于32/124 = 25.81%。

{width="25%"}

实验中每个体验? ν ?的转化率或? 平均值，μ_ν ?定义为量度总和与分配给该量度的单位数的比率? N_ν：

{width="125px"}

这里，

Confidence Interval of Mean/Conversion Rate

转换率的置信区间被直观地定义为与基础数据一致的可能转换率的范围。

运行实验时，给定体验的转化率是“真”转化率的? 估计。 为了量化此估计中的不确定性，Target使用置信区间。 Target始终报告95%的置信区间，这意味着最终，95%的置信区间计算中包含体验的真实转化率。

转化率? μ_ν ?的95%置信区间定义为值的范围：

{width="30%"}

其中平均值的标准误差定义为

{width="75px"}

当使用样本标准差的无偏估计时：

{width="200px"}

如果促销活动是转化率促销活动（即，转化量度是二进制的），则标准错误将减少为：

{width="150px"}

提升度

下图显示了Target报表中的Lift和Confidence Interval of Lift。 数字表示提升度范围的平均值，箭头反映提升度是正还是负。 箭头以灰色显示，直到置信度超过95%。 置信度超过阈值后，箭头会根据提升度为正值或负值显示为绿色或红色。

{width="35%"}

体验? ν ?和控制体验? ν₀ ?之间的提升是转化率的相对“增量”，其定义为

{width="15%"}

倘个别兑换率定义见上文。 更简单地说，

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

如果控制体验? ν₀ ?的转化率为0，则没有提升。

Confidence Interval of Lift

Average Lift and Confidence Interval列中的箱形图表示平均值和95% Confidence Interval of Lift。 当给定非控制体验的置信区间与控制体验的置信区间存在任何重叠时，箱形图呈灰色。 当给定体验的置信区间范围高于或低于控制体验的置信区间时，箱形图呈绿色或红色。

体验? ν ?与控制体验? ν₀ ?之间提升度的标准误差定义为：

{width="35%"}

那么提升度的95%置信区间为：

{width="40%"}

此计算使用“顿别濒迟补”方法，并在本文档?中详细介绍了

Confidence

最后一列显示Target报表中的置信度。 在空假设为真的情况下，体验的置信度是获得极端结果的概率（用百分比表示），就像观察到的结果一样。 就p值而言，显示的置信度为? 1 - p值。 直觉上，较高的置信度意味着控制体验和非控制体验具有相等转化率的可能性较小。

在罢补谤驳别迟中，在测试体验和控制体验之间执行双尾? 奥别濒肠丑的迟检验，以测试测试和控制体验的方法是否相同。 由于在运行试验之前，我们通常不知道两组样本的大小和差异是否相同，并且Target还允许您向每个体验发送不相等的流量百分比，因此我们不假设每个体验的差异是相等的。 因此，韦尔奇的t检验被选作学生的t检验。

为进行奥别濒肠丑的迟检验，首先计算t统计量和自由度，然后进行双尾t检验以生成p值。 最后，根据p值计算置信度。

将? t ?统计量定义为任意两个独立随机变量? ν ?和? ν₀ ?的均数除以差值的标准误差：

{width="100px"}

其中? μ_v ?和? μ_v0 ?分别为? ν ?和? ν₀ ?的均值，并给出? μ_v ?和? μ_v0 ?之间差值的标准误差：

{width="150px"}

其中? σ²_v ?和? σ²_v0 ?是两个体验? ν ?和? ν₀ ?的变差，N_v ?和? N_v0 ?分别是? ν ?和? ν₀ ?的样本大小。

对于奥别濒肠丑的迟检验，自由度计算如下：

{width="180px"}

ν ?和? ν₀ ?的自由度定义为：

{width="100px"}

{width="100px"}

然后，可以从? t — 分布尾部的区域计算p值：

{width="20%"}

最后，罢补谤驳别迟中报告的置信度定义为：

{width="20%"}

脱机执行计算

下载的 CSV 报表仅包含原始数据，而不包含计算量度，如 A/B 测试中使用的每位访客带来的收入、提升度或置信度。

要计算这些统计量，请下载罢补谤驳别迟 完整置信度计算器 贰虫肠别濒文件以输入活动的值。