tea-tasting：用于 A/B 测试统计分析的 Python 包

tea-tasting：用于 a/b 测试统计分析的 python 包

简介

我开发了tea-tasting，一个用于 a/b 测试统计分析的 python 包，具有：

学生的 t 检验、bootstrap、cuped 方差缩减、功效分析以及其他开箱即用的统计方法和方法。
支持广泛的数据后端，例如 bigquery、clickhouse、postgresql/greenplum、snowflake、spark、pandas 以及 ibis 支持的 20 多个其他后端。
可扩展的 api：定义自定义指标并使用您选择的统计测试。
用于减少手动工作的便捷 api，以及最小化错误的框架。
详细文档。

在这篇博文中，我探讨了在实验分析中使用品茶的每一个优点。

如果你想尝试一下，请查看文档。

统计方法

品茶包括统计方法和技术，涵盖了您在实验分析中可能需要的大部分内容。

使用学生 t 检验和 z 检验分析指标平均值和比例。或者使用 bootstrap 来分析您选择的任何其他统计数据。并且有一种使用 bootstrap 分析分位数的预定义方法。品茶还可以检测 a/b 测试不同变体的样本比例不匹配。

品茶采用delta方法来分析平均值的比率。例如，每平均会话数的平均订单数，假设会话不是随机化单位。

使用实验前数据、指标预测或其他协变量来减少方差并提高实验的灵敏度。这种方法也称为 cuped 或 cupac。

学生 t 检验和 z 检验中百分比变化的置信区间的计算可能很棘手。只需取绝对变化的置信区间并将其除以控制平均值就会产生有偏差的结果。品茶采用delta法来计算正确的时间间隔。

分析学生 t 检验和 z 检验的统计功效。有以下三种可能的选择：

在给定统计功效和观察总数的情况下计算效应大小。
给定统计功效和效应大小，计算观察总数。
根据效应大小和观察总数计算统计功效。

在详细的用户指南中了解更多信息。

路线图包括：

多重假设检验：
- 家庭错误率：holm–bonferroni 方法。
- 错误发现率：benjamini–hochberg 程序。
a/a 测试和模拟，用于分析任何统计测试的功效。
更多统计测试：
- 频率数据的渐近和精确测试。
- 曼-惠特尼 u 测试。
顺序测试：msprt 的 p 值始终有效。

您可以使用您选择的统计测试来定义自定义指标。

数据后端

有许多不同的数据库和引擎用于存储和处理实验数据。而且在大多数情况下，将详细的实验数据拉入 python 环境的效率并不高。许多统计检验，例如学生 t 检验或 z 检验，仅需要汇总数据进行分析。

例如，如果原始实验数据存储在 clickhouse 中，那么直接在 clickhouse 中计算计数、平均值、方差和协方差比在 python 环境中获取粒度数据并执行聚合更快、更高效。

手动查询所有必需的统计信息可能是一项艰巨且容易出错的任务。例如，使用 cuped 分析比率指标和方差减少不仅需要行数和方差，还需要协方差。不过别担心——品茶这一切对你有用吗。

品茶接受 pandas dataframe 或 ibis table 形式的数据。 ibis 是一个 python 包，用作各种数据后端的 dataframe api。它支持 20 多个后端，包括 bigquery、clickhouse、postgresql/greenplum、snowflake 和 spark。您可以编写 sql 查询，将其包装为 ibis 表，然后将其传递给茶品鉴.

请记住，品茶假设：

数据按随机化单位分组，例如个人用户。
有一列指示 a/b 测试的变体（通常标记为 a、b 等）。
指标计算所需的所有列（如订单数、收入等）都包含在表中。

一些统计方法，例如 bootstrap，需要精细的数据进行分析。在这种情况下，品茶也会获取详细数据。

在数据后端指南中了解更多信息。

便捷的api

您可以仅使用 numpy、scipy 和 ibis 执行上面列出的所有任务。事实上，tea-tasting 在底层使用了这些包。品茶提供的是一个方便的高级 api。

展示比描述更容易。这是基本示例：

import tea_tasting as tt


data = tt.make_users_data(seed=42)

experiment = tt.Experiment(
    sessions_per_user=tt.Mean("sessions"),
    orders_per_session=tt.RatioOfMeans("orders", "sessions"),
    orders_per_user=tt.Mean("orders"),
    revenue_per_user=tt.Mean("revenue"),
)

result = experiment.analyze(data)
print(result)
#&gt;             metric control treatment rel_effect_size rel_effect_size_ci pvalue
#&gt;  sessions_per_user    2.00      1.98          -0.66%      [-3.7%, 2.5%]  0.674
#&gt; orders_per_session   0.266     0.289            8.8%      [-0.89%, 19%] 0.0762
#&gt;    orders_per_user   0.530     0.573            8.0%       [-2.0%, 19%]  0.118
#&gt;   revenue_per_user    5.24      5.73            9.3%       [-2.4%, 22%]  0.123

登录后复制

具有独立参数化和推理的两阶段方法在统计建模中很常见。这种分离有助于使代码更加模块化且更易于理解。

品茶执行可能很棘手且容易出错的计算：