在实验上线之后，增长团队需要监测数据。当实验结束时，增长团队需要分析结果。
如何确保实验结果的准确性呢？有下面几条注意事项。
首先，要确保实验结果具有统计显著性（Statistical Significance），如果结果没有达到统计显著性，说明实验组和对照组的不同可能是由随机误差引起的，可以认为两组结果不相上下，不应该认为实验组是胜利组，在这种情况下，建议仍然认为对照组是最佳方案。
如果你想进行实验，但又不知道需要用多大的样本量才能达到统计显著性，才能让结果可信，那么可以考虑选择市面上一些现成的样本计算器，帮助你计算，如https：//www.optimizely.com/resources/sample-size-calculator/。
你需要设置的参数是：
1）基本的转化率。比如你想改进产品的注册流程，这一步目前的转化率是20%。
2）最小能监测到的改变幅度。比如你希望这个改进至少能提升10%的转化率。
3）统计显著值。一般来说我们建议至少要达到90%，如果达到95%会更保险，这可以保证你的实验结果是可信的，而不是由于随机误差。
图7-5 ABC订房网酒店预订页测试结果界面
如果使用商用的A/B测试工具，如Optimizely，它会自动为你计算实验结果是否达到了统计显著值。如图75所示，在ABC订房网的酒店预订页测试中，在“订房成功比例”这个指标上，实验组1和实验组2的表现都超过了对照组，分别提高了49.8%和122.5%，并且都达到了90%的统计显著值。(www.xing528.com)
其次，尽量让测试运行完一个天然使用周期。有时候就算样本量很大，很快就有了统计显著的结果，但是在这种情况下还是建议让这个测试至少运行完一周到两周。为什么要这样？因为一两天的数据可能会有比较大的波动，另外，如果只运行了一两天，这个样本群可能刚好只包含了那些每天都来的高频用户，而遗漏了那些一周才来一次的低频用户。所以要想一想用户的天然使用周期是多少，如果是以周为单位，那么建议让测试至少运行一周，让高频用户和低频用户都有机会接触到实验。
最后，在分析实验数据时，要把微观的实验结果和宏观的增长指标联系起来。比如，在ABC订房网的例子里，实验组2将新用户预订成功率提高了122%，那么回到我们之前的增长模型
新用户首次订房数=新增用户数×新用户首次订房成功百分比×每人平均订房数
2016年数据为
180万=1000万×9%×2
假设其他变量不变，变量2从9%提高到20%，那么可以推算出仅仅这个实验就能够带来一年将近220万的新订房数。这就非常清晰地让人看到增长实验的价值了。
至此，ABC订房网增长团队终于可以填写一份完整的增长实验报告了，如图7-6所示。
图7-6 增长实验报告
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
