查看任何手机上的App Store都会发现，大多数已安装的应用程序都是在上周更新的. 几周后的网站访问可能会显示布局、用户体验或副本上的一些变化.

今天, 软件是在迭代中发布的，以验证关于什么能带来更好的用户体验的假设和产品假设. 在任何时候，公司都喜欢预订.com(我之前工作的地方)为此在他们的网站上运行了数百个A/B测试.

适用于通过互联网传送的应用程序, 没有必要提前12-18个月决定产品的外观, 然后建造并最终交付. 而不是, 发布小的变更是非常实用的，这些变更在实现的过程中为用户带来了价值, 不需要对用户偏好和理想解决方案进行假设，因为每个假设和假设都可以通过设计一个测试来验证，以隔离每个更改的影响.

除了通过改进交付持续的价值, 这种方法允许产品团队从用户那里收集持续的反馈，然后根据需要进行纠正. 每隔几周创建和测试假设是一种更便宜和更简单的方法，可以构建一种过程修正和迭代的方法来进行创作 产品价值.

什么是产品管理中的假设检验?

在向用户发布功能时, 为了理解它们在现实世界中的影响，验证关于设计和功能的假设是必要的.

这种验证通常是通过 产品假设检验，在这一过程中，实验者为改变提出一个假设，然后定义成功. 例如，如果a 数据产品经理 在亚马逊有一个假设，显示更大的产品图片将提高转化率, 那么成功的定义就是更高的转化率.

假设检验的一个关键方面是隔离产品体验中的不同变量，以便能够将成功(或失败)归因于所做的更改. So, 如果我们的亚马逊产品经理有一个进一步的假设，即在产品图片旁边显示客户评论会提高转化率, 同时检验两种假设是不可能的. Doing so would result in failure to properly attribute causes and effects; therefore, 这两个更改必须单独进行隔离和测试.

因此, 关于特性的产品决策应该通过假设测试来验证特性的性能.

不同类型的假设检验

A / B测试

实现假设验证的最常见用例之一是随机A/B测试, 其中一个变化或功能随机发布给一半的用户(a)，而保留给另一半用户(B)。. 回到更大的产品图片能提高亚马逊转化率的假设上来, 一半的用户将看到更改, 而另一半则会看到原来的网站. 然后将测量每组(A组和B组)的转换并进行比较. 在显著提升的情况下，在转换组显示更大的产品图像, 结论是原来的假设是正确的, 并且可以将更改推广到所有用户.

多变量测试

在理想的情况下, 每个变量都应该被单独隔离和测试，以确定属性的变化. 然而, 这种顺序的测试方法可能非常缓慢, 特别是当有几个版本需要测试时. 继续这个例子, 假设更大的产品图片会带来更高的亚马逊转化率, “更大”是主观的, 还有“bigger”(更大)的几个版本.g., 1.1x, 1.3x和1.5倍)可能需要进行测试.

而不是按顺序测试这些用例, 可以采用多元检验, 在这种情况下，用户不会被分成两半，而是分成多个变体. 例如, 四组(A), B, C, D)各由25%的用户组成, a组用户不会看到任何变化, B, C, D会看到大1的图像.1x, 1.3x和1.分别为5倍. 在这个测试中, 针对产品的当前版本同时测试多个变体，以确定最佳变体.

前/后测试

有时, 将用户分成两半(或多个变体)是不可能的，因为可能存在网络效应. 例如, 如果测试涉及确定制定优步高峰价格的一种逻辑是否优于另一种逻辑, 驱动程序不能分为不同的变体, 因为逻辑考虑了整个城市的需求和供给不匹配. 在这种情况下, 为了得出结论，测试必须比较改变前和改变后的效果.

然而, 这里的限制是无法隔离季节性和外部性的影响，它们可以不同地影响测试和控制期. 假设决定优步峰时定价的逻辑发生了变化 t，即逻辑A在之前使用，逻辑B在之后使用. 而时间前后的影响 t 可以比较，不能保证效果仅仅是由于逻辑的改变. 这两个时期之间可能存在需求差异或其他因素导致了两者之间的差异.

基于时间的开/关测试

通过部署基于时间的开/关测试，可以在很大程度上克服前后测试的缺点, 其中，在一段时间内将更改引入所有用户, 关闭了同样长的时间, 然后重复更长的时间.

例如, 在Uber用例中, 这一变化将于周一向司机展示, 星期二撤回, 周三再次展示, 等等.......

然而这种方法并不能完全消除季节性和外部性的影响, 它确实大大减少了它们, 使此类测试更加可靠.

测试设计

为手头的用例选择正确的测试是以最快和最健壮的方式验证假设的必要步骤. 一旦做出选择，测试设计的细节就可以勾画出来了.

测试设计只是一个连贯的大纲:

• 有待检验的假设: 向用户展示更大的产品图片会促使他们购买更多的产品.
• 测试的成功指标: 客户转换
• 测试决策标准: 该测试验证了一个假设，即变体中的用户比对照组中的用户表现出更高的转化率.
• 需要从测试中学习的指标: 客户转换，点击产品图片

在产品假设的例子中，更大的产品图像将导致亚马逊上的转化率提高, 成功的度量是转换，决策标准是转换的改进.

经过正确的测试选择和设计, 并且确定了成功的标准和度量, 结果必须加以分析. 要做到这一点，一些统计概念是必要的.

抽样

运行测试时, 确保为测试选择的两个变量(A和B)在成功度量方面没有偏差是很重要的. 例如, 如果看到较大图像的变体已经比没有看到变化的变体具有更高的转换, 那么测试是有偏见的，可能会导致错误的结论.

以确保在抽样中没有偏差, 在引入变更之前，可以观察成功度量的均值和方差.

意义与力量

一旦观察到两种变体之间的差异, 重要的是要得出结论，观察到的变化是一个实际的影响，而不是随机的. 这可以通过计算成功度量中变化的重要性来实现.

通俗地说， 意义 测量测试显示更大的图像导致更高转换的频率，而实际上它们并没有. 权力 测量测试告诉我们更大的图像导致更高的转换的频率.

So, 为了获得更准确的结果，测试需要具有高功率值和低意义值.

虽然深入探讨产品管理中涉及的统计概念，但假设检验超出了本文的范围, 为加强这方面的知识，建议采取以下行动:

• 数据分析师和数据工程师通常擅长识别正确的测试设计，并可以指导产品经理, 所以要确保在这个过程的早期就利用他们的专业知识.
• 有很多关于假设检验的在线课程, A / B测试, 以及相关的统计概念, 如 Udemy, Udacity, Coursera.
• 使用像Google的Firebase和optimely这样的工具可以使这个过程变得更容易，这要感谢大量运行正确测试的开箱即用功能.

使用假设检验进行成功的产品管理

为了持续地为用户提供价值, 必须检验各种假设, 为此，可以采用几种类型的产品假设检验. 每个假设都需要有相应的测试设计, 如上所述, 为了最终证实或否定它.

这种方法有助于量化新变更和新特性所带来的价值, 将重点放在最有价值的功能上, 并交付增量迭代.

• 如何进行远程用户访谈[资讯图]
• 基于组件框架的用户体验A/B测试
• 构建AI产品? 使用实现框架实现价值最大化