我们深信,MR的明天在于今天的我们,在于我们的渴望和热血,在于我们的视野和行动.品创MR全球趋势课题组为扩展中国研究者的视野而努力.
文 | Ben Leet
品创编者按: 我们一直很困惑于在线样本的质量，如何运维样本库，如何补充新的样本，如何激励受访者，我们一直在和在线调查和样本库管理的专家们探索这些问题的更好的答案。因为这也是客户把任务交给我们的原因。让我们看看Ben，一个在线调查专家的看法。
最近我被邀请在欧洲的洞察创新变化大会上作题为2020年的研究是什么样的演讲。我决定谈谈围绕我们在线调查和样本库管理这部分的行业趋势，以及我觉得未来会怎么样。
问题 1 –不耐烦的受访者
我们在自己的panel中做了一些全面的测试，以了解受访者的心态。其结果是让人意外的：几乎60%的panel每次使用超过15分钟，而其中几乎80%想要做超过15分钟的调查。然而我们发现大部分受访者承认至少有时会在调查中为提高速度而降低回答质量，在给出的原因中，名列前茅的是无聊或啰嗦或低刺激（谢礼）。
问题 2 –不好的研究者让在线调查变得更长更复杂
要求我们实施的调查在变得更长、更复杂、更重复。现在平均调查时间超过了20分钟，而且其中很多还不能进行移动操作。为了获得高质量的数据，并避免这种在调查中提高速度的趋势，应该提高刺激（谢礼）作为花费的时间和所带来的不便的补偿。
问题 3 –不对等对待Panel用户就得到不好的质量
研究公司相信所有的panels都是用同样的方式建立的，因此，他们只关心他们购买样本的价格。当然，他们会“说”质量是重要的，但是甚至没有询问过正确的质量问题，而是基于价格作出购买决定。
研究公司在写着冗长而无聊的问卷，认为受访者会在意他们给出的答案，然后研究公司会付几个子儿给受访者。因此受访者的行为也就变得要尽量快地加速完成调查以得到他们少得可怜的谢礼。总的来说，行业在任务上有误差，这就意味着纵向的数据会随着时间而变化，即使方法“必须不变以保持一致性”。
问题 4 –样本的来源
业内有一种常见的错误概念即所有的panel都是以同样的方式建立起来的所以panel = 好的质量，而拦截 = 坏的质量。即使是ESOMAR 的28个问题也有这样的暗指。
“请描述并解释您得到受访者的不同类型的网络样本来源。是数据库吗？积极管理的研究panel？直销清单？社交网络？网络拦截(river) 样本？”这种语境暗示了对于网络样本提供者的来源类型描述能够提供对样本质量的洞察。
首先，这种语境是完全错误的。样本的购买者绝对无法仅仅通过了解样本panal是来自panel还是拦截而得到任何关于样本质量的洞察。正如我在阿姆斯特丹说过的，一个好的类比是钓鱼。您更愿意吃一条今天刚从河里钓来的鱼,还是上周从恒河钓来并包装好的鱼？湖里的鱼味道更好，但是因为我们对它一无所知，所以我们更愿意选择从恒河大量打捞的，能传染疾病的，包装好的鱼？我对此表示怀疑。
网络样本的质量取决于样本的实际来源。Panel还是拦截并不是来源，它只是方法。有许多联合机构和发布者的流量不是用于survey router (拦截)，就是用于panel，而且同样的来源常常同时被拦截和panel所用，所以所有这些其实都是关于流动的来源。
真正能够确定样本质量的问题应该是：
你们是怎样进行招募的？请描述不同的来源，以及混合使用是怎样建立起研究panels/推动survey routers的。
你的公司是否有能力追溯来源中受访者的质量，并积极主动地对这些来源进行管理？具体是怎么做的？
在你管理的panel中，平均退出率、不合适率和召回率分别是多少？
问题 5 – panel公司更在意效率而不是质量
他们当然是这样的。在商品化的市场中，质量在销售过程中其实什么也不是，企业没有别的选择，只能追求维持利润的效率。所有的业务都有股东在后面盯着，要从创造的利润中赚钱，这就意味着如果价格降低了，就一定要削减费用。
大部分panel公司是怎样削减费用的：
最明显的就是确保受访者看到尽可能多的调查，并完成尽可能多的调查。这就需要通过发送对他们进行预处理。这样能够优化panels，但会带来数据的偏离。 “一份邀请针对一个调查”的日子已经远去很久了。
减少谢礼。相对于总是很长时间的低质量调查来说，谢礼总是很低。
更便宜的来源。更便宜的网络流量来源总是倾向于转化出更高的利润，这并不是什么巧合，因为这些来源只驱使那些非常为了钱主动积极的调查接受者。能否运用机器学习和一些智能数据技术（运算法则）以便在不询问受众的情况下，就能更好地预测哪些调查与哪些受众相关？这能带来更好的受访者体验，而不需要对他们进行传统方式需要进行的预处理。这意味着我们还是能够承担接近于低质量来源的成本，而不必在基本目标上作出妥协。
我们的世界在2020年会是什么样子？想想大数据和机器学习涌现的速度吧，一个灾难性的后果是有人会建立一种运算法则来代替受访者，而我们的研究客户不会注意到数据有任何不同。事实上，我们已经在使我们的受访者像机器一样思考了。如果我们想要阻止这种趋势，我们就必须在与受访者的沟通方面做得更好：
1.保持简短。时间是宝贵的。我们已经对他们了解了那么多，为什么还要一遍又一遍地问那些同样的该死的问题？在这里我们可以更聪明一点。
2.要更多考虑移动端。没有人想坐在电脑前30分钟回答你的问题，把它缩短到10分钟，发到他们的移动设备上，这样所获得的洞察就会更丰富更精确。
这个行业的变化比以往任何时候都快，现在是在机器完全取代我们之前拥抱变化的时候了。
新闻分类