如何有效采集和预处理流量数据？

【任务工单4－3】

采集与预处理流量数据任务工单

小商在制定了数据分析方案之后开始执行数据采集和预处理任务。我们看看小商是怎么做的。

一、制定流量数据采集方案

Step 1：确定数据来源及采集工具。

（1）免费流量数据来源。淘宝有生意参谋平台流量板块，其提供了各流量来源的访客数、下单买家数、下单转化率、新访客数、关注店铺人数、商品收藏人数、加购人数、下单金额等多个指标。

（2）付费流量数据来源。付费渠道平台的报表板块，在直通车报表当中提供了直通车推广所产生的数据信息，如展现量、点击量、花费、点击率、平均点击花费、千次展现花费、直接成交金额等20个指标，可以提供所选时间段内的详细数据下载。

（3）数据采集工具。生意参谋、直通车。

Step 2：制定流量数据采集方案。

小商根据上面的准备工作，最终确定了店铺流量数据采集方案，如表4－1所示。

表4－1　流量数据采集与处理方案

小商开始对数据进行采集。首先进入生意参谋后台，进行数据查看。

二、流量数据采集

Step 1：采集店铺近期流量数据。

（1）采集流量趋势数据。在生意参谋中，点击“经营分析/流量分析/流量概况”，选择最近30天，便可得到流量总览与流量趋势。

（2）采集流量分布数据。在生意参谋中，点击“经营分析/流量分析/访客分析”，便可得到流量时段数据、流量地域分布数据、浏览访客分布数据。

（3）采集来源入口数据。在“经营分析/流量分析/流量地图”中，展现了六大流量渠道及其渠道明细。对店铺的淘内免费、自主访问、付费流量数据进行采集，对同行优秀数据进行采集。

（4）采集关键词数据。在“经营分析/流量分析/访客分析”中，可对店铺关键词引流数据进行采集。

（5）采集来源页面数据。在“经营分析/流量分析/流量地图”中，选择店内路径标签项，即可对店内各类页面的流量数据进行采集，包括商品详情页、店铺微淘页、店铺首页等。

三、流量数据预处理

由于采集到的数据内容较杂，且从多个渠道进行数据采集，数据格式各不相同，还有部分数据下载后出现乱码、下载后发现有许多重复等，需要手动修改。为确保数据分析顺利进行，小商对数据进行了预处理，并审验了数据指标的完整性。(www.xing528.com)

Step 1：流量数据清洗。

清洗内容包括错误数据纠错、空白值数据填空、重复值数据去重和异常值数据的处理，对格式进行了转换。将数据进行初步清洗之后，得到正常格式的流量数据，如表4－2所示。

表4－2　某店铺近期流量情况

续表

续表

以上数据格式正常，但并不能马上用来进行数据分析，因为数据表中还有大量的同类数据没有进行汇总，导致同一个渠道有多个不同的原始数据呈现。

另外，数据表中出现的指标还不能满足我们的分析需求，因此我们需要从现有指标中进行计算处理，计算出需要用到的能体现流量效果的指标数据。

Step 2：转化率指标的计算。

使用公式分别计算出点击转化率和下单转化率，将其添加到表格的列中。公式分别为：

Step 3：流量数据预处理。

使用数据透视表功能，对数据进行分类汇总处理。对数据透视表字段进行处理，将点击转化率和下单转化率的汇总方式设置成求平均值。处理方式如图4－5所示。

图4－5　数据透视表字段处理

经过数据透视表字段设置得到数据，如表4－3所示。

表4－3　某店铺近期流量情况

续表

到此步骤，数据预处理已基本完成。接下来，我们要将这些数据进行简洁直观的展示，以便能更好地观察店铺的流量数据规律。