首页 理论教育 市场数据采集与预处理方法优化

市场数据采集与预处理方法优化

时间:2023-06-04 理论教育 版权反馈
【摘要】:采集与预处理市场数据任务工单续表小商对市场数据进行采集和预处理的操作如下:Step 1:采集数据。使用“筛选”功能查找所有字段中与字段无关或者无意义的数据,未发现无效值。经过对各字段进行筛选,发现未有无价值数据。小商选择使用数据透视表来进行数据的汇总计算和处理。图7-4建立数据透视表调整数据透视表格式。图7-5新建数据透视表对数据透视表的数据进行整理之后,数据采集与清洗、预处理工作暂且完成。

市场数据采集与预处理方法优化

【任务工单7-3】

采集与预处理市场数据任务工单

续表

小商对市场数据进行采集和预处理的操作如下:

Step 1:采集数据。

市场行情数据可以通过电商后台提供的市场数据以及百度指数、阿里指数和360指数等数据平台进行采集,为了比较全面地了解市场容量情况,考虑女装销售存在季节因素这种特殊性,因此最好是采集完整自然年度的数据。

Step 2:清洗数据。

(1)清洗无效值。使用“筛选”功能查找所有字段中与字段无关或者无意义的数据,未发现无效值。操作如图7-1所示。

图7-1 清洗无效值

(2)删除重复值。点击“数据”|“删除重复项”,未发现重复值。操作如图7-2所示。

图7-2 删除重复值(www.xing528.com)

(3)处理空白值。选择“开始”|“查找与替换”|“定位条件”|“空值”,点击“确定”后未找到空白单元格。操作如图7-3所示。

图7-3 处理空白值

(4)清洗无价值数据。经过对各字段进行筛选,发现未有无价值数据。

Step 3:预处理数据。

下面进行数据的预处理工作。小商选择使用数据透视表来进行数据的汇总计算和处理。

(1)建立数据透视表。对子行业的支付金额较父行业占比数据进行汇总。操作如图7-4所示。

图7-4 建立数据透视表

(2)调整数据透视表格式。此时系统默认格式正确无误,无须调整格式。

(3)插入新的数据透视表。对子行业的支付订单数较父行业占比数据进行汇总,并增选“日期”“类目名”字段,拖拽排列各个字段所处区域。操作如图7-5所示。

图7-5 新建数据透视表

对数据透视表的数据进行整理之后,数据采集与清洗、预处理工作暂且完成。我们进入本项目的第三个任务。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈