(1)三轮测评说明
对信息管理与信息系统专业学生的“商务数据分析与决策能力”测评是以企业的实际需求作为能力测评标准,这和学校的教学要求在一定程度上有所不同,能力要求标准较高。同时,三次测评是以交付完成物进行,缺少过程因素,会导致部分能力无法反映出来,最终测评成绩也会和实际有所出入。因此,测评只能从一个侧面反映学生在校的能力情况,并不代表教学目标未达成。测评可以从一定角度反映出学校教学要求和实际企业需求的数据分析能力的区别,并不代表实际课程群的教学水平问题。
测评的评量较为全面,评量能力是从企业的角度出发,列出了从事数据分析人员所要具备的能力,且所列出的能力要求也是递增的,例如数据整理、数据报告对于统计学、商务智能、数据分析与预测是较为基础的能力,不同课程在数据分析中的各个能力培养也是有递增和侧重的。再比如,结果评估能力是较高阶的能力,在部分企业中,即使做了三年数据分析的从业者也不能完全满足。但通过第三方测评,可以充分了解数据行业所需具备的能力,可以帮助课程群在今后的教学实训中开展有针对性的能力训练。
(2)信息管理与信息系统专业核心能力培养成效分析
对信息管理与信息系统专业学生的核心能力检测主要针对“商务数据分析与决策能力”测评,测评是以企业的实际需求作为能力测评标准的。
①三轮测评整体成绩分布
三轮测评整体成绩分布如表4−5−3和图4−5−1所示。从表、图中可以看出,三门课程的测评在优良率、合格率上有所波动。从具体成绩来看,2016级、2017级,相比2015级学生在三门课程中的平均得分均有增长。一定程度上,反映了学生在商务数据分析与决策能力方面有相对提高。2017级学生的三门课程实行统一教案项目,让整体学生能力得到提升,成绩落差减小。
表4−5−3 三轮测评不同课程整体成绩分布
②三轮测评各项能力培养成效分析
三轮测评各项能力指标的分布情况如图4−5−2所示,整体上,数据分析能力、数据准备能力和结果评估能力较好,业务理解能力、数据报告能力及可视化能力还需要加强。从对2015级、2016级、2017级学生的三轮测评来看,各项能力均有一定程度提升。其中,提升较快的能力依次是数据评估能力、业务理解能力、数据分析能力、数据报告能力。
图4−5−1 三轮测评不同课程均分对比
图4−5−2 三轮测评6个能力维度对比
我们对第一轮和第三轮各项能力进行具体细分并进一步对比分析。第一轮各项细分能力对比如图4−5−3所示。从图中可以看出,在业务理解能力中“能构思完整的解决思路”这部分能力较弱,数据可视化能力中“能应用正确的图表进行数据的展示,并能正确解读图表”这方面能力较弱,结果评估能力方面,“能验证分析结果的正确性”方面能力较弱。这也正说明通过课程教与学的过程,学生在深入利用工具和知识解决实际应用的深层问题的能力需要在今后的培养过程中多加训练。
图4−5−3 第一轮测评细分能力对比分析
图4−5−4 第三轮测评细分能力对比分析
第三轮测评的各项能力维度细分情况如图4−5−4所示。从图中可以看出,在业务理解能力中,“构思完整解决思路”“提出合理业务问题”“正确理解案例以及业务流程”这三种细分能力大体持平;在数据准备能力中,“对数据清洗及规范化处理”的能力相对较强;在数据可视化能力方面,能够选取合理图表、图表展示多样化的细分能力大体持平,在第一轮的基础上有所提升;在数据分析能力中,“能选择适当的数据分析工具”测评得分较高,“数据分析结果的正确性”较弱;在数据报告能力中,能完整提交交付物,但在“书写的规范性”“逻辑清晰”方面还需要继续加强;在结果评估能力方面,比起第一轮来说,“能验证分析结果的正确性”方面能力有所改善,但在“能为商业决策提供支持”方面能力较弱,这也是课程群在今后教学中需要加强的方面。
再通过深入挖掘每个指标下的细分项情况,可以看出在数据可视化能力及结果评估能力方面水平在三门课程测评中都较弱,三门课程更加偏向于技能的教学,在页面布局、可视化能力的应用上需要加强。今后课程中对“能应用正确的图表进行数据的展示”及“图表展现多样化、美观”方面要增加训练。在结果评估方面需要通过大量的经验积累,才能有效提高,建议在后续课程群的教学和实践内容中,增加对典型案例的深层解读,为学生提升结果评估方面的能力奠定基础。在数据分析能力,即能够采用正确的分析工具、分析方法来对业务理解提出的需求进行分析方面,今后可以在能从多个维度进行分析及能采用正确的分析方法进行分析数据方面多加练习,以不同案例展现分析方法的具体应用,并对于基于业务理解不合理的案例进行有效的讨论,提升学生对于业务理解、对于数据分析的认知。
③三轮测评整体能力培养成效分析
秉承“宽口径、厚基础、强实践、重能力、求创新”的专业建设指导思想,课程群在授课过程中侧重培养学生的“商务数据分析与决策能力”。在第一轮、第二轮测评的基础上,课程群在以下方面进行了积极调整和优化。首先,在教学中努力加强学生的实践能力,以赛促学、以研促教。在2019年组织了院级商务智能课程大赛,同时积极引导学生参加各种大赛,如启明星、三创大赛、全国市场调查大赛,其中市场调查大赛取得了北京市三等奖。通过大赛,一方面锻炼了学生商务数据分析与决策能力,另一方面也促进了课程群团队教师进一步提升自身教学和科研能力。其次,课程群在第三轮测评过程中引入企业真实业务数据,尝试三门课程采用同一案例,力图让学生更深入了解企业运营现状及存在问题,根据课程授课内容完成相应的分析任务。再次,在第一轮和第二轮测评后,课程群与第三方及时完善课程群能力评价标准,在各能力维度上做了进一步细分,例如对数据准备能力和数据分析能力进行了调整和增加,以求更符合测评的全面性、有效性。第四,教学团队在教学实施全过程中,认真做好过程评价与学生教学和指导,积极完成相应的教学检查、教学评估和相关教学活动总结等,努力提升课程教学效果。
通过以上对课程群的优化建设,从三轮测评的总体情况来看,学生在业务理解能力、数据准备能力、数据分析能力、数据可视化能力、结果评估能力、数据报告能力方面均有一定的提升。六个测评维度中,数据分析能力较其他能力强。数据准备能力方面,因为在第三轮测评中三门课程采用同一案例,学生对数据的业务理解能力逐步加强,因此在进行数据清洗、规范化处理方面,以及业务指标选取等方面的能力得到了强化。说明测评课程在以往的学习目标基本达到,在课程学习中相关训练也相对较充分。
在今后信息管理与信息系统专业核心能力“商务数据分析与决策能力”的培养过程中,需要继续关注业务理解能力、数据可视化能力及结果评估能力几方面的能力训练,这一部分也恰恰是难度较大的部分。可后续教学中,可以通过多案例强化学生在业务解读、数据可视化展现及结果验证等方面的培养,利用测评中发现的短板,对课程教学、实践的内容进行相应调整。另外,数据报告是较为基础的能力,在课程教学过程中,授课教师给出标准要求,让学生按照标准完成,因此成绩较好,今后可以在撰写报告中加强报告逻辑性以及书写规范化方面的训练,强化学生数据分析报告撰写能力。
(3)第三方检测报告(第三批)
第三方检测报告由德昂信息技术(北京)有限公司提供。
①背景和需求
为提高大数据时代商科学生商务分析与决策能力,北京联合大学商务学院信息管理与信息系统专业,特选定三门课:统计学、商务智能、数据分析和预测,采用统一案例进行教学,期末三门课程的结课作业统一汇整,由第三方针对作业情况进行“商务分析与决策能力”综合测评及分析。
参加检测对象为学生所提交的统计学、商务智能、数据分析和预测三门课程大作业(商务智能、数据分析和预测两门课程为分组完成)。根据制定的商科学生“商务分析与决策能力”评量表进行测评,并由此产生一个评量报告,报告内容以图表报告的形式,对于学生各种能力进行综合分析。
②能力评量表
能力评量表分为六大能力:业务理解能力、数据准备能力、数据分析能力、数据可视化能力、结果评估能力、数据报告能力。六大类能力又细分了20个子项,每个子项总分5分,总计100分。该六大类能力覆盖企业从事数据分析工作人员所需要的各项能力,如学生可以较好掌握该六类能力或部分能力即可大大提高未来就业竞争力。
业务理解能力:指能够了解案例的背景,理解业务含义并能够提出合理的业务问题,对该大类,划分了三小类,分别是:构思完整的解决思路;提出合理的业务问题;正确理解案例以及业务流程。
数据准备能力:指能够针对企业已有的数据进行归类、整理、抽取、清洗、转换为便于分析的数据。对该大类,划分了四小类,分别是:对数据进行整理、存储;对数据清洗、规范化处理;数据抽取流程完整性;选取正确的业务指标。
数据分析能力:指能够采用正确的分析工具、分析方法来对业务理解提出的需求进行分析,对该大类,划分了四小类,分别是:能采用正确的分析方法分析数据;能从多个维度进行数据分析;能选择适当的数据分析工具;数据分析结果正确性。
数据可视化能力:指在项目中采用合适的图表、配色、布局,使得分析的结果可视化。对该大类划分了两小类,分别是:使用合理的图表进行数据展示;图表展现多样化和美观。
结果评估能力:指能够利用正确的图表来展现需求,并能够解释自己的分析,且对企业的决策能够提供支持,对该大类划分了四小类,分别是:理解整体作业制作流程;能够完成预期分析任务;能为商业决策提供支持;能正确解释分析结果。
数据报告能力:指能够编写逻辑清晰、格式规范、展现优美的报告。对该大类划分了三小类,分别是:能够完整提交交付物;能够形成逻辑清晰的业务报告;数据报告书写规范。
③测评分析
本次测评的为2017级信管专业学生,数据分析与预测22人、商务智能22人、统计学28人,其中商务智能、数据分析和预测为小组作业,小组内成员评分是一致的。
a.2017级学生排名分布统计(如图4−5−5至图4−5−8所示)
图4−5−5 三门课程均分排名
由图4−5−5可知:2017级学生三门课程平均分最高的为85分,最低的为74分,整体成绩分布均匀,排名差异小。(www.xing528.com)
图4−5−6 统计学课程分数排名
图4−5−7 数据分析与预测课程分数排名
图4−5−8 商务智能课程分数排名
b.三轮测评学生课程优秀率统计
● 统计学(如表4−5−4所示)
表4−5−4 三轮测评统计学成绩分布
● 数据分析与预测(如表4−5−5所示)
表4−5−5 三轮测评数据分析与预测成绩分布
● 商务智能(如表4−5−6所示)
表4−5−6 三轮测评商务智能成绩分布
可以看出:学生三门课程的合格率逐年提高,其中2017级学生的合格率达到100%,表现尤为突出。2017级与2016级学生均为20人左右,2015级人数49人是2016级和2017级的近两倍,因此可见小班授课更利于学生对于课程知识的掌握。
c.2017级学生能力统计分析(如图4−5−9所示)
图4−5−9 各项能力对比分析
由统计分析结果知:三门课程20项能力平均分排名,学生在作业交付和数据整理方面的分数较高,在商业决策提供支持方面分数较低,对于整个业务理解、数据分析过程分数排布均匀。结合实际情况,大三学生还未参与实习就业,无实际业务项目经验,通过课程设计、借助成熟工具结合案例虽然可以帮助学生理解业务,形成分析思路,但是最终决策支持能力欠缺,可以在大四实习中,重点加强该方面学习。
d.三轮测评学生能力对比分析(如图4−5−10、图4−5−11、表4−5−7所示)
图4−5−10 三轮测评各课程均分对比
图4−5−11 三轮测评能力对比分析
表4−5−7 三轮测试各课成绩统计分析
注:表中上标a表示:存在多个众数,显示最小的值。
由统计分析结果知:2017级学生三门课程平均成绩为77.1~77.5,整体成绩较2016级、2015级学生更加集中。
④总结
根据上述分析,2017级学生三门课程及格率100%,平均成绩为77.1~77.5,整体成绩较2016级、2015级学生逐年成绩提升。2017级三门课程实行使用统一教案项目,让整体学生能力得到提升,成绩落差减小,但优秀学生能力提升不明显。2016级与2015级未采用统一教案项目,在能力评分项上,部分课程无法匹配所有能力项,评分采取了默认评分,以及三次评分人员的一些主观原因,评分也会有点差异。
从三轮测评教学风格以及学生成绩来看,学生人数较少的时候,整体成绩显著上升,小班授课更有利于教师关注到每一位学生。三门课程使用相同案例背景,能够加强学生对项目背景、业务含义的理解,融会贯通三门课程学习内容,提高整体班级成绩。但是我们也注意到,学生的优秀率偏低,因此在关注整体教学质量的同时,应再提升教学案例的深度,以提高学生学习的兴趣度,激发学生独立思考能力。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。