数据科学与大数据|音乐数据分析

2005年图灵奖得主[20]、丹麦计算机学会的创始人之一、Algol 60语言发明人彼得·诺尔（Peter Naur）在1966年建议用“数据科学”（Data Science）或“Datalogy”代替“计算机科学”，直到1996年，“数据科学”这一概念才正式出现在International Federation of Classification Societies（IFCS）国际会议的议题里，真正开始走入人们的视野；为了方便研究人员交流研究成果，在2002年国际科学理事会的数据委员会科学和技术（CODATA）开始出版数据科学杂志，2003年，美国哥伦比亚大学也开始出版发行有关数据科学杂志。

V. Dhar[21]和Jeff Leek[22]等认为数据科学是有关从结构化或非结构化的数据提取知识或见解的方法、过程和系统的跨学科的科学研究领域。Tony Hey等人[23]认为数据科学是用统计分析、数据分析及其相关方法的理念，用数据来理解和分析实际现象的一门科学。数据科学涉及数学、统计、信息科学和计算机科学等领域的技术和理论，尤其与信号处理、回归分析、概率模型技术和理论、机器学习、计算机编程、统计学、数据工程、模式识别、机器学习、不确定性建模数据仓库高性能计算、集群分析、数据挖掘、数据库和可视化等研究领域密切相关。

数据科学从业人员包括信息科学与计算机科学家、数据库和软件工程师、领域专家、策展人和标注专家、图书管理员、档案员等，这些职业的共性是利用数据进行富有创造性的查询和分析。为了从数据中提取有价值的知识，必须要能驾驭和管理海量数据，同时利用统计学知识萃取、分析数据的内在价值，从而通过数据建立看待事物的新维度。数据科学从业人员需要掌握各种信息获取方式、统计学原理和机器学习知识，掌握数据收集、去噪、分析和解读的能力，精通各类算法，熟悉常用计算机技能，如Hadoop、Mahout等大规模并行处理技术，具备使用SPSS、SAS等主流统计分析软件的技能，掌握可视化工具R语言等。

为适应各行业对人才的需求，一些大学和科研机构开始培养相关人才。如美国名牌私立大学西北大学研究生院开设了数据科学研究专业，培养学生三种数据分析方法：预测分析、描述分析（商业智能和数据挖掘）和规范分析（优化和模拟）；具体的课程包括：多元Logistic回归分析、非线性回归分析、判别分析、时间轴分析、概率模型、优化、多目的决策分析、决策树、影响图、敏感性分析、数据库入门、时间轴分析、主成分分析、非参数回归、统计流程控制、数据管理、整数计划法、非线性计划法、局部探索法、超启发（模拟退火、遗传算法）、MapReduce技术、大数据分析方法、数据挖掘、关联性规则、因子分析、存活时间分析、社交网络、文本分析、Web分析、财务分析、服务业中的分析、能源、健康医疗、供应链管理、综合营销沟通中的概率模型、风险分析与运营分析的计算机模拟、软件层面的分析学等。

21世纪，人类开启了数据时代，数据是社会的基础性资源，是构成我们星球灿烂文化和缤纷世界的源泉，数据是符号，是对客观事件进行记录和识别的符号，也是对客观事物的性质、状态以及相互关系等进行记载的物理符号和组合。数据来源众多复杂，简单可以划分为Web数据、决策数据和科学数据三大类[24]，数据的展示形式（格式）多样化，如数字、文字、字母、图形、图像、视频、音频等，随着时间向前推移，数据量正在迅速膨胀并变大，国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量是1.82ZB，而到2020年，全世界所产生的数据规模将达到80ZB。(www.xing528.com)

这是一个数据爆炸的时代，一个大数据时代。大数据决定着社会的未来发展，无论是政府、企业还是个人，数据正深刻影响着社会的方方面面。如今，大数据服务领域拓展到营销市场、风控行业、广告媒体行业、医学行业、地理商业智能、文本挖掘、客户服务、网络安全、社交分析、人脸识别、语音识别和娱乐行业等，运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势，相关发达国家也相继制定和实施大数据战略性文件，大力推动大数据发展，深化大数据应用。2015年8月，中国国务院发布了《促进大数据发展行动纲要》，正式把推动大数据发展提高到国家战略高度。2016和2017年，由Google公司设计开发的AlphaGo围棋软件，先后战胜了中韩两大围棋顶级高手，AlphaGo围棋软件通过学习高达3000多万张人类弈棋棋谱，利用深度学习人工智能算法设计合理的策略网络和价值网络，最终达到了人类无法企及的高度，也颠覆了人类对围棋的理解，改变了一些棋手的围棋理念和思维定式，促进了体育产业向纵深发展。

在学术界，研究人员对大数据的研究方兴未艾。孟小峰等人认为云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长，大数据时代正式到来，数据从简单的处理对象开始转变为一种基础性资源，大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生。文章对大数据的基本概念进行剖析，并对大数据的主要应用作简单对比，阐述大数据处理的基本框架，并就云计算技术对于大数据时代数据管理所产生的作用进行分析，最后归纳总结大数据时代所面临的新挑战。[25]

王元卓等人认为网络大数据是指“人、机、物”三元世界在网络空间中交互融合而产生并可在互联网上获得的大数据，网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律，给现有的IT架构以及机器处理和计算能力带来了极大挑战，同时也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大机遇，人类迫切需要探讨大数据的科学问题，发现网络大数据的共性规律，研究网络大数据定性、定量分析的基础理论与基本方法，文中分析了网络大数据的复杂性、不确定性和涌现性，总结了网络空间感知与数据表示、网络大数据存储与管理体系、网络大数据挖掘和社会计算以及网络数据平台系统与应用等方面的主要问题与研究现状，并对大数据科学、数据计算需要的新模式与新范式、新型的IT基础架构和数据的安全与隐私等方面的发展趋势进行了展望。[26]