本章主要介绍了大数据的概念和数据处理的流程;对物联网的关键技术及物联网的应用进行分析,特别结合人工智能领域的发展历程和云计算机的分类使用,可以预见,随着新技术的发展和对云计算模式理解程度的加深,给软件应用架构和系统体系结构设计带来了新的机遇、技术和方法。
本章任务描述中列举了3个问题,这3个问题的具体操作步骤如下。
任务一综合操作:
大数据在各行各业中的作用较为突出,在未来具有广阔的发展前景。如今,数据的属性和来源正在发生变化,我们对数据的关注点也在变化。当我们谈论大数据时,关于风险、道德、管理方面的问题越来越多,这是技术发展的普遍规律,也表明大数据发展进入了一个新阶段,它的发展趋势大致有以下七个方面:
1.数据的资源化
资源化是指大数据成为企业和社会关注的重要战略资源,因此,企业需要提前制订大数据营销计划,以获得更好的市场机会。
2.与云计算深度结合
大数据离不开云处理,云计算为大数据提供了弹性可拓展的基础设备,它的特点在于对海量数据进行分布式数据挖掘,是产生大数据的平台之一。大数据无法用单台的计算机进行处理,必须采用分布式架构,依托云计算的分布式处理、分布式数据库、云存储技术、虚拟化技术等。
3.科学理论的突破
随着大数据的快速发展,数据挖掘、机器学习和人工智能等相关技术兴起,实现了科学理论的突破。
4.数据泄露防范
随着数据的增多,所有企业,无论规模大小,都需要重新审视数据安全问题。企业需要加强防范,避免数据泄露事件的发生。
5.数据管理成为企业核心竞争力
数据管理将成为企业的核心竞争力,直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心后,企业对数据管理便有了更清晰的界定。
6.数据质量是BI(商业智能)成功的关键
未来,采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。但企业要面临的一个挑战是:很多数据源可能产生大量低质量数据。因此,企业需要理解原始数据与数据分析之间的关系,从而消除低质量数据,并进行合理决策。
7.数据生态系统复合化程度加强
大数据的世界不只是一个单一的、巨大的计算机网络,而是一个由大量活动构件与多元参与者元素共同构成的生态系统,包括终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使用者、数据服务提供商、触点服务提供商、数据服务零售商等在内的参与者共同构建的生态系统。
如今,这样的数据生态系统的雏形已经形成,接下来的发展将趋向于系统内部角色的细分,也就是市场的细分;系统机制的调整,也就是商业模式的创新;系统结构的调整,也就是竞争环境的调整等,从而使得数据生态系统复合化程度逐渐提高。
未来,数据分析将成为大数据发展的核心,大数据除了能够更好地解决社会、科技、经济等问题,还可以解决人们关心的各种问题。
任务二综合操作:
云计算设计的关键技术如下:
1.虚拟化技术
虚拟化技术是指计算元器件在虚拟的基础资源上运行,而不是在真实的基础资源上运行。使用虚拟化技术可以扩大硬件的容量,简化软件的重新配置过程,减少软件虚拟机相关开销,以及支持更广泛的操作系统。通过虚拟化技术可实现软件应用与底层硬件相隔离。虚拟化技术可分为存储虚拟化、计算虚拟化、网络虚拟化等,计算虚拟化又可分为系统级虚拟化、应用级虚拟化和桌面虚拟化等。(www.xing528.com)
在云计算实现中,计算虚拟化是一切建立在“云”上的服务与应用的基础。虚拟化技术主要应用在CPU、操作系统、服务器等多个方面,是提高服务效率的最佳解决方案。
2.分布式海量数据存储技术
云计算系统由大量服务器组成,同时为大量用户服务,因此,云计算系统采用分布式存储的方式存储数据,用冗余存储的方式保证数据的可靠性。冗余通过任务分解和集群的方式,用低配机器替代超级计算机的性能来实现低成本,这种方式保证了分布式数据的高可用性、高可靠性和经济性,即为同一份数据存储多个副本。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop的GFS。
3.海量数据管理技术
云计算需要对分布的、海量的数据进行处理、分析,因此,数据管理技术必须能够高效管理大量数据。云计算系统中的数据管理技术主要是Google的Big Table和Hadoop的HBase。由于云数据存储管理方式不同于传统的RDBMS数据管理方式,因此,如何在规模巨大的分布式数据中找到特定的数据,也是云计算数据管理技术所必须解决的问题。
同时,管理形式的不同造成传统的SQL数据库接口无法直接移植到云管理系统中。另外,在云数据管理方面,如何保证数据的安全性和数据访问的高效性也是研究的重点问题之一。
4.编程模式
云计算提供了分布式的计算模式,客观上要求必须有分布式的编程模式。云计算采用了一种简洁模型Map-Reduce。Map-Reduce是一种编程模型和任务调度模型,主要用于数据集的并行运算和并行任务的调度处理。在该模式下,用户只需要自行编写Map函数和Reduce函数即可进行并行计算。
其中,Map函数定义各节点中的分块数据的处理方法;Reduce函数定义中间结果的保存方法及最终结果的归纳方法。
5.云计算平台管理技术
云计算资源规模庞大,服务器数量众多且分布在不同的地点,同时,还运行着数百种应用,云计算平台管理技术能够使大量的服务器协同工作,方便进行业务部署和开通,可快速发现和解决系统故障,通过自动化、智能化的手段实现大规模系统的可靠运营。
任务三综合操作:
从实践进展来看,区块链技术在商业银行的应用大部分仍处于构想和测试之中,距离在生活、生产中的运用还有很长的路,而要获得监管部门和市场的认可,也面临诸多困难。
1.受到现行观念、制度、法律制约
区块链去中心化、自我管理、集体维护的特性颠覆了人们的生产生活方式,淡化了监管概念。
对于这些,我们还缺少理论准备和制度探讨。即使是区块链应用最成熟的比特币,不同国家持有的态度也不相同,不可避免地阻碍了区块链技术的应用与发展。
2.在技术层面,区块链尚需突破性进展
区块链应用尚在实验室初创开发阶段,没有直观可用的成熟产品。另外,区块链还存在区块容量问题,由于区块链需要复制之前产生的全部信息,下一个区块信息量要大于之前的区块,这样传递下去,区块写入信息会无限增大,带来的信息存储、验证、容量问题有待解决。只有不断加强基础技术理论的研究和突破,区块链才能安全、可靠、持续地发展与应用。不断完善基础支撑设施,区块链应用的落地才能有序、健康。
一方面,要加强相关基础技术理论的研究,例如,与区块链性能和安全相关的共识算法、与数据隐私相关的零知识证明等密码算法;另一方面,需加快完善基础支撑设施的建设,例如,区块链行业公共网络、分布式数字身份体系等。
3.竞争性技术挑战
虽然有很多人看好区块链技术,但推动人类发展的技术有很多种,哪种技术更方便、更高效,人们就会应用该技术。例如,在通信领域应用区块链技术,发信息的方式是每次发给全网的所有人,但是只有那个有私钥的人才能解密打开信件,这样信息传递的安全性会大大增加。
同样,利用量子纠缠效应进行信息传递,同样具有高效、安全的特点,近年来更是取得了不小的进展,这对于区块链技术来说,就具有很强的竞争优势。
目前,我国在区块链领域已具备一定的发展基础。在技术研发方面,骨干企业加大投入力度,加快突破关键核心技术,提升区块链性能、效率、安全性;在标准化方面,全国区块链和分布式记账技术标准化委员会已获筹建,标准体系加快完善;在产业生态方面,底层基础设施、应用基础平台、行业应用开发及周边配套服务的产业链已初步形成。虽然我国已经开始探索区块链在物联网、智能制造等领域的应用落地,但总体看,由于区块链涉及场景较为复杂,落地模式还不够清晰,区块链在实体经济领域的应用还处于起步阶段,因此,还需完善技术、找准应用场景、解决工程实施等现实难题。未来,区块链技术在我国政务、金融、民生等相关领域都将具有广阔的应用前景。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。