首页 理论教育 规划云:南京市规划局规划云数据中心建设成果浅析

规划云:南京市规划局规划云数据中心建设成果浅析

时间:2023-11-30 理论教育 版权反馈
【摘要】:非“存”勿扰,构建美好数据家园——浅析南京市规划局“规划云”数据中心建设周亮摘要:本文从数据中心建设的现状出发,梳理分析了南京市规划局现状业务数据种类、特点和存储方式,结合当今成熟技术,介绍了云数据中心应用的初步探索,提出了存储系统构建的需求,最后对新的数据中心转型工作予以了展望。

规划云:南京市规划局规划云数据中心建设成果浅析

非“存”勿扰,构建美好数据家园——浅析南京市规划局“规划云”数据中心建设

周 亮

摘 要:本文从数据中心建设的现状出发,梳理分析了南京市规划局现状业务数据种类、特点和存储方式,结合当今成熟技术,介绍了云数据中心应用的初步探索,提出了存储系统构建的需求,最后对新的数据中心转型工作予以了展望。

关键词:数据;存储;数据中心;云计算;虚拟化

1 引言

“蓝蓝的天上白云飘,白云下面‘数据’跑”,与“云计算”云雾缭绕、美丽虚幻的感觉不同,“Big data(大数据)”带给我们的感受是实实在在的:过去没有用信息化进行数据管理的时候,要找到所需数据信息谈何容易,纸质实物的资料不是损坏,就是不全,甚至丢失;现今时代信息数据不断积累,数据从匮乏到丰富甚至泛滥。数据来源更加多源,承载方式更加多变。海量数据的高效存储、处理和挖掘将是新的数据中心发展的必然趋势。

2 数据情况

2.1 数据类别

1998年,南京市规划局第1代规划管理信息系统问世并投运,标志着南京市规划局管理审批业务从传统纸质时代进入到信息化时代,在历经了第2代、第3代管理系统建设的十几年发展之后,我们基本建成了城市规划管理相关的数据中心。数据中心包含了以下8大类数据资源:

(1)实施管理数据:城市规划实施管理系统中产生、流转、存储的各种信息数据。

(2)编制成果数据:城市总体规划、控制性详细规划、交通市政规划等编制成果;教育商业文物等专项规划编制成果;重大项目专项规划设计以及规划调整等相关数据。

(3)地理信息数据:卫星航空影像、数字高程模型、矢量地形图、GIS数据、竣工测量和放验线成果、专题电子地图、市政管线数据、地质调查数据、历史地图数据、连续运行基准站网数据等。

(4)公文办公数据:公文、阅件、信访、会议、建议提案、发文等相关数据。

(5)政务信息数据:内/外网站信息、调研交流等相关信息。

(6)基础研究数据:城市规划管理年报、规划用地管理年报相关数据。

(7)人事财务数据:相对比较独立的人事、财务、资产系统等相关数据。

(8)其他专项数据:各业务处室专业(行业)管理数据、跨职能部门共建共享数据以及其他管理工作过程中形成的专项成果数据等。

2.2 数据特点

经过对城市规划管理相关数据的加工处理和管理使用的分析,目前的数据具有以下几大特点:

(1)数据体量巨大。多年信息化建设的积累,上述各类数据在各自系统平台的运维管理中合计已超过20TB,而分散存放在部门和个人的数据(含重复数据)的体量则更大。

(2)数据类型繁多。在日常工作中,工作人员会使用到各种类型或格式的数据,有单独文件,也有数据库文件,各种文件格式包括文本、表格、图像、图形、音视频、地理位置信息等等,数据类型的多样性带来了数据存储形式需求的不同。

(3)数据响应性要求高。各种应用系统是信息数据处理和展现的平台,我们一直不断追求数据访问处理的高速度,总是希望再快点再快点。新技术、新产品的性能不断提升,帮助我们应对“大数据”的挑战,快速地从海量数据中定位、处理得到我们期望的结果。

(4)数据安全性要求高。数据安全包含两方面内容,一是可用信息不丢失,二是隐私内容不泄露。在云计算、虚拟化、移动互联等技术不断深入应用的今天,数据安全尤为重要,数据存储设备的性能要强、故障率要低,信息安全设备的防护能力要强、覆盖面要广。

(5)数据可挖掘价值高。面对海量的第一手基础数据资料,数据应用服务不能仍停留在规范化的信息技术辅助上面,而通过对数据价值进行更深层次的挖掘,真正“让数据说话”才能展现出科学化的信息辅助决策的能力,才能逐步从“数字规划”进入到“智慧规划”。

2.3 数据存储

img135

图1 常用存储介质的比较

数据存储有两层含义,一是用于数据存放的物理介质,二是确保数据完整安全存放的方式和行为。针对数据的不同类别及特点,我们采用了不同的数据存储介质和方式(见图1),主要分为以下几种:

(1)在线存储。主要应用于日常办公的各种平台系统、数据库系统,利用磁盘阵列技术实现,存储设备及所存数据时刻保持“在线状态”,存取速度最快。重要的业务应用集群都是采用基于光纤通道的SAN存储架构和统一的网络虚拟化存储平台,如规划实施管理系统、编制管理系统、“天地图—南京”系统(见图2)等等。

(2)离线存储。主要应用于定期为各种平台、数据库系统以及其他归档数据的备份,防范可能发生的数据灾难。我们会定期为各应用平台、数据库系统、归档成果文件进行磁带或光盘备份,然后进行异地存放(存放的环境必须满足存储介质的存放要求,如防盗、防火、防潮、防磁等等)。

(3)近线存储。介于在线和离线之间的一种存储方式,其实质还是在线存储,主要是针对访问人不多、访问量不大、访问频率不高,但是需要在线存放的那部分数据,如业务部门管理数据、部分项目阶段成果数据等等。这部分数据量是三种存储方式中最大的,一般以文件服务器(SAN或者NAS)为载体,提供数据存储服务。

img136

图2 “天地图—南京”系统拓扑架构

3 技术应用与展望(www.xing528.com)

3.1 虚拟化

信息化建设年年都在投入,我们很早就发现一个问题:实施一个新的信息化应用系统就必须配置一套物理设备吗?虚拟化给出了否定的回答。虚拟化曾经被视为尖端技术,现在已经成为了一种核心的IT基础设施技术。专业虚拟化管理软件问世,使虚拟机独立运行于底层硬件,性能和稳定性大大提高。

2009年,结合当时需上马的多个信息化项目,我们整合了有限的基础资源,开始尝试搭建虚拟化基础架构。如今,我们的规划用地管理系统、规划编制管理系统、六线入库与更新系统、交通市政平台、IT运维监控系统等近十个应用系统正运行在虚拟化的应用管理平台之上,用户不需要了解应用具体存放在哪个服务器、分区或存储系统中,而给予支撑的硬件仅是两台高性能服务器和一台存储设备,“按需分配”实现了对有限的物理资源更加灵活、动态、简单、高效的管理和应用。

在系统研发过程中,从虚拟环境搭建、开发测试到应用部署,作为测试服务器的虚拟机自始至终发挥着重要作用,在系统正式上线后,虚拟机的存储空间都可以完全被释放而再利用。

近期,我们将对现有虚拟化基础架构进行扩容,包括前端服务器(主机、CPU、内存等)、I/O、网络等,充分发挥虚拟化的业务连续应用、动态迁移、快速部署、灵活扩展的优势。

img137

图3 虚拟化应用示意图

3.2 动态数据中心

传统数据中心普遍存在资源利用率低、应用资源孤岛、自动化部署能力低、功耗较高、安全隐患明显等问题,改造数据中心的意义重大。为了能够采用更自动化的管理和资源分配方式,基于云计算架构的动态数据中心是数据中心发展的趋势。动态数据中心通过利用自动化控制和资源管理,以及虚拟化技术把服务器、存储和网络等硬件设施整合成一个能够共享资源、动态调节、高自动化和高可用的新一代数据中心。

现在以至未来一段时间里,打造“IT即服务”的动态数据中心是我们进行“规划云”计算实践的一项核心工作:建设集中和分布式相结合的大容量存储集群,利用存储虚拟化和数据管理技术(分级、快照、容灾等),实现全自动业务处理的“规划云”系统。

“规划云”数据中心解决方案在逻辑上可分为四层(见图4):

img138

图4 “规划云”的分层

(1)资源层。融合了网络、服务器、存储设备等各种物理IT资源的基础层,可以是不同的硬件平台资源,通过高速以太网或光纤连接,为虚拟化打下硬件基础。

(2)虚拟化层。负责物理硬件抽象并对应用进行虚拟化。在线迁移功能实现应用系统的自动化部署;根据需求提供基于不同OS架构的虚拟化环境。

(3)管理层。负责对虚拟化资源、物理资源进行自动配置、动态分配、备份和监控管理以及负载均衡等网络服务等。

(4)服务层。包括应用接口服务以及客户端管理服务等。

3.3 存储系统

在“规划云”建设之初,需要全面综合评估,确立高效、发展、集约的建设原则,而作为IaaS模式的最重要的部分,存储系统的建设将是基础设施构建的首要任务。在存储系统的建设选型方面,应该明确以下需求:

(1)作为云计算的基础技术支撑,必须高度支持虚拟化。

(2)基于标准化IP网络,易于部署。

(3)I/O运算性能高,易于扩展。

(4)存储管理软件功能强大,易于维护。

(5)安全保障措施到位,预防性强。

4 小结

信息技术日新月异的今天,海量的存储数据亟待我们深入挖掘和利用,传统数据中心必须顺应发展、找准定位、快速转型。一方面,努力推进技术标准化、资源弹性化、服务快速化、部署自动化、管控集中化、绿色低碳化的“规划云”数据中心建设;另一方面,牢牢抓住云计算技术深入应用的契机,IT部门的角色应完成从“底层支撑型”到“资源服务型”的转变,“数字规划”终将向“智慧规划”迈进。

参考文献

[1]南京市城市规划信息化评估与指引(2012年)

[2]张冬.大话存储Ⅱ:存储系统架构与底层原理极限剖析.北京:清华大学出版社,2011

[3]IBM“虚拟化与云计算”小组.虚拟化与云计算.北京:电子工业出版社,2009

[4]李德毅.超越“虚拟的美丽”——云计算实践再分析.第四届中国云计算大会主题报告,2012

[5]刘岩.面向虚拟数据中心的分层存储.EMC培训资料

(本文收录于《2012年中国城市规划信息化年会论文集》)

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈