首页 理论教育 谷歌高精尖技术代表:数字化变革中的洞察

谷歌高精尖技术代表:数字化变革中的洞察

时间:2023-09-21 理论教育 版权反馈
【摘要】:谷歌在大数据及互联网方面的技术优势,使其在不少消费者心中成为高精尖技术的代表企业。谷歌是大数据时代的奠基者,其大数据技术架构一直是互联网公司争相学习和研究的重点,也是行业大数据技术架构的标杆和示范。此外,谷歌公司还在中国香港和中国台湾,以及新加坡和智利建立了数据中心。

谷歌高精尖技术代表:数字化变革中的洞察

谷歌在大数据及互联网方面的技术优势,使其在不少消费者心中成为高精尖技术的代表企业。谷歌是大数据时代的奠基者,其大数据技术架构一直是互联网公司争相学习和研究的重点,也是行业大数据技术架构的标杆和示范。

1.谷歌的数据中心

谷歌已经建立了世界上最快、最强大、最高质量的数据中心,它的8个主要数据中心都远离其位于美国加州山景城的总部,分别位于美国南卡罗来纳州的伯克利郡、爱荷华州的康瑟尔布拉夫斯、乔治亚州道格拉斯郡、俄克拉荷马州的梅斯郡、北卡罗来纳州的勒努瓦、俄勒冈州的达尔斯;另外2个在美国境外,分别是芬兰的哈米纳和比利时的圣吉斯兰。此外,谷歌公司还在中国香港和中国台湾,以及新加坡和智利建立了数据中心。位于美国爱荷华州康瑟尔布拉夫斯的谷歌数据中心,占地超过1万平方米(图4-4)。

2.谷歌新一代索引擎平台和大数据分析核心技术

谷歌是GFS MapReduce BigTable的缔造者,但Google新一代搜索引擎平台正逐步用更强计算能力的系统来替换原有系统,新一代搜索引擎平台有以下六个核心技术系统:

图4-4 美国爱荷华州康瑟尔布拉夫斯数据中心

(1)用基于Peroolaoor的增量处理索引系统来取代MapReduce批处理索引系统,这个索引系统被称作Caffeine,它比MapReduce批处理索引系统搜索更快。

(2)专为BigTable设计的分布式存储Colossus,也被称为GFS2(二代Google文件系统),它专为建立Caffeine搜索索引系统而用。

(3)列存储数据库BigTable,但为了更好地支持大数据集的互动分析,Google推出了Dremel和PowerDrill。 Dremel被设计用来管理非常大量的大数据集(指数据集的数量和每数据集的规模都大),而PowerDrill则设计用来分析少量的大数据集(指数据集的规模大,但数据集的数量不多)时提供更强大的分析性能。

(4)为Google Instant提供服务的实时搜索引擎存储和分析架构。(www.xing528.com)

(5) Pregel——谷歌更快捷的网络和图算法

3.谷歌基础云服务

基于Colossus,谷歌为用户提供计算、存储和应用的云服务。计算服务包括计算的引擎(ComputeEngine)和应用APP的引擎(AppEngine);存储服务包括云存储(CloudStorge )、云SQL(CLoudSQL)、云数据存储(Cooud DataSoore )、永久磁盘等;云应用服务包括BigQuery、云终端(Cooud Endooints )、缓冲、队列等。

4.谷歌的大数据智能应用服务

谷歌提供的大数据分析智能应用包括客户情绪分析、交易风险(欺诈分析)、产品推荐、消息路由、诊断、客户流失预测、法律文案分类、电子邮件内容过滤、政治倾向预测、物种鉴定等多个方面。例如,一些典型应用如下:

(1)基于Map Reduce, Google的传统应用包括数据存储、数据分析、日志分析、搜索质量以及其他数据分析应用。

(2)基于Dremel系统,Google推出其强大的数据分析软件和服务——BigQuery,它也是Google自己使用的互联网检索服务的一部分。Google已经开始销售在线数据分析服务,试图与市场上类似亚马逊网络服务(Amazon Web Services)这样的企业云计算服务竞争。这个服务,能帮助企业用户在数秒内完成万亿字节的扫描。

(3)基于搜索统计算法,Google推出搜索引擎的输写纠错、统计型机器翻译等服务。

(4) Google的趋势图应用。通过用户对于搜索词的关注度,很快地理解社会上的热点是什么。

(5) Google Instant。输入关键词的过程,Google Instant能够边输入边预测可能的搜索结果。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈