腾讯分布式数据仓库(Tencent distributed Data Warehouse,TDW),是腾讯工程技术事业群数据平台部基于开源软件研发的大数据处理平台,如图5.6 所示。它基于Hadoop、Hive、PostgreSQL进行研发,并在开源软件的基础上做了大量的定制和优化。
目前,TDW是腾讯内部规模最大的分布式系统,集中了腾讯内部各个产品的数据,为腾讯的各个产品提供海量数据存储和分析服务,包括数据挖掘、产品报表和经营分析等服务。TDW是腾讯的首批对外开源软件,代码已经托管到CSDN CODE平台。
图5.6 腾讯大数据平台建立的分布式数据仓库
历时4 年多的研发和运营,TDW依次经历了数据仓库功能完善、易用性建设、高可用和稳定性加强,性能和成本优化,安全建设等阶段。目前,TDW 平台已经成熟,进入稳定运营阶段,它支持百PB级数据的离线存储和计算,为业务提供海量、高效、稳定的大数据平台支撑和决策支持。机器总量达到8 000 台以上,最大集群超过5 600 个节点,覆盖了腾讯90%以上的业务产品;TDW集成开发环境在腾讯内的总用户数约1 500 人,活跃用户数达到700以上,每日运行的分析SQL数达到100 000 以上,每日SQL 翻译成MR job 数达到1 000 000以上。可以说,TDW是名副其实的“海量”系统。
思考:腾讯公司成立于1998 年11 月,目前腾讯集团已成为中国最大的互联网综合服务提供商之一。成立以来,腾讯一直秉承“一切以用户价值为依归”的经营理念,始终处于稳健发展的状态。请同学们结合自己使用腾讯的日常经历调研及思考下列问题:
①查询腾讯在全球的用户有多少。(www.xing528.com)
②腾讯提供了多少种产品和服务?
③根据案例思考,腾讯采取哪些技术满足上亿级别用户的需求?
④头脑风暴讨论为什么腾讯能够获得成功。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。