随着移动互联网技术的高速发展,数据呈爆炸式增长,其重要性已被企业提升到前所未有的高度,成为了企业发展的战略资产。海量数据的产生,给企业带来巨大潜在价值的同时,也让企业在数据存储和处理能力方面面临着更大的挑战。
在移动互联网出现之前,运营商数据主要是人机会话方式产生的,以结构化数据为主;随着互联网尤其是移动互联网的发展,产生了大量的非结构化、半结构化数据。传统数据库应对这类应用需求,无论从技术上还是功能上都存在明显的不足,而Hadoop等技术的诞生为非结构化的海量数据处理提供了新的研究思路和解决方案。
在技术上,中兴软创经过综合比较传统数据仓库技术和Hadoop等新技术,结合植根多年的运营商服务经验,提出了构建新一代运营商数据中心的解决方案。中兴软创选择传统数据仓库(如Oracle)与Hadoop混搭的方式,借鉴关系型数据仓库在传统应用支撑方面以及在复杂查询和分析方面的快速响应能力,同时也借鉴了Hadoop的非结构化数据处理能力,实现数据的高效运算、低耗能存储,满足运营商的日常战略需求。
图1 企业数据中心技术架构图
在功能上,新一代运营商数据中心包括三大能力中心:数据生产中心、数据服务中心、数据管理中心。
图2 企业数据中心功能架构图
数据生产中心作为数据中心的核心,主要负责企业数据的采集和处理,保障数据的及时性、高质性和稳定性。基于大数据技术为数据生产、测试和挖掘构建基础的计算、存储、作业提交、任务调度、数据查询和认证授权等能力;同时通过引入Spark、Spark Streaming、impala等系统,进一步提升平台实时性能和效率。
在接口数据采集方面,采用实时增量方式采集,提升数据入库效率,减小生产系统数据抽取压力;整合层通过实时与增量整合模式提升实时性和及时性;中间层以基线+增量的方式进行基础宽表计算,进一步优化基础宽表计算的效率;汇总层通过标签、指标模块化,实现灵活、高效的标签、指标库。
数据服务中心负责把企业数据中心的能力进行封装,通过API、查询、推送、资源等方式对外提供服务,探索数据变现之道。通过系统目录和门户网站,实现企业数据能力的可视、可查;通过标准化的订阅、审批和服务提供流程,实现数据、资源、消息共享;通过定制化的加密脱敏、精细化的权限控制、详细的使用日志的记录和审计,最终实现安全的数据共享。
数据管理中心是以数据资产为核心打造的数据质量、数据安全、数据管理和生产过程管理; 同时,以全程调度为中心衔接管理和生产,提升系统端到端的协同式数据生产效率和安全质量。
2016年,中兴软创和中国电信湖南省分公司开展合作,率先协助湖南电信完成新一代的企业数据中心(EDC)项目的上线。全新打造的企业数据中心成为湖南电信大数据和各项业务的连接器,以全面、及时、高质、敏捷、安全的能力,支撑企业内外部的数据需求,为践行湖南电信乃至中国电信集团的发展战略奠定坚实基础!