GBASE新型大数据平台成功展示绿色数据中心
2013年3月8日,“国产新型大数据平台开放日”活动在天津海泰绿色发展基地成功举办。南大通用作为国产数据库领军企业主办此次展示活动。来自国家部委的领导、专家、行业用户、合作伙伴及媒体等百余人到场,共同见证了国内首个最大规模的行业大数据处理平台,并就大数据行业应用进行了深入细致的探讨。
此次开放日向公众展示了GBASE行业大数据大规模集群处理平台,多类经营分析业务场景演示及200TB行业数据处理案例。此次展示的大数据平台共使用80台中高端服务器,5台万兆交换机,跨7个机柜,测试平台无论从网络部署、测试复杂度还是数据量都堪称国内规模最大的NewSQL集群环境。该平台可支撑PB级别的数据查询与分析,是应用于行业大数据分析领域的可靠平台。
活动期间,南大通用还为现场听众带来了多场大数据主题讲座。CTO武新博士首先提出“大数据如何引发数据行业变革”问题,继而通过对数据处理架构改变及技术创新的解释,说明NewSQL数据库技术的应用定位与商业价值。CEO崔维力博士围绕大数据时代的天时、地利、人和,向大家阐述了GBASE数据库的市场定位与经营战略。其后三位技术专家分别就大数据背景下,大规模集群处理平台及经营分析类应用案例,国产新型数据库与云架构数据库集群产品,可视化商业智能系统,与听众进行了交流与分享。大家对国产数据库技术能达到与世界同步的水平表示赞叹,纷纷提出版本试用申请,会后的互动提问和有奖问答更是将全场嘉宾的热情推向了高潮。
在大数据平台展示与体验环节中,来宾与南大通用技术人员进行了深入交流,Unix联盟的一位资深教师在体验后表示:南大通用依靠自主研发实力搭建起如此规模的大数据平台令人惊叹,经过多年的技术积累,国产数据库终与国外厂商站在了同一起跑线上。南大通用CEO崔维力在接受媒体采访时指出:行业大数据为用户和厂商带来的商业机会与价值在逐步提升,未来会赶超互联网大数据;代表新技术的NewSQL数据库在行业大数据处理方面不可或缺,GBASE将助力用户发掘数据价值。
天津南大通用数据技术有限公司是国内领先的数据库产品和解决方案供应商,为数据分析、数据挖掘、数据安全等细分市场提供具有国际先进技术水平的专用数据库产品。其GBASE系列数据库主要应用在电信、金融、电力、石油等行业,以及政府、安全、军事、海洋、统计、银监等领域。
数据处理架构的变革理论源于Stonebraker教授的论文。其在论文中认为行业的技术大思路应该由“一种架构支持所有应用”转变成“多种架构支持多类应用”。在大数据和云计算的市场趋动下,南大通用就其理论做了进一步延伸和细化,将目前数据库行业分为三大阵营,即OldSQL(传统数据库)、NewSQL(新型数据库)和NoSQL(非关系型数据库)。
NewSQL数据库具有极高的商业价值,其必将成为一个主流的数据库产品类别。在大数据的需求推动下,数据库行业进入了新一轮的创新。以Oracle为代表的行业垄断受到了强烈挑战,全世界至少有30家新兴的数据库企业和大约50款新产品进入市场竞争。在三大产品阵营中,NewSQL在保持了关系模型的基础上,对存储结构、计算架构和内存使用等技术核心要素进行了深度改变和创新。NewSQL和NoSQL将打破OldSQL服务于所有应用而一统天下的局面,未来三类产品各自拥有适用的应用类型和客户群。
NoSQL和NewSQL在面对海量数据处理时都表现出较强的扩展能力,NoSQL现有优势在于对非结构化数据处理的支持上,但NewSQL对于全数据格式的支持也日趋成熟。而在一些方面,NewSQL相比NoSQL表现出较大优势:实时性,复杂分析,即席查询,可开发性。
传统关系型数据库不易扩展与并行,对海量数据处理不利限制了其应用。当前大量公有云和私有云数据库往往基于NoSQL技术,例如Hbase,Bigtable等,其本身的非线性、分布式、水平可扩展,非常适合云计算和大数据处理,但应用趋于简单化。而云数据库主要解决的是行业大数据应用问题,Hadoop在面对传统关系型数据复杂的多表关联分析、强一致性要求、易用性等方面,与分布式关系型数据库还存在较大差距。这种需求推动了基于云架构的新型数据库技术的诞生,其在传统数据库基础上支持Shared-Nothing集群,提高了系统伸缩性,例如EMC的Greenplum、南大通用的GBase8aMPPCluster、HP的Vertica都属于类似产品。
基于大数据和云计算需求,数据库未来四大发展趋势:对于全数据类型的支持;更大规模MPP和数据管理集群技术;大数据一体机产品;跨平台融合。
大数据和云计算时代已经来临,NewSQL云数据库在继承了一些传统成熟的关系型数据库技术基础之上开发,能够支持海量数据,具有高性能、高扩展性,满足支撑云计算、大数据和移动互联网的应用,其必然在下一代数据产品市场中处于主导地位。
平台简介
2012年,某电信运营商历时一年进行数据仓库选型测试。参与测试的包括国内外8个厂商9款产品。南大通用GBase8a参与其中,并成功入围测试性能优异产品“短名单”!为充分支持其经营分析系统的平台建设,也为展现国产数据库的技术实力与支撑能力,南大通用在天津总部搭建了大规模集群测试平台环境。
此次测试平台可以用“12870”五个数字来说明特点:
“1”国内最大规模集群环境
测试平台共使用80台中高端服务器,5台万兆交换机,跨7个机柜,测试平台无论从网络部署、测试复杂度还是数据量都堪称国内规模最大的NewSQL集群环境。
“2”200TB测试数据
平台测试数据200TB,模拟经营分析环境全国4.9亿用户,时间跨度1年,对每人400次/年通话和1200次/年手机上网的日常经营数据进行分析与挖掘。
“8”80节点服务器集群
测试平台共搭建集群节点80台,测试期间为体现性能线性提升,执行从64节点扩展到80节点的用例,整个测试过程都在数据压缩入库态下执行。
“7”7大类经营分析关键业务场景
测试过程涵盖7大类经营分析关键场景,测试内容包括数据加载和存储测试、功能测试、性能测试、压力与稳定性测试、可扩展测试、高可用测试、压缩测试等。
“0”0人工干预
测试平台的全部测试过程0人工干预,测试用例均以测试脚本形式执行,避免了人工干预。见证了采用MPP技术和SN扁平架构GBase8a集群的稳定性、先进性、高可靠性。