国双CTO:详解行为分析背后的支撑架构前沿技术

2011-12-12    来源:ZDnet    
日前,笔者采访了该公司高级技术总监黄勇坚先生,请他详细介绍了目前公司业务的发展情况和后台支撑架构。

国双科技是一家从事在线搜索引擎广告、UEO优化、SEO优化以及用户行为分析的国内公司。该公司于2008年分别与微软和iCrossing结成全球战略合作伙伴,并且在微软“BizSpark”中的4000余家企业里位列第一名,2010年完成了由迪斯尼旗下思伟投资领投的A轮融资。日前,笔者采访了该公司高级技术总监黄勇坚先生,请他详细介绍了目前公司业务的发展情况和后台支撑架构。

据黄总介绍,目前国双科技服务了分布在18个行业的超过300家客户,其中超过40余家位列财富500强和中国500强企业。这里面包括了大家耳熟能详的IT巨头,如Intel、微软、HP、三星、联想等,还有诸如可口可乐、蒙牛、中粮集团、希尔顿、如家快捷、百度、新浪、CCTV、工商银行等客户。

国双科技可以提供全球领先的在线营销效果优化和用户行为分析平台,其首度将专业的OLAP数据挖掘技术应用于在线营销效果的度量、分析和点击欺诈监测。通过独特的监控算法,国双可以精确的监测到页面每一个像素的流量、转化和销售效果。

那么国双的后台是如何支撑自身业务以满足用户需求的呢?黄勇坚对笔者表示,国双提供的服务相对一般互联网企业来说有自己的特殊性,首先是计算密集型——有很多数据需要做计算,然后是必须满足7*24小时的不间断服务,避免宕机。也就是说,一方面要保证大数据流量的情况下自身系统不出问题,另一方面要保证后台服务器能按时完成计算。

国双科技目前拥有的数百家客户,其各种监控反馈数据每天高达4亿多条。针对客户的监控需求,国双科技采用了与Google非常相似的方式收集用户行为数据——通过应用Java脚本的方式来监测用户行为。而为了解决Java脚本带来的网页打开速度问题,国双采用了两个主要的对策:1、采用了压缩脚本的方式,将原来40多K的Java脚本压缩的非常小;2、通过租用CDN服务来缓解不同网络中带来的延迟问题。

对于前台统计的数据,国双采用了Linux系统上架设LVS的方式实现网络负载均衡,而后端则全面部署了微软Windows Server 2008和SQL Server 2008数据库,用ASP.net方式实现前端程序。而尽管采用了负载均衡和CDN的方式减少网络方面的数据压力,但后台还是经常会出现高负载的情况。

为此国双科技自己写的业务调度程序,通过定义数据流的明确步骤来自动分配其计算业务流量。另一方面,黄总表示国双还对客户做了划分,这样后台系统根据不同的客户业务负载来分配计算资源。

黄总表示,国双科技的后台支撑体系全面采用双插槽机架服务器,每台服务器配置上百G内存,保证了数据库业务对内存的要求。网络方面目前主要用的是千兆以太网,原因在于相关业务对于连接速度要求并不高,而并发I/O比较多。对于存储方面,目前国双采用的是SAN存储架构,其数据规模大约有数10T左右。

此外,国双还分别在北京和香港拥有双线机房,每一个用户访问网站的行为数据都会自动的被分发到北京和香港的机房,这两个数据中心互做冗余,也方便了国外客户相关业务的连接不出现延迟。

对于时下流行的虚拟化技术,黄勇坚表示确实有考虑过虚拟化方案。但是由于国双的相关业务对性能和可靠性要求非常高,因此目前在生产环境下还没有使用虚拟化技术。不过黄总表示目前已经在测试相关的虚拟化技术,该测试主要是基于微软Hyper-V实现的。主要用在开发和测试中,真实的业务上线时也会先在虚拟机里跑相关的业务。

对于未来的IT系统规划,黄总表示,国双的后台发展主要以承载业务为导向,强调性能可以满足需求,未来随着服务器的扩充,也会加大运维的力度。目前公司运维团队分两方面,一方面是产品运维团队,会监控和处理与软件和业务有关的内容,保证业务正常。另一方面团队主要负责服务器软硬件的支撑。

据他预测,国双科技2012年将更多的发展中小客户资源,因此对于服务器后台的支撑。黄总表示会有针对性的对中小客户的服务做精简和调整,明年上半年也会根据业务情况采购数十台服务器和相关配套设施。

【国双CTO黄勇坚先生简介】

黄勇坚先生于2005年和祁国晟等同学一道,创立清华大学软件产业协会,负责协会的技术开发和项目管理工作。国双科技成立之后,是国双科技技术研发的负责人,负责公司技术路线的制定,以及公司软件产品的技术架构、研究开发和项目跟踪。

黄先生2006年毕业于清华大学计算机软件专业,是首届“盛大杯”全国青少年游戏程序设计大赛团体冠军获得者。2008年开始主导开发公司的网站流量分析核心产品Web Dissector和Video Dissector,确立公司的OLAP作为多维度自由剖析的技术路线,并应用在公司的各大产品线上。2008年至今主导和参与了公司的网站流量用户行为分析产品线、视频用户行为产品线、SEM广告投放管理和分析产品线及移动APP行为分析产品线的架构规划、开发和服务运维的工作。

1
3