大数据时代的商业分析技术趋势行业资讯
2013-07-24 来源:机房360 编辑:佚名
目前,趋势中心对如何应对分析挑战的关注力度正逐级攀升,绝不亚于他们考虑在新商业视角中如何充分利用机遇的力度。
而在当下,随着越来越多的公司开始不得不面对海量数据以及考虑如何利用这些数据,管理与分析大型不同数据集的技术开始出现。提前分析成本与性能趋势意味着公司能够提出比以前更为复杂的问题,提供更为有用的信息以帮助他们运营业务。
首席信息官们总结出了影响他们进行分析的IT趋势,分别为:大数据的增长、快速处理技术、IT商品的成本下降、移动设备的普及和社交媒体的增长。
大数据的增长
大数据指非常庞大的数据集,尤其是那些没有被整齐的组织起来无法适应传统数据仓库的数据集。网络蜘蛛数据、社交媒体反馈和服务器日志,以及来自供应链、行业、周边环境与监视传感器的数据都使得公司的数据变得比以往越来越复杂。HMS公司首席信息官CynthiaNustad认为,大数据呈现为一种“爆炸性”增长趋势。
在大数据技术的谈论中,最多的一项技术是Hadoop。该技术为开源分布式数据处理平台,最初是为编辑网络搜索索引等任务开发的。Hadoop为多个“非关系型(NoSQL)”技术(其包括CouchDB和MongoDB)中的一种,其通过特殊的方式组织网络级数据。Hadoop可将数据的子集合分配给成百上千台服务器的处理,每台服务器汇报的结果都将被一个主作业调度程序整理,因此其具有处理拍字节级数据的能力。Hadoop既能够用于分析前的数据准备,也能够作为一种分析工具。
商业分析速度加快
大数据技术只是快速分析这一大趋势中的一个元素。与更为快速地分析数据相比,数据的大小并不重要,因为你想让这一过程快速完成。但由于目前的计算能够在内存中处理更多的数据,因此与在硬盘中搜索数据相比,其计算出结果的速度要更快。即使你仅处理数G数据,但情况依然与此。
尽管经过数十年的发展,通过缓存频繁访问的数据,数据库性能提升了许多。在加载整个大型数据集至服务器或服务器集群的内存时,这一技术变得更加实用,此时硬盘只是作为备份。由于从旋转的磁盘中检索数据是一个机械过程,因此与在内存中处理数据相比,其速度要慢许多。
列式数据库服务器改变了关系型数据库的传统行与列结构,解决了另一些性能需求。查询仅访问有用的列,而不是读取整个记录和选取可选列,这极大地提高了组织或测量关键列的应用的性能。但Ternent警告称,列式数据库的性能优势需要配合正确的应用和查询设计。他称:“为了进行区别,你必须以适当的方式问它适当的问题。”此此同时,他还指出,列式数据库实际上仅对处理超过500G字节数据的应用有意义。
技术成本下降
随着计算能力的增长,分析技术开始从内存与存储价格的下降中获益。同时,随着开源软件逐渐成为商业产品的备选产品,竞争压力也导致商业产品价格进一步下降。计算成本的变化正在改变着一些基础性架构的选择。例如,创建数据仓库的一个传统因素是让数据一起进入拥有强大计算能力的服务器中以处理它们。当计算能力不足时,从操作系统中分离分析工作负载可以避免日常工作负载的性能出现下降。Nustad称,目前这已经不再是一个合适的选择了。尽管性价比趋势有利于管理成本,但是这些潜在的节约优势将被日益增长的能力需求所抵消。尽管JohnHancock每台设备的存储成本在今年下降了2至3%,但是消耗却增长了20%。
移动设备的普及
对于Nustad而言,移动商业智能具有优先权,因为每个人都希望Nustad能够随时随地亲自访问关于她的公司是否达到了服务级协议的报告。她还希望为公司的客户提供数据的移动访问,帮助客户监控和管理医疗保健开销。对于首席信息官来说,要迎合这一趋势更多的是为智能手机、平板电脑和触摸屏设备创建适用的用户界面,而不是更为复杂的分析能力。或许是出于这方面的原因,Kellen认为这相对容易。
社交媒体的加入
随着脸谱、推特等社交媒体的兴起,越来越多的公司希望分析这些由网站产生的数据。新推出的分析应用支持人类语言处理、情感分析和网络分析等统计技术,这些并不是典型商业智能工具套件的组成部分。由于它们都是新的,许多社交媒体分析工具可以作用服务获得。当营销与客户服务部门购买后,这类工具不再对IT部门有很严重的依赖性。目前,肯塔基大学的Kellen仍然相信他需要对它们高度关注。
与其他公司一样,大学也对监督他们大学的声誉十分感兴趣。没有诀窍,也没有工具处理和挖掘海量社交媒体帖子的价值。不过,一旦你收集了数据,你需要有能力获取公司事件的充足信息,以将它们关联起来。虽然Hackney称JohnHancock在这一领域内的努力还处于“起步阶段”,但是他认为IT部门将在公司数据的社交分析服务所提供的数据关联中发挥重要作用。例如,如果社交媒体数据显示公司在中西部地区的社会评论越来越负面,那么他将希望看一下如果公司在该地区就价格或策略进行调整是否会扭转这一负面发展趋势。
首席信息官们总结出了影响他们进行分析的IT趋势,分别为:大数据的增长、快速处理技术、IT商品的成本下降、移动设备的普及和社交媒体的增长。
大数据的增长
大数据指非常庞大的数据集,尤其是那些没有被整齐的组织起来无法适应传统数据仓库的数据集。网络蜘蛛数据、社交媒体反馈和服务器日志,以及来自供应链、行业、周边环境与监视传感器的数据都使得公司的数据变得比以往越来越复杂。HMS公司首席信息官CynthiaNustad认为,大数据呈现为一种“爆炸性”增长趋势。
在大数据技术的谈论中,最多的一项技术是Hadoop。该技术为开源分布式数据处理平台,最初是为编辑网络搜索索引等任务开发的。Hadoop为多个“非关系型(NoSQL)”技术(其包括CouchDB和MongoDB)中的一种,其通过特殊的方式组织网络级数据。Hadoop可将数据的子集合分配给成百上千台服务器的处理,每台服务器汇报的结果都将被一个主作业调度程序整理,因此其具有处理拍字节级数据的能力。Hadoop既能够用于分析前的数据准备,也能够作为一种分析工具。
商业分析速度加快
大数据技术只是快速分析这一大趋势中的一个元素。与更为快速地分析数据相比,数据的大小并不重要,因为你想让这一过程快速完成。但由于目前的计算能够在内存中处理更多的数据,因此与在硬盘中搜索数据相比,其计算出结果的速度要更快。即使你仅处理数G数据,但情况依然与此。
尽管经过数十年的发展,通过缓存频繁访问的数据,数据库性能提升了许多。在加载整个大型数据集至服务器或服务器集群的内存时,这一技术变得更加实用,此时硬盘只是作为备份。由于从旋转的磁盘中检索数据是一个机械过程,因此与在内存中处理数据相比,其速度要慢许多。
列式数据库服务器改变了关系型数据库的传统行与列结构,解决了另一些性能需求。查询仅访问有用的列,而不是读取整个记录和选取可选列,这极大地提高了组织或测量关键列的应用的性能。但Ternent警告称,列式数据库的性能优势需要配合正确的应用和查询设计。他称:“为了进行区别,你必须以适当的方式问它适当的问题。”此此同时,他还指出,列式数据库实际上仅对处理超过500G字节数据的应用有意义。
技术成本下降
随着计算能力的增长,分析技术开始从内存与存储价格的下降中获益。同时,随着开源软件逐渐成为商业产品的备选产品,竞争压力也导致商业产品价格进一步下降。计算成本的变化正在改变着一些基础性架构的选择。例如,创建数据仓库的一个传统因素是让数据一起进入拥有强大计算能力的服务器中以处理它们。当计算能力不足时,从操作系统中分离分析工作负载可以避免日常工作负载的性能出现下降。Nustad称,目前这已经不再是一个合适的选择了。尽管性价比趋势有利于管理成本,但是这些潜在的节约优势将被日益增长的能力需求所抵消。尽管JohnHancock每台设备的存储成本在今年下降了2至3%,但是消耗却增长了20%。
移动设备的普及
对于Nustad而言,移动商业智能具有优先权,因为每个人都希望Nustad能够随时随地亲自访问关于她的公司是否达到了服务级协议的报告。她还希望为公司的客户提供数据的移动访问,帮助客户监控和管理医疗保健开销。对于首席信息官来说,要迎合这一趋势更多的是为智能手机、平板电脑和触摸屏设备创建适用的用户界面,而不是更为复杂的分析能力。或许是出于这方面的原因,Kellen认为这相对容易。
社交媒体的加入
随着脸谱、推特等社交媒体的兴起,越来越多的公司希望分析这些由网站产生的数据。新推出的分析应用支持人类语言处理、情感分析和网络分析等统计技术,这些并不是典型商业智能工具套件的组成部分。由于它们都是新的,许多社交媒体分析工具可以作用服务获得。当营销与客户服务部门购买后,这类工具不再对IT部门有很严重的依赖性。目前,肯塔基大学的Kellen仍然相信他需要对它们高度关注。
与其他公司一样,大学也对监督他们大学的声誉十分感兴趣。没有诀窍,也没有工具处理和挖掘海量社交媒体帖子的价值。不过,一旦你收集了数据,你需要有能力获取公司事件的充足信息,以将它们关联起来。虽然Hackney称JohnHancock在这一领域内的努力还处于“起步阶段”,但是他认为IT部门将在公司数据的社交分析服务所提供的数据关联中发挥重要作用。例如,如果社交媒体数据显示公司在中西部地区的社会评论越来越负面,那么他将希望看一下如果公司在该地区就价格或策略进行调整是否会扭转这一负面发展趋势。