大数据引发存储限制 Hadoop如何走得更远？

存储技术已经发展和成熟起来，并开始在许多数据中心处于近乎商品的地位。然而，今天的企业面临着存储技术的不断变化带来的诸多问题一个例子是推动大数据分析，一项给大型数据集带来商业智能BI功能的举措。

大数据分析过程需要如下超出典型存储范式的能力—典型存储范式，简而言之，即传统的存储技术，如SAN、NAS和其它无法在本地处理伴随着大数据的挑战而来的TB级和PB级的非结构化信息的存储技术。除此之外，成功的大数据分析需要更多的东西——种新的处理大容量数据的方法，换言之，一种新的存储平台。

Hadoop是一个开源项目，它提供了处理大数据的平台。虽然Hadoop的出现已经有一段时日了，但是很多企业现在才开始使用Hadoop。

Hadoop平台旨在解决海量数据引起的问题，尤其是那些混合了复杂、非结构化、结构化信息的数据，这些数据的结构导致其不适合存储在表中。Hadoop在需要支持深度和计算广泛的分析比如集群和定位的情况下运作良好。那么Hadoop对那些寻求充分利用大数据的IT专业人员意味着什么？简单的回答是Hadoop解决了与大数据相关联的最常见的问题：高效的存储和访问海量数据。

Hadoop的内在设计允许其作为一个能够在大量不共享任何内存和磁盘的计算机之间工作的平台运行。考虑到这一点，就能很容易看到Hadoop如何提供额外的价值——网络管理员可以简单的购买许多商品服务器，将它们放在机架上，然后在每台服务器上运行Hadoop软件。

更何况，Hadoop有助于减少大型数据集相关联的管理开销。在操作上，一旦企业的数据加载到了Hadoop平台，软件就会把数据分解成可管理的片段，然后自动将这些数据分配给不同的服务器。数据天然的分布式性质意味着从单一的服务器访问数据是不可能的。Hadoop跟踪数据驻留的位置，并通过创建多个存储副本进一步保护这些信息。这样，系统的伸缩性增强了：如果某个服务器脱机或者失败了，数据可以自动复制已知的正常副本。

Hadoop如何走得更远？

Hadoop进一步分多个步骤处理数据。例如，限制关联传统的、集中式的数据库系统，该数据库系统可能包括了连接到具有多个处理器的服务器级系统的大型磁盘驱动器。在这种情况下，由于磁盘的性能限制，数据分析是有限的，并且，最终还要忍受可购买的处理器数量。

在部署了Hadoop后，集群中的每个服务器都可以通过Hadoop传播分布在集群中的数据的功能参与数据的处理过程。换句话说，一个索引作业向集群中的每个服务器发送代码，然后每个服务器在属于自己的一块数据上进行相关操作，随后处理结果作为一个整体交付。有了Hadoop，过程被视为MapReduce，在MapReduce中，代码和进程被映射到了所有的服务器上而操作结果被减少到了单个数据集上。

Hadoop之所以能够处理海量数据就是因为这个过程。Hadoop传播数据并且能够利用所有的可用集群处理器并行工作来处理复杂计算问题。