易趣网全球商业分析负责人大卫·斯蒂芬森在伦敦召开的Gartner CRM峰会上表示，拍卖网站的目标就是促成购物买卖交易的成功。

　　从买卖双方的角度来看，作为一个市场，易趣网的主要业务无疑是成功的。

　　该公司通过一系列的分析有助于其更好地理解其客户。史蒂芬森的雄心是在每个卖家的小商店里都实现个性化的，进而构成整个易趣网世界。“在一个卖家的小商店，吸引客户的关键在于帮助客户进行其想要商品的搜索并给出相关的推荐商品建议，了解客户的喜好，从现有客户的消费行为中学习。”他说。

　　网络测量数据便斯蒂芬森进行相关调研处置的原始信息。该拍卖网站产生了大量的网络分析，斯蒂芬森将这些信息描述为“客户访问之旅的数据”。这些数据信息可以告诉他用户在易趣网上都干了些什么，以及他们是如何使用该网站的。

　　“在线商店可以提供与本地的实体店相同的体验，并能够方便客户进行产品和价格的比较。”斯蒂芬森说，“这使得我们可以了解用户的意图。”而所以这一切洞察又推动了易趣网的技术变化。

　　而易趣网所面临的挑战是，网络分析就像每一个顾客进入超市时，头顶都安装着一台摄像机，史蒂芬森说。其记录了每一个客户在其网站上的行为，每月将近产生一亿小时的客户互动数据，创造的客户数据量几乎无法应付。“如果想要处理这一亿小时的网络分析数据，几乎无从下手。”他说。

　　“我们想要了解客户，就必须要学习和研究客户的数据和应用数据科学技术，以便能让我们得到更多的数据和新的数据类型。”

　　管理客户的访问之旅

　　易趣网网站拥有一亿的客户，商品清单项目有30000类。在交易过程中，网站每秒处理数千美元。而史蒂芬森将这一交易数据称为其全站数据信息总量的“冰山一角”。

　　他表示易趣网以开始努力处理所有客户的访问数据。

　　易趣网所面临的大数据的挑战是诸如“昨天最热门的搜索商品是什么?”这样简单的业务问题，其涉及到需要处理五十亿的页面浏览量。“所以，哪怕是一个非常基本的商业问题，其也是一个相当巨大的问题。”史蒂芬森说。

　　但易趣网需要做的远远不止这样几个简单的业务问题。史蒂芬森说，该网站想要实施感性分析，网络分析和图像分析，而所有这一切都不能在一个传统的交易数据库运行。

　　该公司跨三个平台拆分其数据分析，其中第一个是Teradata的传统企业级数据仓库。这个核心交易系统必须非常可靠，斯蒂芬森说。“该系统不能出现故障。因为我们每天要由7,000位分析师访问700个并发用户，处理50TB的数据。 ”

　　在2002年，易趣网建立了一个13TB的Teradata企业级数据仓库，从而有效地提供了一个大规模并行关系数据库。其现在已经发展到14PB的规模，该系统建立在成千上万的节点上。

　　企业数据仓库为标准结构化查询提供了巨大的性能，史蒂芬森说，但其仍然无法满足易趣网存储和处理的灵活性的需要。”这些系统的造价是相当昂贵的，所以当易趣网每天添加50TB的数据，其成本是相当高昂的。”他说。

　　当涉及到用户的访问数据时，易趣网习惯于保持一个1%的样本，其余的直接销毁，史蒂芬森说。

　　记录用户访问行为的数据是有意义的，然后直接销毁扔掉所有不需要的信息，他说。但他补充说：“但我们提前不会知道我们要记录用户访问行为的哪些信息。我们问的约85%的分析问题都是新的或未知的。但我们要对数据进行结构分析，然后再销毁无用的数据，如果将所以的数据都存储起来，那每个月都将会有一亿小时的数据信息，分析也就无从下手了。

　　“有一种张力的均衡：无论是通过销毁掉不用的数据集，来建立巨大的网站分析数据结构，或是保存所有收集到的数据，但分析工作无从下手(因为其是难以控制的)。”

　　为了解决这个问题，易趣网开始其第二数据倡议。七年前，该公司开始了一个项目来存储所有的客户数据。“针对客户访问行为数据，我们希望我们相同价格的大数据解决方案的规模是企业数据仓库的100倍。”史蒂芬森说。

　　拍卖网站需要一个产品，其可以处理数以百计数据字节的原始客户访问数据，同时还能够让一个五人的团队轻松管理，保证分析人士能够很容易的访问。

　　该公司曾与Teradata合作开发了一款定制设备，内置了几百个用户定义的功能。系统建立在商品硬件上，利用专有软件来处理所有客户的访问数据，且存储成本便宜。

　　最终的结果是，他们建造了一个自定义的数据仓库，称为Singularity。

　　易趣网开发的该系统可以在32秒内运行即席查询。史蒂芬森说，彼时，Hadoop则需要30分钟的时间来运行该查询。“对于真正帮助了解你的客户等关键业务问题来说，Hadoop可能不是适合的。”他补充道。

　　利用企业数据仓库和Singularity的同时，易趣网也使用Hadoop，其帮助完成第三方数据分析。该拍卖网站建立了两个20000个节点的Hadoop集群，拥有80PB容量，史蒂芬森说。这些Hadoop集群与Teradata数据仓库及Singularity的自定义数据分析设备为易趣网提供了客户的访问数据分析的工具。

　　分析的真正价值

　　斯蒂芬森说，Singularity在易趣网站证明了'A / B测试'的价值，其可以与在超市收银台旁边尝试摆放不同组合的糖果来刺激客户的购买冲动相比较。这使得易趣网能够在网站上测试想法，并评估工作，比如测试网站访客是否喜欢在搜索结果中显示较大的图片。

　　该技术还可用于加强搜索提示，史蒂芬森将一概念称之为“一个盒子里的经济学家”。其使得易趣网基于用户搜索查询的主题来进行相关的提示。

　　这种搜索能够帮助易趣网的卖家确定设置一个低的底价是否是最好的，是否提供免费送货，以及任何其他有利于在易趣网促成销售的其他相关重要问题。