来源于网络和云的海量数据，为发现价值、创造价值，以及帮助商业智能支撑机构决策提供了新的机遇。不过，大数据也面临复杂性、安全和隐私风险等新挑战。企业部门正引导大数据应用的发展，公共部门也开始关注迅速增长的大数据，以期为实时决策提供帮助和支持。本文首先比较了政府和企业在大数据应用的目标、任务、决策制定过程、组织架构和战略方面的差异；其次，考察了部分技术领先国家当前大数据应用的状况，这些国家包括美国、英国、韩国、新加坡和日本等；最后，提出了关于国家和政府部门未来建设大数据战略应用项目的建议。

　　企业和政府大数据应用追求异曲同工

　　政府使用大数据是为了提升和改善公共服务，这与企业利用其追求利润异曲同工。政府在应用大数据时，最大的挑战就是数据搜集。

　　虽然企业和政府的主要任务并不冲突，但各自的举措具有不同的目标和价值。企业的主要目标是通过提供产品和服务获取利润，发展或维持自身的竞争优势，创造令消费者和其他利益相关者满意的价值。政府的主要目标则是维持国内稳定，实现可持续发展，确保公民的基本权利，改善国民福利和促进经济增长。

　　在竞争的市场环境下，大部分企业着眼于制定短期决策，并且执行人员数量也很有限。而政府的决策制定过程通常需要更长的时间，经过不同群体（包括官员、利益集团和普通民众）反复讨论和磋商，在彼此间达成一致后才能有最终结果。因此，政府制定决策要完成很多程序性步骤，以降低决策风险，提高决策效率和确保其效果。由此看来，大数据在政府部门和私有部门的应用具有很大不同。

　　对于很多企业特别是中小企业来说，分布式技术是一个挑战。因为这些中小企业往往不具备应用大数据所需要的专业人员和经验，他们需要外部资源的帮助。应该看到，大数据应用需要的不是纯粹基于技术的技能，找到正确的分析大数据的方法，或许是企业应用大数据面临的最大难题。对于大部分企业来说，发现和选择胜任的数据专家（在数据挖掘、可视化、操作和发现等方面）是困难而昂贵的。

　　大数据有多个来源，包括互联网、产业部门、视频、电子邮件和社交媒体。许多白皮书、期刊论文和商业报告已经提出了政府利用大数据以帮助其服务公众和应对传统挑战（如医疗成本上升、创造就业、自然灾害和恐怖主义等）的路径。

　　政府在应用大数据时，不仅要处理多个来源、不同格式数据的集成等一般问题，而且还面临一些特殊挑战。首先，最大的挑战就是数据搜集。因为政府搜集的数据不仅来自于多种渠道（如社交网络、互联网、众包），也来自于不同的来源（如国家、机构和部门），搜集难度可想而知。其次，在国家之间分享数据和信息也是一个特殊的挑战。跨国分享信息，由于涉及语言转换和不同的文化背景（内容的表现形式），分享和传递的信息有可能失真。再次，另一个挑战是在一个国家不同的政府部门和机构之间分享数据。政府数据与商业数据最重要的不同就在于范围和区域，这种差异近几年还在扩大。政府（包括地方政府和中央政府）在实施法律和规章、提供公共服务和监管金融交易的过程中积累了大量数据。这些数据的属性、价值和带来的挑战，都不同于公司运营中产生的数据。政府的大数据特征属性可以表述为存储、安全和多样性。通常，每个政府机构或部门都有自己的存储机构，用于存储公共或机密信息，而且并不愿意分享各自的专有信息。

　　每个系统都保存有与其他系统隔绝的信息，这使得政府机构和部门之间的数据集成更加复杂。彼此沟通的失败有时是影响数据集成的重要原因。例如，在英国，警察机构和医院之间曾经打算在暴力犯罪方面分享信息，但这一项目最终失败了，其原因就是两者之间沟通不足。另一个分享政府信息的挑战是建立统一的数据格式，能够允许不同的机构进行分析。尽管大部分政府数据是结构化的，但是从多种渠道和来源去搜集数据仍然存在困难。缺乏标准化的数据格式和软件，以及从多个政府机构的离散数据库中提取有用信息的跨机构解决方案，也是政府推进大数据应用面临的挑战。但由于政府的财政紧缩措施，导致其缺乏相应的资金去推进解决上述问题。

　　在使用大数据时，政府必须解决相关的法律、安全和许可要求等问题。在搜集和使用大数据用于预测分析与保障公民隐私权之间，应该有一条清晰的界限。

　　在美国，美国爱国者法案允许合法监控，有时还可以监控公民；电子通信隐私法案允许相关部门不经授权便可进入电子邮件系统。要对网络情报共享和保护法案（CISPA）加以注意，它将允许安全机构和私人网络公司之间的信息共享，这增加了人们对信息不适当应用的关注。

　　数据安全是政府大数据应用最基本的属性，因此，搜集、存储和使用大数据时都需要特别注意。然而，目前大部分大数据技术，包括Casandra数据库和分布式技术，都缺乏足够的安全保护工具。对政府而言，确保安全是又一个挑战。

　　对于政府的大数据项目而言，确保获取高度管制行业（比如金融服务和医疗机构）信息的合规性，是搜集数据的另一个障碍。比如，当从与医疗相关的大数据获取有效信息的时候，必须解决医疗管制制度对数据保护的问题。针对医疗行业的大数据分析，美国与医疗相关的两个法案——健康保险携带和责任法案（HIPAA）、医疗信息技术促进经济和临床健康法案（HITECH）均设置了很大障碍。

　　HIPAA保护涉及个人隐私的健康信息，并提出了保护电子数据和病人档案的国家标准，而且制定了在分析病人安全事件中保护病人的身份和信息的规则。2009年，HITECH延伸了HIPAA在保护医疗记录和医疗信息被不同机构以电子方式使用方面的规定。这些法律法规限制了医疗记录数据信息用于大数据分析的数量和类型。因为大数据定义涉及大范围的数据，而这些法规把搜集数据和进行分析限定在一个狭小的范围。目前在美国，能够用于大数据分析的医疗信息只能来自于志愿者的提供。

　　企业使用大数据，目的是了解消费者的需求和行为，发展独有的核心竞争力，并创新产品和服务；政府使用大数据，是为了通过预测性分析，提高政策透明度，增加公民对公共事务的参与度和预防犯罪，改善国家安全，通过更好的教育和医疗服务提高居民的福利。

　　开发从大数据中提取更多价值的技术，对于政府和企业来说都是持久挑战。然而，对于政府的挑战来得更尖锐，因为其必须打破部门间的阻隔以推进数据集成，实现各部门信息共享，并建立统一的数据调控中心（如美国联邦数据中心）。

　　技术领先国家已实施大数据应用项目

　　技术领先国家或地区已实施大数据应用项目，以提高政府的运行效率和透明度，提高民众的福利和公共事务参与度。

　　目前，世界上一些发达国家已经在政府部门开始推广大数据应用。通过分析和比较这些发达国家的大数据应用，我们能了解当前和未来需要大数据应用聚焦和服务的地方，并为其他国家开展大数据应用提供借鉴。

　　美国：颁布大数据研究

　　和发展计划

　　2010年，美国总统科学技术顾问委员会（美国联邦政府负责协调信息技术投资的主要机构）在《规划数字化的未来》中建议，“联邦政府的每一个机构和部门，都需要制定一个应对‘大数据’的战略”。这标志着大数据时代已经正式来临。

　　2012年，奥巴马政府颁布了“大数据研究和发展计划”，通过提高从大型而复杂的数据集中提取知识和观点的能力，进而加快美国科学技术进步的步伐，加强国家安全，并改善教学研究。这是一个数额高达2亿美元的投资计划，涉及多个联邦部门和机构，包括白宫科学技术政策办公室、美国国家自然基金会、美国国立卫生研究院、美国国防部、美国能源部、美国卫生与公众服务部、美国地质调查局等机构。这个投资项目的主要目的是提高大数据核心技术的发展水平，加速科学和工程开发，加强国家安全，转换大数据教育和学习方式，扩展开发和使用大数据技术的工作力量。

　　截至2014年2月，美国国立卫生研究院（NIH）在亚马逊网络服务中心已经积累了数以百万亿字节的人类遗传变异数据，研究人员因此能获得和分析巨量数据，而不用再去发展自身的超级计算能力。在2012年，美国国家科学基金会联合美国国立卫生研究院实施了大数据核心技术规划，目的在于推进在多样化、分布式、异质性的大数据集合中管理、分析和提取有用信息的核心技术。

　　　美国其他联邦政府机构也开始进行大数据分析。美国国家税务局已经在它的返回审查程序中集成了大数据分析能力。通过分析大量的数据，美国国家税务局能够检查、预防和处理避税和诈骗案。美国国防部也在大数据相关项目上花费了数百万美元，其目标之一就是利用大数据发展自主机器人系统（学习机器）。

　　　美国地方政府也开发了大数据项目。例如，在2011年，美国纽约州锡拉丘兹市政府与IBM合作开展了一个智慧城市项目，使用大数据帮助预测并降低住宅空置率。密歇根州政府信息技术部门构建了一个数据库，提供密歇根州居民的相关信息，以便政府机构为居民提供更好的服务。

　　欧盟：建立统一

　　“数字市场”

　　2010年，欧盟正式发布了“欧洲数字化议程”，旨在建立一个统一的“数字市场”，推动欧盟内部高速互联网的互联互通和应用共享，进而促进欧盟经济、社会的可持续发展。2012年，欧盟委员会在“欧洲数字化议程及其挑战”中制定了大数据战略，并强调了公共数据安全及挖掘公共机构数据的价值潜力，以及满足日益强烈的对个人数据安全保护的诉求；该战略还强调发展物联网，确保网络安全及在线交易的数据安全。

　　英国：HSC提升

　　数据处理能力

　　英国政府是最早推进大数据规划的欧洲国家。2004年，英国设立了水平扫描中心（HSC）项目，以提升政府应对跨部门和多学科挑战的能力。2011年，英国水平扫描中心（HSC）启动了“气候变化的未来国际影响”计划，通过对多数据源进行深度分析，研究解决气候变化对食品和水的可获得性以及对地区或国际形势的影响等问题。英国政府发起的另一个项目是2009年建立的http：//data.gov.uk公共网站，来自7个政府部门的1000多个既有数据集对外开放，后来增到8633个数据集。

　　英国和荷兰、瑞士等17个国家与IBM合作开发了一个名为DOME的超级计算系统。该系统每天能处理超过1EB的数据，数据来源于射电望远镜平方公里阵列（SKA），旨在通过百亿亿次计算、数据传输和存储等新兴技术，对每日采集的数据流进行读取、存储和分析，以解决一系列宇宙科学问题。这个大数据项目的总部是位于英国曼彻斯特的Jodrell Bank天文台。

　　韩国：ICT战略委员会

　　发起大数据倡议

　　2011年，韩国总统国家ICT战略委员会发布了“大数据倡议”。该委员会是最高层次的政府信息通信技术协同机构，其使命是在建立必要的基础设施过程中发挥领导作用。“大数据倡议”旨在建立泛政府大数据网络和分析系统，推进政府与私有部门之间的数据共享融合，建立公共数据诊断系统，培养合格的大数据专业人员，保障个人信息安全，以及改善相关法律，发展大数据基础设施和技术，发展大数据管理和分析技术。

　　很多韩国政府机构已经提出了相关的行动计划。例如，韩国卫生部建立了社会福利综合管理网络，以分析来源于35个机构的385个不同类型的公共数据集，综合管理中央政府和地方政府提供的福利和服务。

　　韩国农林水产食品部、公共行政与安全部（MOPAS）计划推出预防手足口病的综合系统。该系统依托于分析与动物疾病相关的海外大数据以及海关出入境记录、养殖场的跟踪调查、牲畜迁移和养殖工人活动等相关大数据，实现预防该病的目的。MOPAS的另一计划是推出灾害预报系统，该系统基于过去的灾害记录和自动实时的天气和地震预报进行预测。此外，韩国生物信息中心计划开发国家DNA管理系统，该系统将集成大量的DNA和病人医疗信息，为个人提供个性定制化的诊断和治疗。

　　新加坡：实施风险评估

　　和水平扫描计划

　　2004年，针对国家安全、传染病和其他国家层面关心的问题，新加坡政府与国家安全协作中心合作发布了风险评估和水平扫描计划（RAHS）。通过对大数据的采集和分析，积极把控威胁国家安全的相关问题，包括恐怖袭击、传染病传播和金融危机等。风险评估和水平扫描计划实验中心（REC）于2007年开放，它聚焦于风险评估和水平扫描计划相关政策制定的新技术工具，并通过大数据基础设施系统升级来维持和强化这一能力。为了通过大数据研究、分析和应用创造价值，新加坡政府还推出了门户网站http：//data.gov.sg/，50多个政府部门的5000多个数据集通过此网站向公众开放。

　　日本：启动多项利用

　　既有大数据计划

　　日本政府已启动多个利用既有大数据的计划。从2005年到2011年，文部科学省与相关的大学和研究机构合作，设立了信息爆炸时代的新IT基础设施项目。从2011年起，日本政府优先解决地震、核电站灾难、受污染区域的重建和灾民安置以及相关的社会和经济救济等问题。文部科学省与国家科学基金会合作研究利用大数据的技术，以预防和减轻自然灾害。作为内务省的两个分支机构，信息和通信委员会和ICT战略委员会把“大数据应用”作为日本面向2020年的关键使命。日本已经成立了一个大数据专家组。