本文主要向大家介绍了基于SQLServer数据库 PDW大数据解决方案，通过具体的内容向大家展现，希望对大家学习SQLServer数据库有所帮助。

    随着越来越多的组织的数据从GB、TB级迈向PB级，标志着整个社会的信息化水平正在迈入新的时代 – 大数据时代。对海量数据的处理、分析能力，日益成为组织在这个时代决胜未来的关键因素，而基于大数据的应用，也在潜移默化地渗透到社会的方方面面，影响到每一个人的日常生活，人们日常生活中看到的电视节目、浏览的网页、接收到的广告，都将是基于大数据分析之后提供的有针对性的内容。

　　微软在大数据领域的战略重点，在于更好地帮助客户“消费”大数据，让所有的用户都能够从几乎任何规模任何类型的任何数据当中获得可以转化为业务执行的洞察力。基于这一战略，微软发布了新一代并行数据仓库一体机SQL Server Parallel Data Warehouse(简称PDW)，提供大规模并行处理并具备灵活线性横向扩展能力的数据仓库平台，其主要新特性主要体现在以下3个方面：

　　为大数据而建： 通过Polybase这一数据处理的突破性技术统一查询结构化、半结构划和非结构化数据，帮助用户使用最熟悉的标准SQL语言即可轻松实现Hadoop表和关系型数据库表的关联查询。同时，由于目前大部分常用的商业智能分析工具都无法直接查询Hadoop， 而Polybase技术通过从数据库平台层面对Hadoop的集成，使用户可以采用熟悉的现有商业智能工具即可实现对大数据的灵活分析和展现。例如，用户可以利用熟悉的Microsoft Excel在同一表格中分析结构化和非结构化的数据。

　　新一代性能与规模：采用可更新的 xVelocity 聚集列存储技术，实现高至50倍的性能提升。基于大规模并行处理引擎技术，提供从几个TB到PB级数据的线性横向扩展能力。

　　最优化的软硬件价值：SQL Server 并行数据仓库一体机具备预装的硬件和软件，集成了目前微软最新一代的软件创新技术如xVelocity 列存储、Polybase、Windows Server 2012 Hyper-V虚拟化技术，Storage Spaces存储技术等驱动精简高效的硬件架构，提供性价比优势。

　　本文将深入介绍SQL Server 2012 Parallel Data Warehouse的Polybase技术，并结合具体业务场景示例讲解Polybase技术如何为业务人员提供简单易用的大数据解决方案。

　　Polybase技术

　　总体来讲，Polybase技术包含以下具体功能：

　　用一个外部表来定义Hadoop中数据的结构。

　　通过运行SQL语句实现对Hadoop数据的查询。

　　通过PDW可关联查询Hadoop数据与关系型数据库PDW中的表，实现Hadoop与PDW数据的整合。

　　通过运行SQL命令来查询Hadoop并将结果集保存到PDW的表中，轻松实现将Hadoop数据导入到PDW。

　　Hadoop也可以作为PDW的一个在线数据归档系统，通过运行简单SQL命令即可将PDW中的数据导出到Hadoop，并随时通过PDW对归档在Hadoop中的数据进行在线查询。

　　下面我们通过一个示例来进一步说明上述Polybase技术的应用场景及使用方法，在这个示例当中我们将基于与美国Sandy飓风相关的一些数据，通过对这些数据的分析来协助决策派往美国各州救援资源的调配计划。

　　首先，在PDW关系型数据库中可以创建一张表[dbo].[nws_ffg7]，存储来自于美国海洋气象局National Oceanic and Atmospheric Administration(简称NOAA)的数据。与SQL Server 2012的体验相同，我们可以通过标准的SQL Server Data Tools工具来连接PDW，如下图所示。基于[dbo].[nws_ffg7]表可以创建一个视图CREATE VIEW flashflood AS SELECT * FROM [dbo].[nws_ffg7]。通过查询flashflood视图返回的结果集可以看到，这张表里面主要存储美国各个州的名称、地理属性信息如经度、纬度，以及各州在未来多个时间段的降雨量预测信息，如未来1小时(HR1列)、3小时(HR3列)、6小时(HR6列)等等。

　　然后在Hadoop环境当中，我们将来自于另外一个数据源 – 美国人口调查局US Census Bureau的数据导入到Hadoop环境中，这个数据主要包括美国各州的具体人口分布信息。

为了便于进一步深入分析各州的降雨量预测与人口分布情况的关联，我们需要将Hadoop中的数据与PDW的数据进行联合查询及分析。如下图所示，我们首先需要在PDW中创建一个外部表External Table，将这个外部表的数据源地址指向Hadoop集群中存放人口分布数据文件的路径，并定义一些相关的元数据信息。外部表在PDW中只存储关于Hadoop中数据的一些元数据信息，并不会物理保存Hadoop的数据。

　　外部表创建完毕后，为了方便后续查询，我们可以基于这个外部表创建一个视图Create View census AS SELECT * FROM [dbo].[census_external]。通过直接运行标准的SELECT语句即可查询Hadoop中的人口分布数据信息，如下图所示。我们从返回的结果集可以看到，Hadoop中的数据包括美国各州的人口数量、家庭数量、以及超过69岁以上的人口(Pop_Age_Over_69列)等信息，如下图红色圈出。

　　我们也可以运行标准的SQL语句将指向Hadoop数据的外部表与PDW本身存储的数据表做关联查询，如把census视图和flashflood视图用keyID键关联起来，查询的结果集由PDW引擎统一返回给客户端。

　　下面我们基于常用的Microsoft Excel作为商业智能分析客户端，利用Excel的PowerPivot和PowerView功能来进行一些数据分析和决策支持。首先可以打开Excel 2013的PowerPivot管理界面，选择从SQL Server数据源导入数据。

当数据分析业务人员在美国Sandy飓风来袭之前分析这些数据时，就可能需要基于美国各州的预测降雨量并结合人口分布情况，来计划派往各州的救援部队资源的调配。例如，人口年龄大于69岁以上分布较多的州就可能需要调配更多的救援来协助当地人口的撤离工作。

　　下图是一张业务人员通过Excel 2013的PowerView制作的报表，报表中集成了Hadoop中的人口分布数据与PDW中的各州降雨量预测数据，以图形化的方式清晰展现出Sandy飓风即将袭击范围内各州超过69岁的人口分布状况并结合未来6小时的降雨量预测。

　　总结

　　在大数据日益增长的时代，越来越多的企业也在逐渐部署基于Hadoop框架的分布式文件系统存储来自于各方面的数据。大数据解决方案不仅只是数据存储量到达TB/PB级别，如何能够方便快捷的消费这些数据、将这些数据综合在一起进行及时的分析、监控、挖掘，从而发挥这些数据的价值、支持未来的决策将是大数据解决方案成功与否的一个重要方面。

　　数据消费的用户大部分其实是业务人员，而并非IT技术人员， 能够使业务人员直接消费Hadoop当中的数据也就是Polybase技术的设计初衷。Parallel Data Warehouse的Polybase技术作为关联Hadoop与传统关系型数据库的一个桥梁 (如下图所示)，从底层平台层面使两边的数据能够互联互通，为业务人员提供了自助分析的便利，并且集成来自不同数据源包括Hadoop数据，业务或技术人员都无需学习编写复杂的Map Reduce脚本，只需要使用最熟悉的标准SQL语言或者是商业智能分析工具如Excel， 即可实现对大数据的灵活分析和展现，方便快捷地响应业务需求并支持业务决策。

　　此外，Polybase技术也大大提高了IT技术人员实现大数据解决方案的效率，降低工作量成本。在传统基于Hadoop的技术架构当中，IT技术人员往往需要编写很多后台作业及脚本实现Hadoop与关系型数据库之间的数据导入导出，而且后台的作业还经常有可能随着前端业务需求的变化需要不断的更新，维护的人力成本也很高。Polybase技术通过底层自动调用标准接口的方式，可以通过简单的SQL命令随时实现Hadoop与关系型数据库之间的数据导入导出，结合业界标准的前端商业智能分析及报表工具，可以帮助用户快速搭建并实现一套完整的端到端的自助式大数据解决方案。

    本文由职坐标整理并发布，希望对同学们学习SQL Server有所帮助，更多内容请关注职坐标数据库SQL Server数据库频道！