SparkSQL 总结(未完待续)

Home / 未分类 / SparkSQL 总结(未完待续)

  Spark SQL 是Spark 用于结构化数据(structured data)处理的 Spark 模块。

  SparkSQL 的前身是 Shark,而 Shark 是伯克利实验室 Spark 生态环境的组件之一,是基于Hive 所开发的工具;

  但是,随着Spark 的发展,对于野心勃勃的Spark 团队来说,Shark 对于 Hive 的太多依赖(如采用 Hive 的

  语法解析器、查询优化器等等),制约了 Spark 的One Stack Rule Them All 的既定方针,制约了 Spark 各个组件的相互集成,所以提出了 SparkSQL 项目。SparkSQL 抛弃原有 Shark 的代码,汲取了 Shark 的一些优点,如内存列存储(In-Memory ColumnarStorage)、Hive 兼容性等,重新开发了SparkSQL 代码;由于摆脱了对Hive 的依赖性,SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便,真可谓“退一步,海阔天空”。

  SparkSQL 作为 Spark 生态的一员继续发展,而不再受限于 Hive,只是兼容 Hive;

  Hive on Spark 是一个Hive 的发展计划,该计划将 Spark 作为Hive 的底层引擎之一,也就是说,Hive 将不再受限于一个引擎,可以采用 Map-Reduce、Tez、Spark 等引擎。

  对于开发人员来讲,SparkSQL 可以简化RDD 的开发,提高开发效率,且执行效率非常快,所以实际工作中,基本上采用的就是 SparkSQL。

  hive: 将SQL转换为MapReduce来执行;

  Spark: SparkSQL是为了简化RDD的开发,把RDD做了一套封装,

  写SparkSQL时会自动把封装好的模型转化为RDD ! 而封装的模型就是DateFrame和DateSet ;

  易整合

  无缝的整合了 SQL 查询和 Spark 编程

  统一的数据访问

  使用相同的方式连接不同的数据源(hbase , hive, Mysql)

  兼容 Hive

  在已有的仓库上直接运行 SQL 或者 HiveQL (SparkSQL前身就是与Hive结合的Shark)

  标准数据连接

  通过 JDBC 或者 ODBC 来连接

  RDD只关心数据,DataFrame更关心元数据的结构信息;

  DataFrame 是一种以 RDD 为基础的分布式数据集,类似于传统数据库中的二维表格。

  DataFrame 与 RDD 的主要区别在于:

  DataFrame 带有 schema 元信息,即 DataFrame 所表示的二维表数据集的每一列都带有名称和类型。而RDD只关心数据而不关心数据的结构。

  同时,与Hive 类似,DataFrame 也支持嵌套数据类型(struct、array 和 map)。从 API 易用性的角度上看,DataFrame API 提供的是一套高层的关系操作,比函数式的 RDD API 要更加友好,门槛更低。

  在这里插入图片描述

  如图,RDD中只有一个个Person 泛型。数据都是Person的对象,不关心数据的属性。

  DataFrame像二维表格, 会保存数据的元数据信息;

  左侧的 RDD[Person]虽然以 Person 为类型参数,但 Spark 框架本身不了解Person 类的内部结构。

  而右侧的DataFrame 却提供了详细的结构信息,使得 Spark SQL 可以清楚地知道该数据集中包含哪些列,每列的名称和类型各是什么。

  DataFrame 是为数据提供了 Schema 的视图。可以把它当做数据库中的一张表来对待;

  DataSet 把一行数据当成一个对象来用;

  DataSet 是分布式数据集合。DataSet 是Spark 1.6 中添加的一个新抽象,是DataFrame的一个扩展;

  它提供了RDD 的优势(强类型,使用强大的 lambda 函数的能力)以及SparkSQL 优化执行引擎的优点。DataSet 也可以使用功能性的转换(操作 map,flatMap,filter等等);

  DataSet 是DataFrame API 的一个扩展,是SparkSQL 最新的数据抽象;

  DataSet 是强类型的。比如可以有 DataSet[Car],DataSet[Person]

  DataFrame 是DataSet 的特列, ,所以可以通过 as 方法将DataFrame 转换DataSet。

  Row 是一个类型,跟 Car、Person 这些的类型一样,所有的表结构信息都用 Row 来表示。获取数据时需要指定顺序;

  Spark Core 中,如果想要执行应用程序,需要首先构建上下文环境对象 SparkContext (sc);

  而Spark SQL 其实可以理解为对 Spark Core 的一种封装,不仅仅在模型上进行了封装,上下文环境对象也进行了封装。

  SparkSession 是 Spark 最新的 SQL 查询起始点,实质上是 SQLContext 和HiveContext 的组合,所以在 SQLContex 和HiveContext 上可用的API 在 SparkSession 上同样是可以使用的。

  SparkSession 内部封装了 SparkContext,所以计算实际上是由 sparkContext 完成的;

  sc即选择Spark Context为环境对象

  spark即选择Spark Session为环境对象

  在这里插入图片描述

  5