提问者:小点点

Apache Spark SQLContext与HiveContext之间有什么区别?


    null

共1个答案

匿名用户

Spark 2.0+

Spark 2.0提供了本机窗口函数(SPARK-8641),并在解析方面进行了一些额外的改进,而且对SQL 2003的遵从性也有了更好的提高,因此它在实现核心功能方面对Hive的依赖程度大大降低,因此hiveContext(sparksession支持Hive)似乎没有那么重要。

Spark<2.0

HiveContext还提供了更健壮的SQL解析器。例如,当使用选择状态选择dataframe中的嵌套列时,请参见:py4j.protocol.py4jJavaError

最后,启动Thrift服务器需要HiveContext

HiveContext最大的问题是它具有很大的依赖关系。