我在Scala 2.11中使用spark hive 2.3.0，并建立了一个单元测试框架。spark-hive带有TestHiveContext和TestHiveSparkSession，它们可以方便地从单元测试中调用hive，而无需运行Hadoop、spark或集群，这对于自动化测试非常有用。

Hive需要一个数据库作为其元存储，当以这种方式运行时，它使用Derby作为使用javax. jdo.select.ConnectionURL配置的嵌入式数据库，默认情况下为jdbc：derby：；数据库名称=

另一种选择是在内存中运行 Derby，这通常就像将此 URL 更改为 jdbc：derby：memory：databaseName;create=true 一样简单。Hoewever，这在Hive中是不可能的，因为配置是在内部HiveUtils类中进行的，不能被覆盖。我尝试在我的Spark Session Builder中更改它，但是当我创建TestHiveContext时，我的更改被HiveUtils吹走了。

就我而言，内存数据库更可取，因为我们的开发人员在Windows上运行（绝对不是我/我们的选择），并且当创建这些文件时，通常会出现诸如权限或文件名中无效字符之类的问题（因为Hadoop从未真正打算在Windows上运行），并且这些文件经常被抛在后面，因为它们无法清理（由于这些问题）。我们希望测试是完全独立的，这样它们就可以在没有副作用的情况下运行和完成，因此它们可以在多个环境（开发人员、CI、Jenkins、AWS 等）中运行。

有趣的是，我在TestHive.scala中看到了这一点：

{ // set the metastore temporary configuration
  val metastoreTempConf = HiveUtils.newTemporaryConfiguration(useInMemoryDerby = false) ++ Map(

因此，有一个使用内存数据库的标志，但这是不可配置的，并且没有代码路径将其设置为< code>true。

有没有办法配置或编写它，以便TestHive的Derby可以在内存中？尝试通过 hive-site 或 hdfs-site 设置javax.jdo.option.ConnectionURL的值.xml.xml不起作用，我认为这是因为TestHive，TestHiveContext和TestHiveSparkSession的初始化方式，它们有自己的代码路径与非测试路径分开。它们提供的功能对于测试框架非常有用，但显然没有提供覆盖此值和其他一些设置的方法。

到目前为止，我能看到的最好的选择是重写或编写我自己的＜code＞TestHiveContext＜/code＞类，该类从该类中借用了一系列功能并重写了我所需要的部分，但对于我认为可以通过简单的配置更改来完成的任务来说，这是一个相对较大的任务。