我正在尝试将数据从Azure EventHub获取到数据库中。为了建立连接,我正在执行以下代码:
conf = {}
connectionString = "my connection string key"
conf["eventhubs.connectionString"] = sc._jvm.org.apache.spark.eventhubs.EventHubsUtils.en
我得到的错误是Py4JError: org.apache.park.eventhubs.EventHubsUtils.en不存在于JVM
我读到这个错误与Maven库有关,我使用的是9.1 LTS(包括Apache Spark 3.1.2、Scala 2.12)并安装了以下库:
com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.17
com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.18
com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.12
com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.21
有什么想法吗?
这是一个错别字-而不是sc._jvm.org. apache.park.eventhubs.EventHubsUtils.en
你需要使用sc._.apache.park.eventhubs.EventHubsUtils.加密
。
此外,您只需要保留一个库-您不能为2.12混合库