在dbfs上打开文件，同时使用数据库连接

提问者：小点点

我正在使用数据库连接将本地PyCharmIDE连接到Azure数据库群集。

在我尝试在没有Spark Context的情况下访问文件之前，这工作完全正常。

举个例子

dbutils.fs.put('dbfs:/tmp/test_file.txt','line_1')
with open('/dbfs/tmp/test_file.txt') as f:
  print(f.read())

直接在数据库笔记本中运行时工作正常。当我尝试在PyCharm中通过数据库连接运行此代码片段时，我得到一个FileNotFoundError。其他文件系统操作（Shutil、gzip、…）也会发生这种情况。

我假设程序（“open”）正在尝试访问运行PyCharm的本地客户端上的文件系统，但我希望“open”和类似的函数来访问dbfs。

有办法做到这一点吗？

共1个答案

匿名用户

open函数属于Python文件API，因此它只适用于本地文件，如果是数据库连接-这是您计算机的文件系统。/dbfs/挂载点仅在集群节点上可用。