尝试从数据库启动数据工厂。
我在集群级别安装的Azure库之间存在冲突:
from azure.identity import ClientSecretCredential
from azure.mgmt.resource import ResourceManagementClient
from azure.mgmt.datafactory import DataFactoryManagementClient
azure_client_id = dbutils.secrets.get(scope="Azure_KeyVault", key="_Application_Id")
azure_client_secret = dbutils.secrets.get(scope="Azure_KeyVault", key="_Client_Secret")
azure_tenant_id = dbutils.secrets.get(scope="Azure_KeyVault", key="__Tenant_Id")
# example of trigger_object['topic']: /subscriptions/f8354c08-de3d-4a67-95ae-c7cbdb37fbf6/resourceGroups/WeS06DvBing15064/providers/Microsoft.Storage/storageAccounts/wes06dvraw15064
subscription_id = 'f4379743884938948398938493793749830'
credentials = ClientSecretCredential(client_id=azure_client_id, client_secret=azure_client_secret, tenant_id=azure_tenant_id)
dfmc = DataFactoryManagementClient(credentials, subscription_id, base_url="https://management.azure.com")
[f.id for f in dfmc.factories.list()]
错误信息:
对象没有属性signed_session
我认为这可能是因为我们使用集群库实用程序在此集群上安装了Azure。(鉴于如果我从集群级别删除此库,它可以工作)。
当我在笔记本中执行此操作时:%pip卸载Azure
我得到:
Python解释器将重新启动。找到现有安装:azure 4.0.0无法在 /databricks/python3/lib/python3.7/site-packages、外部环境卸载azure /local_disk0/.ephemeral_nfs/envs/pythonEnv-6eab9ca4-4cd6-4bd9-843f-8e33a185c96a无法卸载azure。没有找到要卸载的文件。Python解释器将重新启动。
不太理解最后这个错误信息,想卸载笔记本里的库,但不想从集群库实用程序层面移除(很多其他笔记本都在使用)
当涉及到数据块时,库可以安装在两个级别。
1.图书馆
2.集群
在此过程中,普通库和集群库都是隔离的。