主页 / coding / 问题 / 79559778
Accepted
Patterson
Asked: 2025-04-07 19:37:02 +0800 CST

如何使用 Databricks Notebook 安装 Azure Fabric OneLake

  • 772

有人可以告诉我如何安装 Azure Fabric Onelake 吗？

当我将 Databricks 安装到 ADLS 时，我会创建以下代码：

container_name = "root"
storage_account = "xxxxxxxxx"
key = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxQ=="

url = "wasbs://" + container_name + "@" + storage_account + ".blob.core.windows.net/"
config = "fs.azure.account.key." + storage_account + ".blob.core.windows.net"

mount_folder = "/mnt/path"
mounted_list = dbutils.fs.mounts()

mounted_exist = False
for item in mounted_list:
  if mount_folder in item[0]:
    mounted_exist = True
    break

  if not mounted_exist:
    dbutils.fs.mount(source = url, mount_point = mount_folder, extra_configs = {config : key})

我尝试了类似的方法来安装 Azure Fabric Onelake，如下所示：

url = "abfss://[email protected]/my_lakehouse.Lakehouse"

mount_folder = "/mnt/path"
mounted_list = dbutils.fs.mounts()

mounted_exist = False
for item in mounted_list:
  if mount_folder in item[0]:
    mounted_exist = True
    break

  if not mounted_exist:
    dbutils.fs.mount(source = url, mount_point = mount_folder)

但是，上述操作失败了，因为它仍在尝试挂载 ADLS Gen 2 存储，而它应该尝试挂载 onelake 存储。

有什么想法吗？

1 个回答

  1. Best Answer

    您可以使用凭据直通从 Azure Databricks 连接到 OneLake，这样可以使用您的 Azure Databricks 登录身份进行无缝身份验证。您将能够读取和写入“文件”和“表”部分，而无需单独的凭据。

    有关更多详细信息，请参阅有关将 OneLake 与 Azure Databricks 集成的指南。

    您可以按照以下步骤操作：

    通过启用高级选项中的启用用户级数据访问的凭据传递选项来创建集群。

    在此处输入图片描述

    接下来，您需要使用ABFS 路径，而不是HTTPS路径。
    要查找 ABFS 路径，请按以下步骤操作：

    导航到您的工作区。找到要访问的文件或文件夹。点击旁边的“...”更多选项。从菜单中选择“复制 ABFS 路径” 。

    现在可以直接在 Databricks 代码中使用此复制的路径来读取或写入数据。 在此处输入图片描述 在此处输入图片描述 在此处输入图片描述

    给你，抄一下ABFS path。

    workspace_id = "<workspace_id>"
lakehouse_id = "<lakehouse_id>"

    使用 creds passthrough 进行读取：

    df = spark.read.format("parquet").load(f"abfss://{workspace_id}@onelake.dfs.fabric.microsoft.com/{lakehouse_id}/Files/data")
df.show(10)

    致 OneLake 的信

    df.write.format("delta").mode("overwrite").save(f"abfss://{workspace_id}@onelake.dfs.fabric.microsoft.com/{lakehouse_id}/Tables/dbx_delta_credspass")

    注意：您可以使用唯一标识符 (GUID) 或可读名称引用 OneLake 路径。使用名称时，请确保工作区和 Lakehouse 名称均不包含特殊字符和空格。

    例子：

    • 使用 GUID：
      abfss://<workspace_id>@onelake.dfs.fabric.microsoft.com/<lakehouse_id>/Tables | Files/<path>

    • 使用名称：
      abfss://<workspace_name>@onelake.dfs.fabric.microsoft.com/<lakehouse_name>.Lakehouse/Tables | Files/<path>

    • 1

相关问题