Início / coding / Perguntas / 79559778
Accepted
Patterson
Asked: 2025-04-07 19:37:02 +0800 CST

Como montar o Azure Fabric OneLake com o Databricks Notebook

  • 772

Alguém pode me informar como montar o Azure Fabric Onelake.

Ao montar o Databricks no ADLS, eu criaria o seguinte código:

container_name = "root"
storage_account = "xxxxxxxxx"
key = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxQ=="

url = "wasbs://" + container_name + "@" + storage_account + ".blob.core.windows.net/"
config = "fs.azure.account.key." + storage_account + ".blob.core.windows.net"

mount_folder = "/mnt/path"
mounted_list = dbutils.fs.mounts()

mounted_exist = False
for item in mounted_list:
  if mount_folder in item[0]:
    mounted_exist = True
    break

  if not mounted_exist:
    dbutils.fs.mount(source = url, mount_point = mount_folder, extra_configs = {config : key})

Tentei uma abordagem semelhante para montar o Azure Fabric Onelake da seguinte maneira:

url = "abfss://[email protected]/my_lakehouse.Lakehouse"

mount_folder = "/mnt/path"
mounted_list = dbutils.fs.mounts()

mounted_exist = False
for item in mounted_list:
  if mount_folder in item[0]:
    mounted_exist = True
    break

  if not mounted_exist:
    dbutils.fs.mount(source = url, mount_point = mount_folder)

No entanto, a falha acima ocorre porque ele ainda está tentando montar o armazenamento ADLS Gen 2, quando deveria estar tentando montar o armazenamento onelake.

Alguma ideia?

1 respostas

  1. Best Answer

    Você pode se conectar ao OneLake a partir do Azure Databricks usando a passagem de credenciais, o que permite autenticação integrada usando sua identidade de login do Azure Databricks. Você poderá ler e gravar nas seções Arquivos e Tabelas sem precisar de credenciais separadas.

    Para mais detalhes, consulte o guia sobre integração do OneLake com o Azure Databricks.

    Você pode seguir os passos abaixo:

    Crie o cluster habilitando a opção Habilitar passagem de credenciais para acesso a dados em nível de usuário em Opções avançadas.

    insira a descrição da imagem aqui

    Em seguida, você precisará usar o caminho ABFS em vez do caminho HTTPS .
    Para encontrar o caminho ABFS, siga estas etapas:

    Navegue até o seu espaço de trabalho. Localize o arquivo ou pasta que deseja acessar. Clique em "..." para mais opções ao lado. Selecione "Copiar caminho ABFS" no menu.

    Este caminho copiado agora pode ser usado diretamente no seu código Databricks para leitura ou gravação de dados. insira a descrição da imagem aqui insira a descrição da imagem aqui insira a descrição da imagem aqui

    Aqui, você copia ABFS path.

    workspace_id = "<workspace_id>"
lakehouse_id = "<lakehouse_id>"

    Leitura com passagem de credenciais:

    df = spark.read.format("parquet").load(f"abfss://{workspace_id}@onelake.dfs.fabric.microsoft.com/{lakehouse_id}/Files/data")
df.show(10)

    Para escrever para OneLake

    df.write.format("delta").mode("overwrite").save(f"abfss://{workspace_id}@onelake.dfs.fabric.microsoft.com/{lakehouse_id}/Tables/dbx_delta_credspass")

    Observação: você pode referenciar caminhos do OneLake usando identificadores exclusivos (GUIDs) ou nomes legíveis. Ao usar nomes, certifique-se de que os nomes do workspace e do lakehouse estejam livres de caracteres especiais e espaços.

    Exemplos:

    • Usando GUIDs:
      abfss://<workspace_id>@onelake.dfs.fabric.microsoft.com/<lakehouse_id>/Tables | Files/<path>

    • Usando nomes:
      abfss://<workspace_name>@onelake.dfs.fabric.microsoft.com/<lakehouse_name>.Lakehouse/Tables | Files/<path>

    • 1

relate perguntas