Para extrair dados de um banco de dados SQL local usando o Azure Data Factory, configuraríamos o Self-hospeded Integration Runtime no ADF e seguiríamos as etapas necessárias para conectar ao banco de dados SQL local e extrair os dados.
Alguém pode me dizer como podemos extrair dados de um servidor local com o Azure Fabric Data Pipelines?
Estou tentando conectar ao nosso Azure SQL DB a partir do Databricks configurado com JDBC da seguinte maneira:
DBUser = 'test2'
DBPword = 'xxxxxx'
DBServer = 'hst37dg5zxxxxxxy-exnwgcizvwnurfcoqllpyaj3q4'
DBDatabase = 'newconfigdb-xxxxxxxxxxx8-a7ea-13f21e4ab25b'
jdbcUrl = f"jdbc:sqlserver://{DBServer}.database.fabric.microsoft.com:1433;database={DBDatabase};user={DBUser};password={DBPword};encrypt=true;trustServerCertificate=false;authentication=ActiveDirectoryPassword"
df.write.mode("overwrite") \
.format("jdbc") \
.option("url", jdbcUrl) \
.option("dbtable", table)\
.save()
Estou recebendo o seguinte erro:
com.microsoft.sqlserver.jdbc.SQLServerException: Falha ao autenticar o usuário test2 no Active Directory (Autenticação=ActiveDirectoryPassword). AADSTS50034: A conta de usuário "EUII Hidden" não existe no diretório 8cbfa73c-xxxxxxx8faef12fc6. Para entrar neste aplicativo, a conta deve ser adicionada ao diretório.
Alguém pode me dizer o que significa "EUII Hidden" ? E como resolver esse problema?
A título de atualização, quando entro no DBUser = ' [email protected] ' recebo o erro 'Falha ao autenticar o usuário [email protected] no Active Directory (Authentication=ActiveDirectoryPassword). AADSTS50055: A senha expirou'
No entanto, quando criei a conta no Azure, não me foi dada a opção de o usuário fornecer uma nova senha ao fazer logon. Então, não sei por que estou recebendo o erro de expiração de senha.
Acho que quase resolvi o problema.
Alterei a senha, mas agora quando tento executar o código recebo o erro:
com.microsoft.sqlserver.jdbc.SQLServerException: Incorrect syntax near '<'.
Usando o seguinte código PySpark, consegui montar com sucesso uma conta de armazenamento Azure OneLake. No entanto, quando tento ler e exibir o caminho, display(dbutils.fs.ls('/mnt/lake'))recebo o seguinte erro:
Falha na operação: "Proibido", 403, GET, https://onelake.dfs.fabric.microsoft.com/DataEngineeringWKSP?upn=false&resource=filesystem&maxResults=5000&directory=my_lakehouse.Lakehouse&timeout=90&recursive=false , Proibido, "O usuário não está autorizado a executar a operação atual para o espaço de trabalho 'xxxxxx-ad19-489b-944e-82d6fc013b87', artefato 'xxxxx-3c39-44b8-8982-ddecef9e829c'."
Recebo um erro semelhante quando tento ler arquivos na conta onelake:
Falha na operação: "Proibido", 403, HEAD, https://onelake.dfs.fabric.microsoft.com/DataEngineeringWKSP/sqlite_lakehouse.Lakehouse/Files/expdata.csv?upn=false&action=getStatus&timeout=90
O código que usei para montar a conta de armazenamento onelake é o seguinte:
url = "abfss://[email protected]/sqlite_lakehouse.Lakehouse"
mount_folder = "/mnt/lake"
# OAuth configuration settings for OneLake
configs = {
"fs.azure.account.auth.type.onelake.dfs.fabric.microsoft.com": "OAuth",
"fs.azure.account.oauth.provider.type.onelake.dfs.fabric.microsoft.com": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
"fs.azure.account.oauth2.client.id.onelake.dfs.fabric.microsoft.com": "xxxxxx-a061-4899-994b-81253d864bc8",
"fs.azure.account.oauth2.client.secret.onelake.dfs.fabric.microsoft.com": "xxxxxx~1Q.B-Ey12zs066D_G3.E6bslnE_LqY-aFs",
"fs.azure.account.oauth2.client.endpoint.onelake.dfs.fabric.microsoft.com": "https://login.microsoftonline.com/xxxxxxxxxxxxxf12fc6/oauth2/token"
}
mounted_list = dbutils.fs.mounts()
mounted_exist = False
for item in mounted_list:
if mount_folder in item.mountPoint:
mounted_exist = True
break
if not mounted_exist:
dbutils.fs.mount(source=url, mount_point=mount_folder, extra_configs=configs)
Acredito que preciso adicionar permissões no espaço de trabalho do Azure Fabric, mas estou com dificuldades para localizar exatamente onde adicionar as permissões
Alguém pode me informar como montar o Azure Fabric Onelake.
Ao montar o Databricks no ADLS, eu criaria o seguinte código:
container_name = "root"
storage_account = "xxxxxxxxx"
key = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxQ=="
url = "wasbs://" + container_name + "@" + storage_account + ".blob.core.windows.net/"
config = "fs.azure.account.key." + storage_account + ".blob.core.windows.net"
mount_folder = "/mnt/path"
mounted_list = dbutils.fs.mounts()
mounted_exist = False
for item in mounted_list:
if mount_folder in item[0]:
mounted_exist = True
break
if not mounted_exist:
dbutils.fs.mount(source = url, mount_point = mount_folder, extra_configs = {config : key})
Tentei uma abordagem semelhante para montar o Azure Fabric Onelake da seguinte maneira:
url = "abfss://[email protected]/my_lakehouse.Lakehouse"
mount_folder = "/mnt/path"
mounted_list = dbutils.fs.mounts()
mounted_exist = False
for item in mounted_list:
if mount_folder in item[0]:
mounted_exist = True
break
if not mounted_exist:
dbutils.fs.mount(source = url, mount_point = mount_folder)
No entanto, a falha acima ocorre porque ele ainda está tentando montar o armazenamento ADLS Gen 2, quando deveria estar tentando montar o armazenamento onelake.
Alguma ideia?
Eu tenho a seguinte expressão do Azure Data Factory
@{pipeline().parameters.Zone}/@{pipeline().parameters.Classification}/@{pipeline().parameters.Area}/@{pipeline().parameters.Domain}/@{pipeline().parameters.TableName}
Como adicionar a extensão .csv ao TableName? Tentei o seguinte:
@{pipeline().parameters.Zone}/@{pipeline().parameters.Classification}
/@{pipeline().parameters.Area}/@{pipeline().parameters.Domain}
/@{pipeline().parameters.TableName,'.csv'}
Mas recebi o erro:
Parameter TableName,'.csv' was not found
Estou trabalhando com Azure Fabric Data Pipelines. Gostaria de alterar a extensão de arquivo para .csv, mas está esmaecido e, portanto, não me deixa alterar a extensão. Alguém pode me informar onde alterar a extensão de arquivo, por favor?
No Azure Data Factory, ele não está esmaecido e, portanto, pode ser facilmente alterado para qualquer extensão que você desejar. Não sei por que está esmaecido aqui
Alguém pode me informar se é possível alterar o método de autenticação em um Azure Fabric Database para permitir a autenticação SQL? Criei uma conta SQL no banco de dados, mas quando tento acessar o banco de dados, recebo a mensagem de erro:
Falha no login para o usuário 'test2'. Motivo: A autenticação somente do Azure Active Directory está habilitada
No entanto, não sei como habilitar a autenticação SQL no banco de dados do Azure Fabric.
Criei um banco de dados chamado 'fbr_configDB' no Azure Fabric, que inclui o banco de dados padrão do sistema 'Master'. Embora eu consiga conectar com sucesso ao 'fbr_configDB' usando SSMS, não consigo conectar ao 'Master'. Alguém pode explicar por que isso está acontecendo?
Tenho revisado os fluxos de trabalho do Databricks. Li muitos blogs sobre os fluxos de trabalho do Databricks, mas não consigo encontrar nenhuma revisão comparando os fluxos de trabalho ao Azure Data Factory. Pode ser que os dois serviços sejam completamente diferentes, mas penso que os fluxos de trabalho estão posicionados para fazer o trabalho do ADF.
Alguém pode me informar se, por exemplo, os Workflows têm o mesmo número de conectores que o ADF? É possível conectar-se a um SQL Server local similar à maneira como você pode se conectar a um SQL Server/banco de dados local com o agente Self-Hosted Runtime do ADF?
Quando tento montar uma conta do ADLS Gen Storage com o código abaixo, recebo o erro:
IllegalArgumentException: Esquema do Azure sem suporte: abfss
container_name = "mycontainer"
storage_account = "MyStorageAccount"
key = "xxxxxxxxxx=="
url = "abfss://" + container_name + "@" + storage_account + ".dfs.core.windows.net/"
config = "fs.azure.account.key." + storage_account + ".dfs.core.windows.net"
mount_folder = "/mnt/lake"
mounted_list = dbutils.fs.mounts()
mounted_exist = False
for item in mounted_list:
if mount_folder in item[0]:
mounted_exist = True
break
if not mounted_exist:
dbutils.fs.mount(source = url, mount_point = mount_folder, extra_configs = {config : key})
Eu montei com sucesso uma conta ADLS Gen 2 do Databricks no passado usando esse método, então não tenho certeza do porquê estou recebendo esse erro?
Eu queria atualizar esta pergunta para mencionar que nosso ambiente atual nos impede de criar um Registro de Aplicativo e, portanto, nos impede de criar um Principal de Serviço. É por isso que estou tentando montar a conta de armazenamento usando a 'Chave de Conta'
Tenho alguns pipelines que parecem ser executados ao mesmo tempo 12:49:09, veja a imagem. É possível atrasar a execução de pipelines entre cada execução de pipeline? Na imagem, parece que há dois pipelines, enquanto na verdade há apenas um pipeline, ele é simplesmente executado duas vezes. Gostaria de atrasar a execução de cada execução de pipeline. Isso é possível?
Alguém pode me informar onde encontrar as configurações de Concorrência. Não consigo encontrá-las nas minhas configurações gerais de pipeline
Tenho a seguinte configuração no meu construtor de expressões do Pipeline em nossa atividade de cópia
@concat('SELECT * FROM ', pipeline().parameters.Domain,
'.', pipeline().parameters.TableName)
Isso copiará os dados com sucesso para nossa tabela do SQL Server como dbo.MyTable.
Gostaria de adicionar um sufixo ou algum caractere adicional ao final da tabela para que ela seja copiada para o banco de dados do SQL Server como dbo.MyTableV2.
Alguém pode me dizer como adicionar caracteres adicionais à tabela?
Por exemplo, isto não funciona:
@concat('SELECT * FROM ', pipeline().parameters.Domain,
'.', pipeline().parameters.TableName, 'V2')
Alguma ideia?
Tenho uma atividade de procedimento armazenado que gostaria de concluir mesmo que a atividade anterior esteja desativada. Na imagem abaixo, você pode ver que a atividade 'Full Load' está desativada.
Como resultado da desativação da atividade 'Carga total', o procedimento armazenado 'Log Process Throughput' está falhando com o seguinte erro:
A configuração do procedimento armazenado é a seguinte:
Posso ver que o problema está com
activity('Full Load').output.rowsCopied
Preciso que a atividade do procedimento armazenado seja executada mesmo que a atividade "Carregamento Completo" esteja desativada.
Alguém pode me dizer se isso é possível?
Aplicando@activity('Full Load')?.output?.rowsCopied
Dá o seguinte erro:
Tenho a seguinte consulta em nossa Atividade de Cópia do ADF
SELECT
deltaTable.*
FROM Data.deltaTable
LEFT OUTER JOIN Data.targetTable
ON deltaTable.signature = targetTable.signature
WHERE targetTable.signature IS NULL
Alguém pode me informar como parametrizar a consulta. Quando tento parametrizar a consulta, recebo o erro:
Parameter schema was not found under EX_SourceToRaw_Single_Table
O código a seguir é minha tentativa:
@concat('SELECT * FROM ',pipeline().parameters.schema,'.',pipeline().parameters.DeltaTable)
LEFT OUTER JOIN pipeline().parameters.schema,'.',pipeline().parameters.TargetTable)
ON pipeline().parameters.DeltaTable).signature = pipeline().parameters.TargetTable).signature
WHERE pipeline().parameters.TargetTable).signature IS NULL
A deltaTable e a TargetTable se parecem com o seguinte:
==========================================================================================================
| CountryName | CountryISO2 | CountryISO3 | SalesRegion | signature |
==========================================================================================================
| Belgium | CHA | 10 | EMEA |800e559a27d68f0478b6|
| | | | |1c4c9f009e2418e86697|
| | | | |1b6e54b549b51b1367ab|
| | | | | 450d |
----------------------------------------------------------------------------------------------------------
| Wales | steveO | WAL | Welsh |e8c5149d54986dfe9ac9|
| | | | |5a60a76b07603fe17c28|
| | | | |2b552ec8255f123b279a|
| | | | | 533a |
----------------------------------------------------------------------------------------------------------
| Germany | DE | deletedupd | EMEA |1232b1bd91d14a87ed83|
| | | | |0f770d74cd8cabb87153|
| | | | |5c4c2b7ff5bcb873fa80|
| | | | | d851 |
----------------------------------------------------------------------------------------------------------
| Italy | IT | ITA | EMEA |584cf66de2f4af9eb4db|
| | | | |febefea808b1b4e6a357|
| | | | |87fcac1061de88cfb798|
| | | | | 56df |
----------------------------------------------------------------------------------------------------------
Alguém pode me dizer como adicionar um hash criptográfico a um campo no Azure Data Factory.
Por exemplo, eu tenho uma tabela existente e gostaria de adicionar uma coluna adicional chamada 'Assinatura' e gostaria de gerar um hash criptográfico 256 para a coluna 'Assinatura'
Eu sei que é fácil adicionar uma coluna a uma tabela na atividade de cópia do ADF, veja a imagem abaixo, mas não sei como adicionar um valor de hash criptográfico à coluna
Tentei modificar minha consulta para incluir uma consulta que aplicará o hash criptográfico, mas estou recebendo um erro de sintaxe: vírgula ausente entre os argumentos.
A consulta original é a seguinte:
@concat('SELECT * FROM ',pipeline().parameters.Domain,'.',pipeline().parameters.TableName)
A nova consulta modifica a consulta acima da seguinte maneira:
@concat('SELECT *, HASHBYTES('SHA2_256', CAST(signature AS NVARCHAR(MAX))) AS Signature FROM ',pipeline().parameters.Domain,'.',pipeline().parameters.TableName)
No entanto, não tenho certeza de onde as vírgulas que faltam precisam ser colocadas.
Acho que corrigi a consulta com o seguinte:
@concat('SELECT *, HASHBYTES(SHA2_256, , CAST(signature AS NVARCHAR(MAX))) AS Signature FROM ',pipeline().parameters.Domain,'.',pipeline().parameters.TableName)
Entretanto, quando executo a atividade de cópia, recebo o seguinte erro:
Detalhes Falha ocorreu no lado 'Source'. 'Type=Microsoft.Data.SqlClient.SqlException,Message=Sintaxe incorreta perto de ','.,Source=Framework Microsoft SqlClient Data Provider,'
Modifiquei a atividade de cópia da seguinte forma, mas ainda estou recebendo o mesmo erro
Estou usando a Databricks Academy para aprender. A Databricks vem com dados armazenados em ADL para serem usados com o treinamento.
No entanto, os dados não parecem estar acessíveis. Estamos recebendo o erro:
com.microsoft.azure.datalake.store.ADLException: Erro ao obter informações do arquivo /dbacademy/people10m.parquet
A localização dos dados é:
people10m = spark.read.parquet("adl://devszendsadlsrdpacqncd.azuredatalakestore.net/dbacademy/people10m.parquet")
Alguém pode explicar por que não conseguimos acessar os dados
Apenas para adicionar alguma clareza a esta questão, o link a seguir mostra um notebook do Databricks sobre aprendizado de Agregações, JOINs e Consultas Aninhadas. Para aprender com o notebook, há um requisito para executar a seguinte configuração de sala de aula com o seguinte código: %run"./Includes/Classroom-Setup"
Isso executará o seguinte código em um notebook chamado "Classroom-Setup"
people10m = spark.read.parquet("adl://devszendsadlsrdpacqncd.azuredatalakestore.net/dbacademy/people10m.parquet")
Entretanto, quando o notebook executa o código, recebo o seguinte erro:
com.microsoft.azure.datalake.store.ADLException: Error getting info for file /dbacademy/people10m.parquet
Portanto, alguém pode me informar por que estou recebendo o erro e fornecer uma solução alternativa
Alguém pode me informar se é possível copiar todas as tabelas, procedimentos armazenados e exibições de um SQL DB para um Azure SQLDB em uma única atividade de cópia?
Para o conjunto de dados de origem, tenho a seguinte atividade de cópia:
E para a pia tenho o seguinte:
Acredito que o acima copiará e criará todas as tabelas, mas não tenho certeza se copio e crio os procedimentos armazenados, visualizações, etc.
A partir da resposta fornecida por @Bhavani, alguém pode me dizer como
Adicione conjuntos de dados de origem e coletor com dois parâmetros de string Schema e Table, defina-os como @dataset().Schema para schema, @dataset().Table
Adicionei o Schema e o TableName, conforme descrito, veja a imagem, mas estou recebendo o erro "Tabela necessária para atividade de cópia"
Estou chegando lá. Corrigi o erro "Tabela é necessária para atividade de cópia". Agora estou recebendo o erro"The expression 'length(activity('Lookup1').output.value)' cannot be evaluated because property 'value' doesn't exist, available properties are 'firstRow, effectiveIntegrationRuntime, billingReference, durationInQueue'.
O Python a seguir foi projetado para gerar um ERD usando o Visual Studio Code.
O gráfico é criado localmente com matplotlib. O código executa sem erros, no entanto, o diagrama ERD mostra em branco.
O código python é o seguinte:
import matplotlib.pyplot as plt
# Define the entities and their attributes for the ERD
entities = {
"Customer": ["CustomerID (PK)", "CustomerName", "ContactInfo"],
"CreditCardAccount": ["AccountID (PK)", "AccountStatus", "Balance", "CustomerID (FK)"],
"CreditCard": ["CardID (PK)", "CardNumber", "ExpiryDate", "AccountID (FK)", "BrandID (FK)"],
"CreditCardBrand": ["BrandID (PK)", "BrandName", "CardType"],
"SecondaryCardHolder": ["SecondaryHolderID (PK)", "HolderName", "RelationToPrimary", "AccountID (FK)"],
"PurchaseTransaction": ["TransactionID (PK)", "TransactionDate", "Amount", "CardID (FK)", "RetailerID (FK)"],
"Retailer": ["RetailerID (PK)", "RetailerName", "Location"],
"MonthlyStatement": ["StatementID (PK)", "StatementDate", "OutstandingBalance", "AccountID (FK)"],
"CustomerServiceInteraction": ["InteractionID (PK)", "InteractionDate", "Notes", "CustomerID (FK)"],
}
# Relationships between entities
relationships = [
("Customer", "CreditCardAccount", "1:M"),
("CreditCardAccount", "CreditCard", "1:M"),
("CreditCard", "CreditCardBrand", "M:1"),
("CreditCardAccount", "SecondaryCardHolder", "1:M"),
("CreditCard", "PurchaseTransaction", "1:M"),
("PurchaseTransaction", "Retailer", "M:1"),
("CreditCardAccount", "MonthlyStatement", "1:M"),
("Customer", "CustomerServiceInteraction", "1:M"),
]
# Plotting the ERD
fig, ax = plt.subplots(figsize=(12, 8))
# Define positions for the entities
positions = {
"Customer": (1, 5),
"CreditCardAccount": (4, 5),
"CreditCard": (7, 5),
"CreditCardBrand": (10, 5),
"SecondaryCardHolder": (4, 3),
"PurchaseTransaction": (7, 3),
"Retailer": (10, 3),
"MonthlyStatement": (4, 1),
"CustomerServiceInteraction": (1, 3),
}
# Draw entities as boxes
for entity, position in positions.items():
plt.text(position[0], position[1], f"{entity}\n" + "\n".join(entities[entity]),
ha='center', va='center', bbox=dict(facecolor='lightblue', edgecolor='black', boxstyle='round,pad=0.5'))
# Draw relationships as lines
for rel in relationships:
start_pos = positions[rel[0]]
end_pos = positions[rel[1]]
ax.annotate("",
xy=end_pos, xycoords='data',
xytext=start_pos, textcoords='data',
arrowprops=dict(arrowstyle="->", lw=1.5, color='black'),
)
# Add cardinality
midpoint = ((start_pos[0] + end_pos[0]) / 2, (start_pos[1] + end_pos[1]) / 2)
ax.text(midpoint[0], midpoint[1], rel[2], ha='center', va='center', fontsize=10)
# Hide axes
ax.set_axis_off()
# Show the ERD diagram
plt.title("Entity Relationship Diagram (ERD) for Credit Card Company", fontsize=16)
plt.show()
A saída é a seguinte:
Alguém pode me dizer por que o ERD não aparece?
Estou tentando criar uma roda Python para ser usada com Databricks. Estou usando o VS Code para gerar a roda.
Eu tenho o seguinte arquivo setup.py:
import setuptools
with open("QuickStart.MD", "r") as fh:
long_description = fh.read()
setuptools.setup(
name="newlib",
version="0.1.8",
author="name",
author_email="[email protected]",
description="framework",
long_description=long_description,
long_description_content_type="text/markdown",
url="",
packages=setuptools.find_packages(),
classifiers=[
"Programming Language :: Python :: 3",
"License :: OSI Approved :: MIT License",
"Operating System :: OS Independent",
],
python_requires='>=3.6',
install_requires=[
'pyodbc',
'jsonschema'
]
)
Meus arquivos README.md são parecidos com os seguintes:
# Example Package
This is a simple example package. You can use
[Github-flavored Markdown](https://guides.github.com/features/mastering-markdown/)
to write your content
Quando executo python setup.py bdist_wheel
Eu recebo o erro:
comando inválido 'bdist_wheel'
Alguém pode me informar onde estou errando?
Tenho o seguinte T-SQL que quando tento executar com Databricks SQL recebo o erro
Erro na instrução SQL: AnalysisException: não é possível resolver '
rn'
Eu tenho uma visualização chamada db.myviewe parece que o Databricks SQL não consegue executar a subconsulta para rn (pelo menos é o que eu penso)
SELECT *
FROM
(select
rn = ROW_NUMBER() OVER (PARTITION BY ID order by ID),
*
from db.myview c
) c
where c.rn = 1
Quando executo a consulta acima no SQL Server não tenho problemas.