主页 / dba / 问题

问题[azure-sql-data-warehouse](dba)

Martin Hope
Neil P
Asked: 2020-03-25 07:34:33 +0800 CST
  • 2

我正在使用 polybase 导入镶木地板文件。

随着时间的推移，我们可能会在文件中添加或删除命名列。

当我添加一个额外的列时，我收到以下错误：

由于内部错误，外部文件访问失败：'文件 test.parquet：HdfsBridge::CreateRecordReader - 创建记录读取器时遇到意外错误：HadoopExecutionException：列数不匹配。源文件有 16 列，外部表定义有 15 列。

这是因为我添加了一个不在外部表定义中的附加列。

由于 parquet 包含文件模式并且外部表知道每列的名称，有没有办法可以设置它忽略额外未使用的列？

azure-sql-data-warehouse polybase
Martin Hope
Nick Haslam
Asked: 2020-02-22 08:08:44 +0800 CST
  • 1

是否可以在特定架构中允许用户创建表并从中进行选择，但不允许他们在初始创建后删除或更新行，并防止他们删除它？

Create Table as Select需要 Select 的选择权限，但是Create Table需要 Create table 和 Alter Schema on Schema。

Alter Schema 权限还包括删除表的权限，这是我们不想要的。

我们正在使用 Azure SQL 数据仓库，所以不能使用触发器..

sql-server azure-sql-data-warehouse
Martin Hope
Neil P
Asked: 2018-05-19 01:38:59 +0800 CST
  • 1

我有一个倾斜的数据集，其中大多数行落入我的最佳候选分布键的最大 10 个值中。我的数据由两个大表组成，它们只共享两个键——我最好的候选键，再加上另一个，但那个键在 80% 的时间里是空的，所以我把它作为一个选项打折了。

传统观点认为，如果数据有偏差，我应该使用循环分布。查看表上连接生成的解释计划，我看到我的候选列是随机移动的随机键。这让我怀疑我是否应该将分布从循环法更改为散列分布，从而节省每次执行时移动数据所需的时间。

我的逻辑正确吗？我觉得这与使用分布式 sql 时的传统观念背道而驰。我不希望有任何不需要此连接的查询，因此其他人可能会从中看到好处。

azure-sql-data-warehouse
Martin Hope
Brian Vallelunga
Asked: 2018-05-11 06:36:22 +0800 CST
  • 1

使用 Azure SQL DW，我在表中的单个列上创建了二级索引，但我不确定我的查询是否使用过该索引。性能仍然很慢，但我正在搜索大约 70 亿行数据。

我的表本质上是：

CREATE TABLE FactBusinessEvent
(
    [EmailAddress] [nvarchar](200) NOT NULL,
    [EventDate] [datetime] NOT NULL,
    [EventDate_key] [int] NOT NULL,
   -- OTHER COLUMNS HERE
)
WITH
(
    DISTRIBUTION = HASH ( [EmailAddress] ),
    CLUSTERED COLUMNSTORE INDEX
);

CREATE INDEX IX_FactBusinessEvent_EmailAddress ON FactBusinessEvent
(
   EmailAddress ASC
);

我的查询是：

SELECT * FROM FactBusinessEvent WHERE EmailAddress = '[email protected]'

使用 SSMS 17.6，我可以显示估计的查询计划，它完全忽略二级索引，显示表中的单个Get。我似乎无法在 SQL DW 中使用提示，那么还有什么可以尝试的吗？

感谢您的任何见解。

index azure-sql-data-warehouse
Martin Hope
Neil P
Asked: 2018-02-21 04:14:06 +0800 CST
  • 1

我有相同的查询，当作为选择语句运行时显示为以批处理模式运行，但当相同查询是 CTAS 操作的选择部分时显示为行模式。两个表（加上结果表）都是分布对齐的。

为什么是这样？显然，如果可能的话，我希望它以批处理模式运行。

导致行模式执行：

create table mytable1
with
(
    distribution = hash(c1)
)
as

询问：

with  filterData as 
(
    select 
        a
        ,b
        ,c
        ,d
        ,DateStamp
    from [DW_reporting].[table1] 
    where num > 0
)

    select 
        p.[DateStamp]
        ,p.[a1]
        ,p.b1
        ,p.c1
        ,p.d1
        ,e.a
        ,e.b
        ,case when e.d is not null then 1 else 0 end as Flag
    from SOmeOtherTable p
    left join filterData e on e.a = p.a1
                                            and e.c = p.c1
                                            and e.DateStamp < p.DateStamp
azure-sql-data-warehouse columnstore
Martin Hope
Neil P
Asked: 2017-12-23 08:05:55 +0800 CST
  • 4

我在数据仓库中有一个非常昂贵的连接，它不是分布对齐的。不幸的是，连接键可以为空，并且只有一半的数据有值，这意味着它不是分布键的良好候选者。

是否可以创建一个分区视图，其中表的空一半是循环分布的，另一半是分布在可用键值上的？

azure-sql-data-warehouse
Martin Hope
Neil P
Asked: 2017-06-27 03:23:17 +0800 CST
  • 2

我想在 azure data warehouse中的表中添加一个检查约束。

我有以下脚本：

alter table [FactTbl_Test] add constraint Ck_Test_id check ([Test_Id] != 'Unknown')

这会导致以下错误：

第 2 行第 74 列的解析错误：“检查”附近的语法不正确。

编辑：

如果在表声明中创建约束，也会出现同样的错误。

azure-sql-data-warehouse