我正在使用 polybase 导入镶木地板文件。
随着时间的推移，我们可能会在文件中添加或删除命名列。
当我添加一个额外的列时，我收到以下错误：
由于内部错误，外部文件访问失败：'文件 test.parquet：HdfsBridge::CreateRecordReader - 创建记录读取器时遇到意外错误：HadoopExecutionException：列数不匹配。源文件有 16 列，外部表定义有 15 列。
这是因为我添加了一个不在外部表定义中的附加列。
由于 parquet 包含文件模式并且外部表知道每列的名称，有没有办法可以设置它忽略额外未使用的列？
您可以按照microsoft 的这些说明建立与 SQl Azure 实例的安全连接。但是，这仅在用户在连接字符串中指定它时才有效。如果用户忘记设置选项，我如何设置 SQL Azure 拒绝任何不安全的连接。
我有一个倾斜的数据集，其中大多数行落入我的最佳候选分布键的最大 10 个值中。我的数据由两个大表组成，它们只共享两个键——我最好的候选键，再加上另一个，但那个键在 80% 的时间里是空的，所以我把它作为一个选项打折了。
传统观点认为，如果数据有偏差，我应该使用循环分布。查看表上连接生成的解释计划，我看到我的候选列是随机移动的随机键。这让我怀疑我是否应该将分布从循环法更改为散列分布，从而节省每次执行时移动数据所需的时间。
我的逻辑正确吗？我觉得这与使用分布式 sql 时的传统观念背道而驰。我不希望有任何不需要此连接的查询，因此其他人可能会从中看到好处。
我有一个计算的查询row_Number()。该表在与行号的分区和排序相同的列（和顺序）上有一个聚集索引。
使用合并连接（多对一）时，需要进行排序，即使聚集索引的顺序正确。删除连接也会删除排序操作。
应该支持 row_number 计算的聚集索引：
create clustered index [ClusteredIndex_e060df3fbf464a8eb9b6ea5d46a9a5f5] on [dbo].[log1]
(
[client] asc,
[orderId] asc,
[campaign] asc,
[id] asc,
[DateStamp] asc
)
create clustered index [ClusteredIndex_dd0ee53e050d436cba2cab7c678a39e5] on [dbo].[LiveReference]
(
[client] asc,
[orderId] asc,
[campaign] asc
)
查询：
with cr as
(
select distinct client, orderId,campaign
from LiveReference
)
select e.[DateStamp]
,e.[campaign]
,e.[client]
,e.[orderId]
,e.[ad]
,e.[id]
,e.[source]
,row_number() over (partition by e.[client] ,
e.[orderId] ,
e.[campaign] ,
e.[id]
order by e.[DateStamp]) as num
from [dbo].[log1] e
inner join cr on
e.client = cr.client
and e.campaign = cr.campaign
and e.orderId = cr.orderId
它给出了以下计划：
删除连接也会删除排序：
select e.[DateStamp]
,e.[campaign]
,e.[client]
,e.[orderId]
,e.[ad]
,e.[id]
,e.[source]
,row_number() over (partition by e.[client] ,
e.[orderId] ,
e.[campaign] ,
e.[id]
order by e.[DateStamp]) as num
from [dbo].[log1] e
（我知道这也会删除由连接执行的过滤，但这并不能解释为什么排除这些行会更改顺序）
为什么排序连接的结果会不按正确的顺序排列？
我在 Azure 数据仓库中有一个合并连接。我估计的执行计划目前显示为多对多连接。我想知道是否有可能实现多对一连接。目前我正在努力想办法做到这一点，因为不支持主键和唯一约束。有什么可用的东西可以让我告诉它其中一个表将始终包含唯一值。
我有相同的查询，当作为选择语句运行时显示为以批处理模式运行，但当相同查询是 CTAS 操作的选择部分时显示为行模式。两个表（加上结果表）都是分布对齐的。
为什么是这样？显然，如果可能的话，我希望它以批处理模式运行。
导致行模式执行：
create table mytable1
with
(
distribution = hash(c1)
)
as
询问：
with filterData as
(
select
a
,b
,c
,d
,DateStamp
from [DW_reporting].[table1]
where num > 0
)
select
p.[DateStamp]
,p.[a1]
,p.b1
,p.c1
,p.d1
,e.a
,e.b
,case when e.d is not null then 1 else 0 end as Flag
from SOmeOtherTable p
left join filterData e on e.a = p.a1
and e.c = p.c1
and e.DateStamp < p.DateStamp
我在数据仓库中有一个非常昂贵的连接，它不是分布对齐的。不幸的是，连接键可以为空，并且只有一半的数据有值，这意味着它不是分布键的良好候选者。
是否可以创建一个分区视图，其中表的空一半是循环分布的，另一半是分布在可用键值上的？
我正在尝试使用“Analysis Services 部署向导”将表格模型部署到服务器。
尝试部署时，出现以下错误。
JSON DDL 请求失败并出现以下错误：无法执行 XMLA。返回错误：“表“日期”中的“日期偏移”列指定了无效绑定。
有问题的列使用以下计算，可在此处找到
INT([Date] - TODAY())
为了解决此错误，我应该寻找什么？
Azure SQL DWH / PDW 具有EXPLAIN显示并行查询计划的关键字。这对于查看数据移动操作非常有用，但是我想知道是否有与传统 sql server 查询计划等效的方法。我正在假设仅仅因为没有任何数据移动，并不一定意味着查询得到了很好的优化。
Azure SQL 数据仓库对事务的最大大小有限制（如此处记录）。由于不能在事务内执行 CTAS 操作，我想知道这些限制是否仍然适用？
想象一下，我正在通过管理工作室运行多个批次，由 GO 命令分隔。我想知道隐式事务的行为方式 - 事务是按批次提交还是在整个执行过程中提交一次。
我想在 azure data warehouse中的表中添加一个检查约束。
我有以下脚本：
alter table [FactTbl_Test] add constraint Ck_Test_id check ([Test_Id] != 'Unknown')
这会导致以下错误：
第 2 行第 74 列的解析错误：“检查”附近的语法不正确。
编辑：
如果在表声明中创建约束，也会出现同样的错误。
我正在使用[vColumnstoreDensity]它来监视我的列存储索引的运行状况。
我注意到我有一个看起来很奇怪的索引。
据我了解，列存储索引将在开始下一个行组之前填充一个行组。为了获得最佳索引性能，更完整的行组更好。
说了这么多之后，我有一张表格我很难理解。即使在使用最大资源类重建索引（为构建过程提供可能的最大内存量）之后，[vColumnstoreDensity]视图仍将此索引显示为分布在许多部分完整的行组中。
COMPRESSED_rowgroup_count
4936
COMPRESSED_rowgroup_rows
2693512978
COMPRESSED_rowgroup_rows_MIN
468
COMPRESSED_rowgroup_rows_MAX
739443
COMPRESSED_rowgroup_rows_AVG
545687
编辑：
这是聚集列存储索引。
我有一个带有大型分区表的表格立方体。
我想截断一些分区（释放内存空间），但保留元数据，这样我可以在以后需要时快速重建它们，而不必重新创建分区。
这可能吗？如果可以，怎么办？
如果我在数据库中的两个不同表上有一个 rowversion，它们是否保证在两个表中都是唯一的？如果没有，有没有办法设置这种行为？
我有一个将两个表连接在一起的视图，我想知道这种行为是否得到保证，以便我可以从任一表中获取最大的行号，以形成视图的行版本。
我有两个相同的表，它们包含相同的数据行。
一个为表的每一列使用 varchar(255)，另一个为每一列正确键入（使用日期、整数、小数等）。
使用 Management Studio 的属性窗口，我可以看到将所有数据存储为 varchar 的表要小得多，这不是我期望看到的。我的理解是 int 只会使用 4 个字节的空间，因此比存储为 varchar 的 int 使用的空间少得多。
我应该寻找什么来了解这里发生的事情？两个表在 int 列上都有一个主键，没有其他索引。出于测试目的，它们已经填充了来自相同源查询的相同数据集。
运行更新语句时，例如下面的语句，我收到一条错误消息，告诉我
窗口函数只能出现在 SELECT 或 ORDER BY 子句中。
UPDATE dbo.Dim_Chart_of_Account
SET Account_Order = LAG([Account_Order]) OVER (ORDER BY [Account_SKey])
我知道这可以使用可更新的 cte 轻松解决，如下所示
WITH my_cte AS (
SELECT [Account_Order], LAG([Account_Order]) OVER (ORDER BY [Account_SKey]) AS acc_order_lag
FROM Dim_Chart_of_Account
)
UPDATE my_cte
SET [Account_Order] = acc_order_lag
我的问题是，是否有任何理由在更新语句中不允许这样做，我是否应该避免使用可更新的 cte 作为解决方法？
我担心的是在使用带有更新语句的窗口函数时会出现问题，因此我想了解这是否是一种可接受的方法或应该避免。
我正在尝试在 SSIS 中使用显式事务。我正在使用的数据库没有启用 DTC，所以我不能使用 SSIS 的内置事务处理。
我已经执行了 sql 任务来初始化、提交和回滚事务，但是尽管将“RetainSameConnection”设置为 true，我仍然收到以下错误：
[执行 SQL 任务] 错误：执行查询“ROLLBACK；” 失败并出现以下错误：“ROLLBACK TRANSACTION 请求没有相应的 BEGIN TRANSACTION。”。可能的失败原因：查询有问题，“ResultSet”属性设置不正确，参数设置不正确，或连接未正确建立。