我有 100 个来自客户的数据库,它们都具有相同的架构但内容不同。
现在我想进行一些分析,并开始在所有数据库上运行不同的一列。我的实例包含这些以及更多。
我认为它接近
EXEC sp_MSforeachdb 'Use ? select distinct [ColumName] from [TableName]'
但是,这并没有将它们结合起来;用 a 包围这个select
也不起作用。
我有 100 个来自客户的数据库,它们都具有相同的架构但内容不同。
现在我想进行一些分析,并开始在所有数据库上运行不同的一列。我的实例包含这些以及更多。
我认为它接近
EXEC sp_MSforeachdb 'Use ? select distinct [ColumName] from [TableName]'
但是,这并没有将它们结合起来;用 a 包围这个select
也不起作用。
为什么DISTINCT ON
要对行进行排序?例如查询
SELECT DISTINCT ON (a) a
FROM (
VALUES (2), (3), (1)
) x(a);
会有结果
1
2
3
而没有DISTINCT ON
SELECT a
FROM (
VALUES (2), (3), (1)
) x(a);
我会得到正确的顺序
2
3
1
如何保持定义值的自然顺序?“自然顺序”是指“定义值的顺序”。我知道如果我没有用 明确指定它,DBMS 可能会更改顺序ORDER BY
,但我没想到DISTINCT ON
我会以这种方式进行干预。
Postgres 中的完整计数可能很慢,原因已被充分理解和讨论。因此,我一直在尽可能使用估算技术。对于行,pg_stats 似乎很好,对于视图,提取工作返回的估计值EXPLAIN
。
https://www.cybertec-postgresql.com/en/count-made-fast/
但是不同的价值观呢?在这里,我的运气要差得多。有时估计值是 100% 正确的,有时它们会相差 2 或 20 倍。截断的表似乎特别是过时的估计值(?)。
我刚刚运行了这个测试并提供了一些结果:
analyze assembly_prods; -- Doing an ANLYZE to give pg_stats every help.
select 'count(*) distinct' as method,
count(*) as count
from (select distinct assembly_id
from assembly_prods) d
union all
select 'n_distinct from pg_stats' as method,
n_distinct as count
from pg_stats
where tablename = 'assembly_prods' and
attname = 'assembly_id';
结果:
method count
count(*) distinct 28088
n_distinct from pg_stats 13805
这只差了 2 倍,但我的数据似乎更糟。到我不会使用估计的地步。还有什么我可以尝试的吗?这是PG 12改进的东西吗?
我以前从未尝试SET STATISTICS
过,因为一天只有那么多小时。受 Laurenz 回答的启发,我快速浏览了一下。这是文档中的有用评论:
https://www.postgresql.org/docs/current/planner-stats.html
pg_statistic
存储在by中的信息量ANALYZE
,特别是每列的和 histogram_bounds 数组中的最大条目数most_common_vals
,可以使用命令逐列设置,或通过设置配置变量ALTER TABLE SET STATISTICS
全局设置。default_statistics_target
默认限制目前为 100 个条目。提高限制可能会允许更准确的规划器估计,特别是对于具有不规则数据分布的列,代价是消耗更多空间pg_statistic
和稍微更多的时间来计算估计。相反,对于具有简单数据分布的列,下限可能就足够了。
我经常得到包含一些常见值和许多罕见值的表。或者反过来,因此正确的阈值将取决于。对于那些没有使用过的人SET STATISTICS
,它可以让您将采样率设置为目标条目数。默认值为 100,因此 1000 的保真度应该更高。这是它的样子:
ALTER TABLE assembly_prods
ALTER COLUMN assembly_id
SET STATISTICS 1000;
您可以SET STATISTICS
在表或索引上使用。这是一篇关于索引的有趣文章:
https://akorotkov.github.io/blog/2017/05/31/alter-index-weird/
请注意,当前文档确实列出SET STATISTICS
了索引。
因此,我尝试了 1、10、100、1000 和 10,000 的阈值,并从具有 467,767 行和 28,088 个不同值的表中得到这些结果:
Target Estimate Difference Missing
1 13,657 14,431 51%
10 13,867 14,221 51%
100 13,759 14,329 51%
1,000 24,746 3,342 12%
10,000 28,088 0 0%
显然,您无法从一个案例中得出任何一般性结论,但SET STATISTICS
看起来非常有用,我很乐意将其牢记在心。我很想总体上提高一点目标,因为我怀疑这对我们系统中的许多情况都有帮助。
我的 postgresql 列结构如下所示:
id | from | to
---------------
1 | A | B
2 | A | B
3 | C | D
现在我想要一个看起来像这样的结果:
res
-----
'A:B'
'B:A'
'C:D'
'D:C'
其中第一行和行从 A:B 置换到 B:A 和 'C:D' 到 'D:C' 并且由于不同的操作而省略了第二列。
我有一个名为 的多边形图层scale_polygons_v4
。我想获取重叠多边形的 ID。我试过下面的代码:
select distinct s1.id,s2.id from scale_polygons_v4 s1
inner join scale_polygons_v4 s2
on s1.id!=s2.id and s1.kind=s2.kind and st_overlaps(s1.geom,s2.geom)
结果是正确的,但是通过重复比较它返回例如:
10029161,10011031
10011031,10029161
有多个这样的案例我只想得到一个比较。
我正在学习如何处理数据库,所以这是一个微不足道的问题,很可能已经得到解答。我只是不熟悉行话,也不知道如何搜索它(尽管我试过了)。
我的数据在 LibreOffice 上,它运行 HSQLDB v1.8(非常旧的引擎版本)。目前,我必须坚持下去。无法使用更新的 SQL 引擎。
我有一个payment
具有以下结构的表
member_id pay_year pay_unit
0 2016 1
0 2017 2
0 2017 1
0 2017 1
0 2018 2
1 2015 1
1 2018 2
我需要将这张表总结成类似的东西
member_id pay_year pay_unit_year
0 2016 1
0 2017 4
0 2018 2
1 2017 1
1 2018 2
是购买会员资格的pay_unit_year
年数。所以最终我需要对年份和单位进行操作,并为每个成员获取一行
member_id expire_year
0 2023
1 2020
我在用着
SELECT DISTINCT member_id,
pay_year,
pay_unit
FROM payments
我越来越
member_id pay_year pay_unit
0 2016 1
0 2017 2
0 2017 1
0 2018 2
1 2017 1
1 2018 2
有什么方法可以pay_unit
对其他列具有相同信息的子集执行操作吗?
我知道 SQL 有很多可用的日期操作,但是 HSQLDB v1.8 还没有实现它们。
感谢您的帮助和耐心等待
我不清楚确切地,
SELECT DISTINCT col1, col2, ...
FROM table_name
当在一列上调用时,它只返回该列的不同值。当我们将它与多个列一起使用时会发生什么,我们应该这样做吗?