主页 / dba / 问题

问题[hashing](dba)

Martin Hope
merger
Asked: 2020-10-08 10:24:47 +0800 CST
  • 8

我有一个运行速度很慢的查询（见下文）。在寻找改进方法时，我们发现如果我们将LEFT OUTER JOIN替换为LEFT HASH JOIN，查询的运行速度会快十倍

结果似乎是一样的。是吗？在什么情况下它不会返回相同的结果？有什么区别？在运行 LEFT HASH JOIN 而不是 LEFT OUTER JOIN 时，我应该注意什么？

查询中的[ABC].[ExternalTable]表是我添加为外部表的不同服务器上的视图

SELECT t.foo, t.bar, t.data
FROM [dbo].[Table] as t
LEFT OUTER JOIN [ABC].[ExternalTable] as s ON s.foo = t.foo and s.bar = t.bar and s.data = t.data
WHERE s.foo is null and s.bar IS NULL and s.data IS NULL
sql-server hashing
Martin Hope
Jakub P
Asked: 2020-09-17 06:13:52 +0800 CST
  • 1

背景：

DBA 已将 DBMS_CRYPTO 包隐藏到任何角色、受让人，我想知道为什么。我必须改用包装器:(

有没有办法为具有相同文本的文本字段获取相同的哈希？以下所有方法对相同的文本给出不同的结果，因为它们看起来取决于 rowid 或类似的东西：

SELECT
 , utl_raw.cast_to_raw(sys_op_map_nonnull(log_msg))                                                  AS "RAW"
 , rawtohex(utl_raw.cast_to_raw(sys_op_map_nonnull(log_msg)))                                        AS raw_hex
 , rawtohex(standard_hash(sys_op_map_nonnull(log_msg), 'MD5'))                                       AS md5_hex
 , ora_hash(log_msg)
 , dbms_obfuscation_toolkit.md5(input => utl_raw.cast_to_raw(sys_op_map_nonnull(log_msg)))           AS md5
 , rawtohex(dbms_obfuscation_toolkit.md5(input => utl_raw.cast_to_raw(sys_op_map_nonnull(log_msg)))) AS hex

log_msg是 CLOB

oracle hashing
Martin Hope
JOSEFtw
Asked: 2020-03-11 03:47:51 +0800 CST
  • 1

下面的 SQL

SELECT CONVERT(nvarchar(128), HASHBYTES ('SHA2_512', 'test'), 2) as 'From String'

产生以下哈希：

EE26B0DD4AF7E749AA1A8EE3C10AE9923F618980772E473F8819A5D4940E0DB27AC185F8A0E1D5F84F88BC887FD67B143732C304CC5FA9AD8E6F57F50028A8FF

如果我然后用'test'[Key] 中的列值替换，而不是像这样：

SELECT CONVERT(nvarchar(128), HASHBYTES ('SHA2_512', [Key]), 2) as 'From Column' FROM MyTable
WHERE [Key] = 'test'

产生以下哈希：

9F7D8627E02F97CC5A52DCB2BA96038FE12F2A34B0FAC50E041359AE13D5EDE8A8A50562DA58BA7916DA378E7343EF91E85EFBD6A0A70AB237ADA4C2274DF13D

现在我们的数据库中有几行我想散列，所以我想运行以下代码：

UPDATE MyTable SET [Key] = CONVERT(nvarchar(128), HASHBYTES ('SHA2_512', [Key]), 2)

但问题是产生的散列不正确，只有当我[Key]用实际的字符串值替换时它才是正确的。

我发现了这个问题：使用 HASHBYTES() 为 nvarchar 和一个变量产生不同的结果，并且他们通过在字符串前面加上前缀来“解决它” N。但我想反过来做，我希望输出是 EE26B0DD4AF7E749AA1A8EE3C10AE9923F618980772E473F8819A5D4940E0DB27AC185F8A0E1D5F84F88BC887FD67B143732C304CC5FA9AD8E6F57F50028A8FF.

我怎样才能做到这一点？

我的表如下所示：

CREATE TABLE [dbo].[MyTable](
    [Id] [int] IDENTITY(1,1) NOT NULL,
    [Key] [nvarchar](128) NULL,
 CONSTRAINT [PK_MyTable] PRIMARY KEY CLUSTERED 
(
    [Id] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]
sql-server hashing
Martin Hope
g0pher
Asked: 2017-08-10 00:19:22 +0800 CST
  • 8

我们在我们的环境中使用 SQL Spotlight。这很方便。我们特别使用 sys.dm_exec_requests 和 sys.dm_exec_query_stats 的输出。

Spotlight 使用很好的散列从计划缓存中为您提取查询计划。

问题是，除非您对代码库有经验，否则很难知道该查询来自何处。

我有一个想法，如果可以的话：

  • 解析代码库
  • 拉取 SQL 查询
  • 以与微软相同的方式散列它们

通过这种方式，我可以对哈希进行快速匹配，以便能够查看代码库中特定查询的来源。

或者我必须做一些非常慢的正则表达式......

sql-server hashing
Martin Hope
Elsayed
Asked: 2016-11-29 01:46:07 +0800 CST
  • 4

我正在使用 SQL Server。

我有这张桌子：

create table MyTable (
ID int not null ,
Name varchar(500) )

我正在添加一个name_hash列来存储该name列的哈希值：

alter myTable
    add 
    name_hash AS HASHBYTES('SHA1', CONVERT(VARCHAR(90), Name))

如何确定结果大小name_hash？它与我要应用散列的列的大小有关吗？

sql-server hashing
Martin Hope
Ejonas GGgg
Asked: 2016-11-08 05:26:34 +0800 CST
  • 2

我有一个网站项目，我必须在 postgres 表中处理数千或数万个对象。

最初我的网址是：

example.com/object/{ID}/{TEXT SLUG}/

其中 {ID} 只是一个与我的表中的串行主键相对应的整数，{TEXT SLUG} 除了出于 SEO 友好的原因之外实际上什么都不做。

现在，我想隐藏我的 {ID}，因为有人可能只是使用一些简单的脚本请求所有增加 {ID} 的对象并简单地重建我的数据库，我想将 url 设计得更现代

example.com/object/{TEXT SLUG}/

现在，如果我直接使用 {TEXT SLUG} 寻址表，它不会比以前使用 {ID} 简单寻址慢得多，即使使用一些索引，尤其是当它变大时（我希望在 40K 范围内最多 60K 行，但表中目前只有 2K）？

我想使用一些轻量级的散列算法来散列 {TEXT SLUG} 并使用散列对表进行寻址，并添加一个具有散列副本的附加列。由于 Postgres 有 4 或 8 字节整数，我很想使用一些轻量级的 128 位散列算法（例如 Murmurhash），我是否正在考虑使用散列 slug 的想法，还是有什么我不知道的？

postgresql hashing
Martin Hope
Adam Matan
Asked: 2014-10-28 10:07:07 +0800 CST
  • 5

按照另一个答案给出的建议，我尝试digest()在 AWS RDS 上使用 PostgreSQL 9.3 上的函数：

devdb=> SELECT digest('blah', 'sha1');
ERROR:  function digest(unknown, unknown) does not exist
LINE 1: SELECT digest('blah', 'sha1');
               ^
HINT:  No function matches the given name and argument types. You might need to add explicit type casts.

即使 pgcrypto 存在：

devdb=> SHOW rds.extensions;

btree_gin,btree_gist,chkpass,citext,cube,dblink,dict_int,dict_xsyn,earthdistance,fuzzystrmatch,hstore,intagg,intarray,isn,ltree,pgcrypto,pgrowlocks,pg_trgm,plperl,plpgsql,pltcl,postgis,postgis_tiger_geocoder,postgis_topology,sslinfo, tablefunc,tsearch2,unaccent,uuid-ossp

如何启用该digest()功能？

更新

我已经在 AWS RDS 论坛上共同提问，将相互更新帖子。

digest()db上似乎不存在：

devdb=> \df digest
                       List of functions
 Schema | Name | Result data type | Argument data types | Type
--------+------+------------------+---------------------+------
(0 rows)
postgresql-9.3 hashing