AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题

问题[data-synchronization](dba)

Martin Hope
Sindu_
Asked: 2019-07-04 02:58:51 +0800 CST

将数据从时态表加载到 Azure 中的另一个时态表

  • 0

目前,我们只有一个实时数据库,所有数据都驻留在其中。我为开发创建了一个单独的 Azure 服务器和数据库。DEV DB 应该与 Live DB 保持同步,供开发人员使用。

Live DB 具有时间或系统版本表。我需要一个将实时时态表中的数据同步到 DEV 时态表的过程。它应该将 Live temporal 表中的 sysStartTime 和 sysEndTime 加载到 dev(不应在 DEV 中生成新的 sysStartTime 和 endTime)。

这样做的最佳方法是什么?

我已经尝试过 Azure 数据同步,但它不支持时态表。请帮忙。

sql-server data-synchronization
  • 1 个回答
  • 1041 Views
Martin Hope
Ahmad Tawila
Asked: 2018-04-21 08:07:21 +0800 CST

从许多 MySQL 服务器聚合大量数据

  • 1

我有 4 台 MySQL 服务器,每台服务器每天接收大约 400 万条记录。

在对聚合记录进行一些映射处理后,我需要将所有插入的记录聚合到另一个主服务器中。所以这个新服务器每天应该接收大约 1600 万条记录。

我还需要让这个操作尽可能实时,所以我在考虑每分钟左右运行一个脚本来进行同步。或者您可以建议一些其他同步工具或机制。

所以,可能的问题是:

  • MySQL 是每天 16-20 百万条记录的正确选择吗?或者我应该尝试其他东西(MongoDB、Elasticsearch 等)
  • 哪种工具/语言可以在此类任务中提供最佳性能?

谢谢你。

mysql data-synchronization
  • 2 个回答
  • 218 Views
Martin Hope
John
Asked: 2017-08-03 04:25:15 +0800 CST

Sql Server 的增量同步

  • 2

Sql Server的更改跟踪功能允许识别修改后的数据库副本的修改行。

这显然对同步作业有帮助,因为数据库随后可以增量同步。

我的问题是:是否有使用此功能实际进行增量同步的工具?

我知道

  • SSDT:可以同步,但据我所知对更改跟踪数据不感兴趣。
  • MS Sync Framework:是一个框架,我正在寻找一个应用程序。

我真的必须自己写点什么吗?

如果将源作为链接服务器引入,是否有一些很酷的 SQL 脚本可以做到这一点?

sql-server data-synchronization
  • 1 个回答
  • 1015 Views
Martin Hope
Vinicius Deschamps
Asked: 2017-04-25 07:01:30 +0800 CST

不同位置的 Azure SQL 数据库

  • 1

我正在使用 Azure 和 Azure SQL 部署 Sitecore 网站,其中一项要求是在不同的 Azure 区域中拥有一些数据库,但在其他数据库之间共享相同的数据。

例如: 1. Web 数据库将在美国东部和美国西部 2. Sitecore 网站也将在美国东部和美国西部 3. 美国东部的网站将指向东部数据库,美国西部的网站将指向西部数据库 4.数据库必须同步(有些滞后是可以接受的)

我查看了Azure SQL 数据同步,但看起来它处于预览模式,我想知道 Azure SQL 是否还有其他功能需要解决。尽管 Azure SQL 将会到位,但我还想知道本地 SQL 是否有类似的东西?

azure-sql-database data-synchronization
  • 2 个回答
  • 830 Views
Martin Hope
Emad Farrokhi
Asked: 2015-07-05 08:01:22 +0800 CST

在 SQL Server 中同步两个数据库

  • 17

我有两个 SQL Server 数据库。一个是客户端(Windows 应用程序),第二个是服务器。我想每隔一段时间(例如每 2 分钟!)同步这两个数据库。

我已经了解了不同的同步方式,例如复制、时间戳、使用触发器的日志表、Microsoft Sync Framework 等等。

实际上,我不喜欢使用可能是黑盒(如复制)的同步方法,因为我不希望在更新 SQL Server 特定表并将它们与服务器同步时被阻止。

  1. 在这种情况下,您认为我应该使用哪种方法?请记住,每隔几分钟我必须从客户端向服务器发送几个表更改,并从服务器获取两个表更改。

  2. 我发现了一种奇怪但新的方法。是否有可能我在客户端记录所有已执行的(针对特定首选的)存储过程,并将它们与.sql文件中的参数一起发送到服务器并在那里执行它们?服务器上也会发生同样的情况并发送到客户端。你认为这是一个简单而有用的方法吗?

  3. 如果可以的话,请向我推荐任何有用的方法。太感谢了。

编辑:请记住,这是一个实时同步,这使它变得特别。这意味着当客户端用户使用表时,与服务器的同步过程必须每隔几分钟发生一次,因此不必锁定任何表。

sql-server data-synchronization
  • 5 个回答
  • 80735 Views
Martin Hope
Harshit
Asked: 2015-07-02 20:13:20 +0800 CST

Oracle 11g 同步备用数据库

  • 1

目前,我通过将归档日志从主服务器复制到辅助服务器来同步备用数据库与主数据库。我每天都做这个活动。我听说有可用的自动化流程。

但问题是,主数据损坏,然后将相同的数据复制到辅助备用数据库。这将使备用数据库毫无用处。

有没有什么自动化的方法可以让主库中没有损坏的数据同步到备库?

谢谢

oracle-11g-r2 data-synchronization
  • 1 个回答
  • 870 Views
Martin Hope
user2710961
Asked: 2015-04-04 02:04:04 +0800 CST

在从 MongoDB 中的主服务器初始重新同步后,辅助设备中的数据大小超过了主服务器

  • 0

我退出主节点,删除其数据并从新的主节点执行初始重新同步。但是当我在初始重新同步完成后检查数据大小时,我发现该节点中的数据大小为409G,而该节点同步其数据的其他节点中的数据大小为326G。因此,在重新同步后大小增加了 83G。

早些时候我也做过这样的初始重新同步,每次我发现重新同步后数据的大小都会减少。但在这种情况下恰恰相反。

最近我把cluster的版本从2.4.9升级到了2.6.7。这是我在版本升级后的第一次初始重新同步。大小的增加也是因为​​新的 MongoDB 版本。相同的数据在 2.6 版本中是否比在 2.4 版本中占用更多的存储空间?

mongodb data-synchronization
  • 1 个回答
  • 455 Views
Martin Hope
cheeseandpepper
Asked: 2015-03-04 09:23:17 +0800 CST

我应该使用什么 postgres 同步解决方案来复制生产,但从另一个应用程序读取它?

  • 0

我对当前的问题有点不适应,但我正在寻找满足以下条件的解决方案:

  • 我的生产数据库像现在一样读写
  • 我的生产应用程序还将所有内容写入第二个远程数据库
  • 对第二个数据库的写入频繁且接近实时
  • 我有一个单独的应用程序可以从第二个数据库中读取

两个应用都是rails,主应用/数据库是产品。第二个应用程序是一个自定义构建的分析服务,它只从第二个数据库中读取。

哪些 postgres 解决方案可以支持这些要求?谢谢。

postgresql data-synchronization
  • 1 个回答
  • 100 Views
Martin Hope
mtn.biker
Asked: 2014-08-27 08:10:20 +0800 CST

SymmetricDS 不在主键上使用查找转换

  • 0

我正在使用 SymmetricDS 在两个 MySQL 数据库之间同步记录,但需要保持主键 (fieldname = "id") 字段的唯一性。Symmetric 似乎不想遵守“查找”transform_type - 它似乎总是将源表 ID“复制”到目标表 ID 字段(以及目标表中的“masterId”字段)。

两个表都有一个 id 字段是 AUTO-INCREMENT(但两个表中的记录数不同)。

我希望将“内部”帐户表记录复制到“外部”帐户表,并将“内部”ID 复制到“外部”masterId 字段。然后,我希望“外部”帐户 ID 字段由“外部”ID AUTO-INCREMENT 值自动填充。我已将此 sym_transform_table.column_policy 定义为“IMPLIED”,这意味着复制所有字段,除非定义了特定的 sym_transform_column 转换。我已经为“id”字段定义了一个转换(I/U/D 的不同转换)。

但结果总是“内部”id 被复制到“外部”id 字段以及“外部”masterId 字段。

如何使用它自己的 AUTO-INCREMENT 值而不是源表 ID 值来填充“外部”ID?

以下是相关的转换定义:

-- Transform Tables:
INSERT INTO sym_transform_table (transform_id, source_node_group_id, target_node_group_id, transform_point, source_table_name, target_table_name, update_first, delete_action, transform_order, column_policy, create_time, last_update_time )
VALUES
('int2ext_accounts_trans', 'crminternal', 'crmexternal', 'EXTRACT', 'x2_accounts', 'x2_accounts', 1, 'DEL_ROW', 1, 'IMPLIED', current_timestamp, current_timestamp),
('ext2int_accounts_trans', 'crmexternal', 'crminternal', 'EXTRACT', 'x2_accounts', 'x2_accounts', 1, 'DEL_ROW', 2, 'IMPLIED', current_timestamp, current_timestamp);

-- Transform Columns:    
INSERT INTO sym_transform_column(transform_id, include_on, target_column_name, source_column_name, pk, transform_type, transform_expression, transform_order, create_time, last_update_time)
VALUES
('int2ext_accounts_trans', 'I', 'id', null, 0, 'lookup', 'SELECT MAX(id) + 1 FROM mwstage_x2ext.x2_accounts;', 1, current_timestamp, current_timestamp),
('int2ext_accounts_trans', 'U', 'id', 'id', 0, 'copy', null, 1, current_timestamp, current_timestamp),
('int2ext_accounts_trans', 'D', 'id', 'id', 0, 'copy', null, 1, current_timestamp, current_timestamp),
('int2ext_accounts_trans', '*', 'masterId', 'id', 0, 'copy', null, 2, current_timestamp, current_timestamp),
('int2ext_accounts_trans', '*', 'nameId', 'nameId', 1, 'copy', null, 3, current_timestamp, current_timestamp),
('ext2int_accounts_trans', 'I', 'id', null, 0, 'remove', null, 1, current_timestamp, current_timestamp),
('ext2int_accounts_trans', 'U', 'id', 'masterId', 0, 'copy', null, 1, current_timestamp, current_timestamp),
('ext2int_accounts_trans', 'D', 'id', 'masterId', 0, 'copy', null, 1, current_timestamp, current_timestamp),
('ext2int_accounts_trans', '*', 'nameId', 'nameId', 1, 'copy', null, 2, current_timestamp, current_timestamp);

SymmetricDS 变换表:

CREATE TABLE `sym_transform_table` (
  `transform_id` varchar(50) NOT NULL,
  `source_node_group_id` varchar(50) NOT NULL,
  `target_node_group_id` varchar(50) NOT NULL,
  `transform_point` varchar(10) NOT NULL,
  `source_catalog_name` varchar(255) DEFAULT NULL,
  `source_schema_name` varchar(255) DEFAULT NULL,
  `source_table_name` varchar(255) NOT NULL,
  `target_catalog_name` varchar(255) DEFAULT NULL,
  `target_schema_name` varchar(255) DEFAULT NULL,
  `target_table_name` varchar(255) DEFAULT NULL,
  `update_first` smallint(6) DEFAULT '0',
  `delete_action` varchar(10) NOT NULL,
  `transform_order` int(11) NOT NULL DEFAULT '1',
  `column_policy` varchar(10) NOT NULL DEFAULT 'SPECIFIED',
  `create_time` datetime DEFAULT NULL,
  `last_update_by` varchar(50) DEFAULT NULL,
  `last_update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`transform_id`,`source_node_group_id`,`target_node_group_id`),
  KEY `sym_fk_tt_2_grp_lnk` (`source_node_group_id`,`target_node_group_id`),
  CONSTRAINT `sym_fk_tt_2_grp_lnk` FOREIGN KEY (`source_node_group_id`, `target_node_group_id`) REFERENCES `sym_node_group_link` (`source_node_group_id`, `target_node_group_id`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1

SymmetricDS 变换表:

CREATE TABLE `sym_transform_column` (
  `transform_id` varchar(50) NOT NULL,
  `include_on` char(1) NOT NULL DEFAULT ''*'',
  `target_column_name` varchar(128) NOT NULL,
  `source_column_name` varchar(128) DEFAULT NULL,
  `pk` smallint(6) DEFAULT ''0'',
  `transform_type` varchar(50) DEFAULT ''copy'',
  `transform_expression` mediumtext,
  `transform_order` int(11) NOT NULL DEFAULT ''1'',
  `create_time` datetime DEFAULT NULL,
  `last_update_by` varchar(50) DEFAULT NULL,
  `last_update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`transform_id`,`include_on`,`target_column_name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1
mysql data-synchronization
  • 1 个回答
  • 1055 Views
Martin Hope
Ramalho
Asked: 2014-06-27 15:58:10 +0800 CST

保持银行交易同步

  • 0

我指望你在这方面的专业知识,我正在开发一个银行交易历史记录器。我的问题是,报废应该定期进行,银行不为每笔交易提供任何唯一标识字段,因此我需要找到一种不导入已导入数据的方法。如果不存在,我不能贪婪地导入,因为异常值可能会破坏应用程序的可靠性:

1) "01-01-2014", "ABCDEFG", "+100,00", "+1024,56"
2) "01-01-2014", "ABCDEFG", "-57,00", "+967,56"
3) "01-01-2014", "ABCDEFG", "-43,00", "+924,56"
4) "01-01-2014", "ABCDEFG", "+100",   "+1024,56"

这里第一个和第四个是不同的操作,它们都应该导入到数据库中。我可能正在寻找一种考虑到整个导入数据序列的解决方案。关于如何可能有效地实现这一点的任何想法?!我正在使用 postgresql,这是我表的 DDL:

CREATE TABLE "extrato" (
    "extrato_id"  VARCHAR(4) PRIMARY KEY,
    "linha"    INTEGER NOT NULL
);

CREATE SEQUENCE linha_extrato_seq;

CREATE TABLE "linha_extrato" (
    "linha_id" INTEGER PRIMARY KEY DEFAULT nextval('linha_extrato_seq'),
    "dt_mov" DATE NOT NULL,
    "dt_val" DATE NOT NULL,
    "descricao" VARCHAR(60) NOT NULL,
    "quantia" NUMERIC(10,2) NOT NULL,
    "saldo" NUMERIC(10,2) NOT NULL,
);
ALTER SEQUENCE linha_extrato_seq OWNED BY linha_extrato.id;

正如 Craig Ringer 所说,缺少时间戳字段或唯一标识可能会破坏应用程序的可靠性,因此我正在尽我所能来减轻我拥有的“不完整”数据的影响。一个重要的细节是同步过程要经常进行,假设最后一次同步是在第 1 天,那么第二次同步将考虑从第 1 天开始往后的交易,因此如果存在则重叠总是发生在最后一次同步日期。

到目前为止,我对以下过程很难:

FOR first_row to last_row in to_insert
    IF !exists(cur_row)
        insert([cur_row,remaining_rows]);
        break;
    END IF
END FOR

这可以在 PL/pgSQL 中实现吗?我可以将一组插入作为一个独特的操作来处理吗?

postgresql data-synchronization
  • 1 个回答
  • 273 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve