AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / user-115368

Paul's questions

Martin Hope
Paul
Asked: 2017-01-19 14:46:33 +0800 CST

我应该使用 UUID 还是整数主键来优化关系数据的大量写入?

  • 1

我正在研究计算机视觉数据管道,但不确定如何构建我的数据库以优化写入。

我有大量的图像数据正在持续收集。图像帧用于构建 1-3 秒的视频剪辑,这些剪辑将由远程工作人员进行标记。工作人员使用各种属性(剪辑是否包含对象 x?)标记每个剪辑(使用我构建的 Web 应用程序)。

我当前的管道生成视频剪辑并将它们发送到 S3。Amazon Aurora(兼容 MySQL)数据库用于跟踪每个图像帧、剪辑和相关标签。

“帧”表包含每个图像帧的条目,以及相关的元数据。

“剪辑”表包含每个剪辑的条目,具有字段“start_frame_id”,它是定义给定剪辑中“帧”表中的第一帧的外键。远程工作人员从 S3 访问关联的剪辑,使用剪辑的 sha256 哈希作为键。

'labels' 表包含一个工作人员创建的每个标签的条目,并且与 'clips' 表相关。

“剪辑”和“帧”表都包含原始文件的 sha256 哈希。

该数据库需要针对写入进行大量优化,因为帧和剪辑的数量将非常庞大(每天将添加大约 500K 帧,剪辑为 20fps)。所有到 S3 的上传和对数据库的写入都是从本地机器完成的。

我构建的原型使用自动递增整数作为主键。但是,这需要客户端以小块执行数据库写入。由于每个剪辑都需要引用其起始帧,因此在提交剪辑之前,我必须提交给定剪辑的所有帧以获得第一帧的主键。此解决方案还使得以后添加仅插入写入副本变得棘手/不可能。出于这个原因,我正在讨论使用 UUID 而不是整数,但我知道这会导致连接的性能问题。

我应该使用 UUID 还是整数?

mysql aurora
  • 1 个回答
  • 1880 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve