AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 4943
Accepted
Razvan Popovici
Razvan Popovici
Asked: 2011-08-23 14:15:50 +0800 CST2011-08-23 14:15:50 +0800 CST 2011-08-23 14:15:50 +0800 CST

太字节数据集

  • 772

我有一种感觉,大多数数据库系统起源于 80 年代,并且刻板地实现表、ACID 事务和约束。它们的构建考虑到了内存、磁盘和处理能力的匮乏。

我想知道是否有任何存储系统(不需要通过 SQL 访问)能够处理以下内容:

  • 图(查询 la SPARQL)。
  • 矩阵(n 维)也很稀疏。支持简单的矩阵算法,如 SVD、聚类。
  • 对不连续变化的大(TB 大小)数据进行有效管理;这种变化每天都在发生。
  • 使用大型磁盘系统(14TB 的 RAID5 现在不到 1500 美元)。这意味着,更多空间用于索引、预先计算的结果等。
  • 利用 GPU/多核/处理器/节点,进行大型查询和索引。

我知道大部分项目都在某个地方实现(Apache Cassandra、SPARQL、Netezza、Exadata),但我不知道任何可以实现所有项目的产品。

performance graph
  • 1 1 个回答
  • 787 Views

1 个回答

  • Voted
  1. Best Answer
    Richard
    2011-08-24T04:49:18+08:002011-08-24T04:49:18+08:00

    我认为其中很多项目都非常接近(或更远)。

    例如,SPARQL 是我认为不会很快纳入数据库的东西。我见过的最接近的是SDB,它是一个处理 SPARQL 并将其发送到标准数据库的接口。

    此外,将 GPU 用作通用处理器仍然是一种革命性的事情。它在数据库世界中还没有完全流行起来。现阶段还停留在学术界和理论界。

    只有一个小组(我能找到)正在开发一个数据库以利用 GPU。 Alenka是一个开源项目,但仍处于开发阶段。

    此外,即将出现一种名为GPUTeraSort的新排序算法。但是(作为一种算法),我不知道目前有任何特定的数据库使用它。

    最后,还有一个站点GPGPU,用于在 GPU 上进行通用计算,您可能需要关注该站点。随着使用 GPU 的数据库出现,这将是报告它的站点。

    综上所述,使用多核或多处理器几乎是现状。SQL Server、MySQL、Oracle——所有主要数据库都使用多线程。


    最终,您所要求的项目是目前远远超出数据库世界的东西。

    您也可以尝试在 StackOverflow 上交叉发布此内容,因为他们可能对如何使用图形、SPARQL、GPU 增强功能等处理 TB 级数据有一些想法。但是,他们的回答可能是这样的,“是的,你可以做到,但这将是一个巨大的定制系统。”

    • 5

相关问题

  • 使用存储过程处理数据与在检索后将其输入函数相比是否有性能提升?

  • 您如何针对繁重的 InnoDB 工作负载调整 MySQL?

  • 如何确定是否需要或需要索引

  • 我在哪里可以找到mysql慢日志?

  • 如何优化大型数据库的 mysqldump?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    您如何显示在 Oracle 数据库上执行的 SQL?

    • 2 个回答
  • Marko Smith

    如何选择每组的第一行?

    • 6 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    我可以查看在 SQL Server 数据库上运行的历史查询吗?

    • 6 个回答
  • Marko Smith

    如何在 PostgreSQL 中使用 currval() 来获取最后插入的 id?

    • 10 个回答
  • Marko Smith

    如何在 Mac OS X 上运行 psql?

    • 11 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Marko Smith

    将数组参数传递给存储过程

    • 12 个回答
  • Martin Hope
    Manuel Leduc PostgreSQL 多列唯一约束和 NULL 值 2011-12-28 01:10:21 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Stuart Blackler 什么时候应该将主键声明为非聚集的? 2011-11-11 13:31:59 +0800 CST
  • Martin Hope
    pedrosanta 使用 psql 列出数据库权限 2011-08-04 11:01:21 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST
  • Martin Hope
    BrunoLM Guid vs INT - 哪个更好作为主键? 2011-01-05 23:46:34 +0800 CST
  • Martin Hope
    bernd_k 什么时候应该使用唯一约束而不是唯一索引? 2011-01-05 02:32:27 +0800 CST
  • Martin Hope
    Patrick 如何优化大型数据库的 mysqldump? 2011-01-04 13:13:48 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve