AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 234890
Accepted
Optic_Ray
Optic_Ray
Asked: 2019-04-17 01:52:10 +0800 CST2019-04-17 01:52:10 +0800 CST 2019-04-17 01:52:10 +0800 CST

如何在不覆盖整个文件的情况下将表中特定单元格上的数据库操作(写入、更新、更改)写入磁盘?

  • 772

当我想使用 python 写入或更改 excel 文件/表的特定单元格时,我将使用 pandas read_csv 然后更改特定单元格中的值并使用 to_csv 写回文件。但是写回文件似乎是用仅在单个单元格中不同的文件的更新版本覆盖整个文件。当我在万亿行和万亿列的表中更改一个或两个单元格时,这是一个问题。

当我们在数万亿个表中的单个单元格上进行写入/更改数据库操作(如在 SQL 中)时,它似乎是在磁盘中仅对已修改的单元格进行更改,而不是覆盖整个文件。

数据库如何促进仅写入/更新磁盘表中的特定单元格而不是覆盖整个文件?

顺便说一句,我没有使用 SQL 数据库,因为我的表包含数字列名,而 SQL 不支持它。如果您知道任何支持数值作为列名的 SQL/NOSQL 数据库,请告诉我。

sql-server database-recommendation
  • 1 1 个回答
  • 882 Views

1 个回答

  • Voted
  1. Best Answer
    Phill W.
    2019-04-17T02:59:03+08:002019-04-17T02:59:03+08:00

    关于数据库的一个非常普遍的误解可以通过以下方式消除:

        Database != File 
    

    当您更新数据库中的行时,根本不会触及磁盘上的基础数据文件- 至少在“一段时间”内不会。相反,数据库会在其事务日志中记录更改,然后更新内存中的值。“一段时间”之后,数据库可能会需要那部分内存来做其他事情,并将更改的值写入磁盘。这种情况发生的频率以及一次写入的内存块的大小因 DBMS 而异。

    数据库中的数据存储以Pages为单位,每个 Pages 可以包含多个 Rows;那些构成你和我玩的桌子的东西。当数据库需要一些数据时,它会计算出该数据在其数据文件中的位置,然后仅将那些相关的页面加载到其缓冲区缓存(内存)中。这就是为什么某些查询在您第一次运行时运行缓慢,但之后却快如闪电 - 从缓存中一遍又一遍地提供相同的页面比从磁盘上的数据文件中提取它要快得多。

    ...我没有使用 SQL 数据库,因为我的表包含数字列名...

    这是关于数据库的另一个误解,再次很容易消除:

        Database != SpreadSheet 
    

    刚开始时,您在数据库中构建数据的方式可能看起来很“陌生”;您似乎需要使用“复杂”、“人工”构造,而不仅仅是数据的“行”和“列”。但是,一旦您了解了为什么需要这些结构以及它们赋予您的数据处理能力,您就会很快克服它。

    ... 操作 ... 在逐万亿表中的单个单元格上 ...

    你真的对万亿逐万亿表中的每一个值都有一个有用的值吗?就个人而言,我会怀疑,除非你为谷歌工作。

    我建议你实际上拥有的是一个稀疏数组,其中你的“洞”比数据多。这是关系表可以非常轻松且非常有效地支持的结构。

    • 14

相关问题

  • 推荐使用哪些数据库作为嵌入式数据库?

  • 我需要为每种类型的查询使用单独的索引,还是一个多列索引可以工作?

  • 什么时候应该使用唯一约束而不是唯一索引?

  • 死锁的主要原因是什么,可以预防吗?

  • 如何确定是否需要或需要索引

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve