操作系统缓存也不能保证持久性,除非您flush在 Linux 中调用或在 Windows 中请求无缓冲的 I/O。为了保证一致性和 ACID 属性,数据库需要更好地控制数据何时在磁盘上以及何时被缓存。因此,使用同步缓冲 I/O 几乎没有什么好处。
此外,大多数操作系统缓存的实现相对较差。Windows 文件系统缓存仅在 Windows 2008 左右获得了非常好的 NUMA 样式规模支持,而 Linux 在高内核数下的文件系统性能仍然很差。FreeBSD 甚至不知道 NUMA 是什么。由于数据库需要在非常大的服务器上运行(在某些情况下多达 32 个 CPU 插槽),数据库供应商通常会实现自己的缓存数据结构,这些结构比操作系统默认提供的更具可扩展性。
数据库通常自己实现许多操作系统风格的功能。在高层次上,这样做是为了提高性能和可扩展性。
举几个例子:
操作系统文件缓存是通用的、最不常用的样式缓存。数据库需要更好地控制什么进入缓存,什么不进入缓存。例如,当您为查询计算哈希表时,您希望在查询运行时赋予它们优于文件数据的优先级(引入一些新文件数据比将哈希表分页更便宜)。数据库还需要非常小心地控制内存分配器以避免堆碎片化。大多数操作系统根本无法胜任处理数据库所需的高速分配的任务,并且数据库通常会实现自己的内存管理器,专门为数据库引擎构建。
操作系统缓存也不能保证持久性,除非您
flush
在 Linux 中调用或在 Windows 中请求无缓冲的 I/O。为了保证一致性和 ACID 属性,数据库需要更好地控制数据何时在磁盘上以及何时被缓存。因此,使用同步缓冲 I/O 几乎没有什么好处。此外,大多数操作系统缓存的实现相对较差。Windows 文件系统缓存仅在 Windows 2008 左右获得了非常好的 NUMA 样式规模支持,而 Linux 在高内核数下的文件系统性能仍然很差。FreeBSD 甚至不知道 NUMA 是什么。由于数据库需要在非常大的服务器上运行(在某些情况下多达 32 个 CPU 插槽),数据库供应商通常会实现自己的缓存数据结构,这些结构比操作系统默认提供的更具可扩展性。
最后但同样重要的是:数据库非常需要 I/O,并且可以比典型的文件服务器更努力地驱动文件系统。依赖传统的同步 I/O 对于大多数数据库来说太慢了,他们转而使用积极的、核心关联的异步 I/O 完成来扩大规模。数据库的 I/O 子系统往往比标准操作系统提供的更先进。
通常,您会发现在数据库源代码中对机器资源的控制比在操作系统内核中要高级得多。事实上,大多数高级数据库都实现了自己的用户空间内核,以避免使用操作系统内核原语。如果您看到数据库执行大量内核转换,请开始寻找更好的产品。
好问题!