主页 / user-21891079

Joshua Shew's questions

Martin Hope
Joshua Shew
Asked: 2024-06-11 06:03:36 +0800 CST
  • 7

我正在 R 中进行内存密集型操作。我在这个网站上看到了一些关于增加内存限制的建议，R_MAX_VSIZE但我还没有找到关于可以输入哪些类型的值以及如何读取它们的明确解释。

环境变量接受/有效的格式是什么R_MAX_VSIZE？

以下是我目前发现的内容：

  1. R 基础文档 - 内存：可用于数据存储的内存

    最大向量堆大小可以通过环境变量设置R_MAX_VSIZE

    我在此帮助页面上找不到有关允许使用哪些值的更多信息。

  2. Graeme Frost在 MacOS 上对R 的回答错误：矢量内存耗尽（达到限制？）

    这个答案建议将值设置为“100Gb”。当我在自己的机器上遇到这个问题时，这实际上解决了我的问题，但还有其他答案表明其他值是有效的。

  3. Connor Dibble对错误的回答：向量内存耗尽（达到限制？）R 3.5.0 macOS

    这个答案设置的值export R_MAX_VSIZE=32000000000不包含单位，所以我假设它被解释为字节。

Martin Hope
Joshua Shew
Asked: 2024-03-15 22:59:44 +0800 CST
  • 10

我有一个没有标题行的大型 CSV 文件，并且标题可以作为向量提供给我。我想使用文件列的子集而不加载整个文件。所需列的子集作为单独的列表提供。

编辑：在这种情况下，标题列表中提供的列名称很重要。该 MRE 只有 4 个列名称，但该解决方案应该适用于具有预先指定列名称的大型数据集。问题是列名称仅在外部提供，而不是作为 CSV 文件中的标题。

1,2,3,4
5,6,7,8
9,10,11,12

header <- c("A", "B", "C", "D")
subset <- c("D", "B")

到目前为止，我一直以以下方式读取数据，这得到了我想要的结果，但首先加载整个文件。

# Setup

library(readr)

write.table(
  structure(list(V1 = c(1L, 5L, 9L), V2 = c(2L, 6L, 10L), V3 = c(3L, 7L, 11L), V4 = c(4L, 8L, 12L)), class = "data.frame", row.names = c(NA, -3L)),
  file="sample-data.csv",
  row.names=FALSE,
  col.names=FALSE,
  sep=","
)

header <- c("A", "B", "C", "D")
subset <- c("D", "B")

# Current approach

df1 <- read_csv(
  "sample-data.csv",
  col_names = header
)[subset]

df1

# A tibble: 3 × 2
      D     B
  <dbl> <dbl>
1     4     2
2     8     6
3    12    10

如何在不先加载整个文件的情况下获得相同的结果？

相关问题

Martin Hope
Joshua Shew
Asked: 2023-12-31 01:54:30 +0800 CST
  • 7

我有一个使用 Jupyter Notebook 文件进行数据分析的项目，我使用 clean/smudge 过滤器将输出和某些元数据保留在 git 之外。有时我会对过滤器进行调整，我希望自动应用这些更改，而不必git config每次都要求我的协作者运行命令。

如何配置过滤器来运行存储库跟踪的脚本？

出于此问题的目的，我们假设 clean 命令是如何在使用 git commit 时清除 Jupyter Notebook 的输出和元数据？:

jupyter nbconvert --ClearOutputPreprocessor.enabled=True --ClearMetadataPreprocessor.enabled=True --to=notebook --stdin --stdout --log-level=ERROR

这通常配置为...

git config filter.<filter-name>.clean "<command>"

...并与.gitattributes包含以下内容的 a 一起使用。

*.ipynb filter=<filter-name>

相关问题

git
Martin Hope
Joshua Shew
Asked: 2023-08-20 06:36:04 +0800 CST
  • 5

我下载了 SDK，因为我尝试在 Mac 上使用 LibreOffice Calc 的宏。我的宏正在运行，但我不确定此时如何处理 SDK 安装文件夹。SDK 文件夹当前位于我的“下载”文件夹中。请参阅下面我引用的文件夹的内容：

LibreOffice7.5_SDK
├── bin
├── classes
├── config.guess
├── config.sub
├── configure.pl
├── docs
├── examples
├── include
├── index.html
├── setsdkenv_unix
├── setsdkenv_unix.sh.in
├── settings
└── share
  • 可以转移到其他地方吗？
  • 可以删除吗？
  • 有没有它通常去的地方？

相关的SO问题LibreOffice SDK:How install and config LibreOffice SDK in mac对于这个问题没有帮助，因为它是关于安装过程中的错误，而不是关于安装后要做什么。

作为安装成功的确认，我的$HOME目录包含该setsdkenv_unix脚本。我按照LibreOffice 安装指南中的安装说明进行操作

libreoffice