Joshua Shew's questions

Estou trabalhando em operações com uso intensivo de memória em R. Vi alguns conselhos neste site sobre como aumentar o limite de memória, R_MAX_VSIZEmas não encontrei uma explicação clara sobre exatamente quais tipos de valores podem ser inseridos e como eles são lidos.

Quais formatos são aceitos/válidos para a R_MAX_VSIZEvariável de ambiente?

Aqui está o que descobri até agora:

1. Documentação base R - Memória: Memória disponível para armazenamento de dados

   O tamanho máximo do heap vetorial pode ser definido com a variável de ambienteR_MAX_VSIZE

   Não consigo encontrar informações adicionais sobre quais valores são permitidos nesta página de ajuda.

2. Resposta de Graeme Frost ao R no MacOS Erro: memória vetorial esgotada (limite atingido?)

   Esta resposta sugere definir o valor como "100Gb". Quando encontrei o problema em minha máquina, isso realmente resolveu meu problema, mas há outras respostas que indicam que outros valores são válidos.

3. Resposta de Connor Dibble ao erro: memória vetorial esgotada (limite atingido?) R 3.5.0 macOS

   Esta resposta define o valor export R_MAX_VSIZE=32000000000which não inclui as unidades, então presumo que esteja sendo interpretado como bytes.

Eu tenho um arquivo CSV grande sem uma linha de cabeçalho e o cabeçalho está disponível como um vetor. Quero usar um subconjunto das colunas do arquivo sem carregar o arquivo inteiro. O subconjunto de colunas necessárias é fornecido como uma lista separada.

Editar: neste caso, os nomes das colunas fornecidos na lista de cabeçalho são importantes. Este MRE possui apenas 4 nomes de colunas, mas a solução deve funcionar para um grande conjunto de dados com nomes de colunas pré-especificados. O problema é que os nomes das colunas são fornecidos apenas externamente, não como um cabeçalho no arquivo CSV.

1,2,3,4
5,6,7,8
9,10,11,12

header <- c("A", "B", "C", "D")
subset <- c("D", "B")

Até agora, tenho lido os dados da seguinte maneira, o que me dá o resultado desejado, mas carrego o arquivo inteiro primeiro.

# Setup

library(readr)

write.table(
  structure(list(V1 = c(1L, 5L, 9L), V2 = c(2L, 6L, 10L), V3 = c(3L, 7L, 11L), V4 = c(4L, 8L, 12L)), class = "data.frame", row.names = c(NA, -3L)),
  file="sample-data.csv",
  row.names=FALSE,
  col.names=FALSE,
  sep=","
)

header <- c("A", "B", "C", "D")
subset <- c("D", "B")

# Current approach

df1 <- read_csv(
  "sample-data.csv",
  col_names = header
)[subset]

df1

# A tibble: 3 × 2
      D     B
  <dbl> <dbl>
1     4     2
2     8     6
3    12    10

Como posso obter o mesmo resultado sem carregar primeiro o arquivo inteiro?

Perguntas relacionadas

• Somente a leitura de colunas selecionadas inclui o cabeçalho na primeira linha.
• Maneiras de ler apenas colunas selecionadas de um arquivo em R? (Um meio-termo entre read.tablee scan?) [duplicado] não especifica nomes de colunas fora do arquivo e as respostas não se aplicam a esta situação.
• como pular a leitura de certas colunas em readr [duplicado] é diferente porque parece ser sobre pular uma primeira coluna desconhecida e ler uma segunda e terceira colunas conhecidas em vários arquivos. Os tipos de dados não são necessariamente conhecidos antecipadamente nesta questão.
• Existe uma maneira de omitir a primeira coluna ao ler um csv [duplicado] : a coluna é ignorada com base na posição, não na posição em uma lista fornecida externamente de nomes de colunas.

Eu tenho um projeto que usa arquivos do Jupyter Notebook para análise de dados e mantenho a saída e alguns metadados fora do git com um filtro limpo/manchado. Às vezes, farei ajustes no filtro e quero que essas alterações sejam aplicadas automaticamente, em vez de ter que pedir aos meus colaboradores para executarem um git configcomando a cada vez.

Como posso configurar o filtro para executar scripts rastreados pelo repositório?

Para o propósito desta questão, vamos supor que o comando clean seja aquele de Como limpar a saída e os metadados do Jupyter Notebook ao usar o git commit? :

jupyter nbconvert --ClearOutputPreprocessor.enabled=True --ClearMetadataPreprocessor.enabled=True --to=notebook --stdin --stdout --log-level=ERROR

Isso normalmente é configurado como ...

git config filter.<filter-name>.clean "<command>"

...e usado com um .gitattributesque inclui o seguinte.

*.ipynb filter=<filter-name>

Perguntas relacionadas

• .gitattributes borrar e limpar filtros como parte do repositório está próximo, mas relacionado à configuração de filtros git cloneem vez de rastrear alterações no filtro com o repositório
• Como posso rastrear arquivos de configuração específicos do sistema em um repositório/projeto? é uma questão mais geral sobre o rastreamento de qualquer arquivo de configuração em um repositório, sem abordar as especificidades desta questão.
• Quais são os riscos de segurança ao permitir a configuração de filtros de manchas e limpeza com git clone é sobre a configuração de um filtro em git clone, não sobre a configuração de um filtro após a clonagem que usa um script no repositório.

Baixei o SDK porque estava tentando usar macros para o LibreOffice Calc em um Mac. Minhas macros estão funcionando, mas não tenho certeza do que fazer com a pasta de instalação do SDK neste momento. A pasta SDK está atualmente na minha pasta Downloads. Veja abaixo o conteúdo da pasta a que me refiro:

LibreOffice7.5_SDK
├── bin
├── classes
├── config.guess
├── config.sub
├── configure.pl
├── docs
├── examples
├── include
├── index.html
├── setsdkenv_unix
├── setsdkenv_unix.sh.in
├── settings
└── share

• Ele pode ser movido para outro lugar?
• Pode ser deletado?
• Existe um lugar onde ele normalmente vai?

Uma pergunta SO relacionada, SDK do LibreOffice:Como instalar e configurar o SDK do LibreOffice no mac , não é útil para esta pergunta porque é sobre um erro no processo de instalação, não sobre o que fazer após a instalação.

Como confirmação de uma instalação bem-sucedida, meu $HOMEdiretório contém o setsdkenv_unixscript. Estou seguindo as instruções de instalação no Guia de instalação do LibreOffice