AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / coding / Perguntas / 79563376
Accepted
Kevin
Kevin
Asked: 2025-04-09 11:00:48 +0800 CST2025-04-09 11:00:48 +0800 CST 2025-04-09 11:00:48 +0800 CST

Conexões com falha no MariaDB ao executar um processo em paralelo

  • 772

Estou tentando processar cerca de 30 mil códigos/registros de um banco de dados em paralelo no R usando os pacotes doParallel e foreach. Já fiz isso em outros aplicativos usando um banco de dados SQLite e um banco de dados SQL Server. O banco de dados que estou tentando usar agora é o MariaDB e ele está sendo executado localmente no meu computador com Windows 11. No entanto, durante o loop, cerca de 3.500 das tentativas de conexão com o banco de dados falham. A falha ocorre ao executar a função "dbConnect". Esta é a mensagem de erro:

Falha na conexão: Não é possível conectar ao servidor em 'localhost' (10048)

library(data.table)
library(foreach)
library(RMariaDB)
library(doParallel)

cl<-makeCluster(6)
registerDoParallel(cl)
results <- foreach(i=1:length(cds),.packages=c('data.table','RMariaDB'),.errorhandling="pass") %dopar% {

  dbCon <- dbConnect(RMariaDB::MariaDB(), user=dbuser, password=dbpwd, dbname=databasename)

  #run queries, do calculations, etc.
  
  dbDisconnect(dbCon)
  return(dtset)
}
stopCluster(cl)

Posso adicionar um TryCatch que pausa por alguns segundos após uma falha antes de tentar novamente, e ele será concluído sem erros.

library(data.table)
library(foreach)
library(RMariaDB)
library(doParallel)

cl<-makeCluster(6)
registerDoParallel(cl)
results <- foreach(i=1:length(cds),.packages=c('data.table','RMariaDB'),.errorhandling="pass") %dopar% {

      j <- 0
      cont <- TRUE
      while(cont==TRUE) {
        fRet <- tryCatch({
          dbCon <- dbConnect(RMariaDB::MariaDB(), user=dbuser, password=dbpwd, dbname=databasename)
          iRet <- 0
        },
        error = function(err) {
          return(err)
        })
        if("error" %in% class(fRet) & j<5) {
          Sys.sleep(1 + 3*j)
          j <- j + 1
        } else {
          cont <- FALSE
        }
      }
  #run queries, do calculations, etc.
  
  dbDisconnect(dbCon)
  return(dtset)
}
stopCluster(cl)

A solução TryCatch funciona temporariamente (retarda a execução), mas deve haver uma maneira melhor. Há alguma configuração que precise ser ajustada no banco de dados?

  1. max_connections está definido como 150, então não acho que seja esse o problema. (Há uma mensagem de erro diferente que é retornada quando excedo o máximo de conexões.)
  2. Também tentei ajustar thread_pool_size de 32 para 64 e isso não ajudou.
  3. Tenho uma CPU de 16 núcleos (32 threads) e 128 GB de RAM, então duvido que seja esse o problema. Recebo o mesmo número de erros independentemente de executar usando 24 núcleos ou algo como 2 ou 4. Se eu executar o código usando "%do%" em vez de "%dopar%", de modo que ele use apenas 1 núcleo e não seja executado em paralelo, ele será concluído sem erros.

Qualquer ajuda será apreciada!

mariadb
  • 1 1 respostas
  • 31 Views

1 respostas

  • Voted
  1. Best Answer
    Vladislav Vaintroub
    2025-04-09T15:51:50+08:002025-04-09T15:51:50+08:00

    O erro 10048 (WSAEADDRINUSE, "Endereço já em uso" ) é uma forte indicação de que você esgotou as portas TCP efêmeras.

    netstat -ano
    

    dará uma visão geral, e aposto que há um grande número de conexões no TIME_WAITestado. Isso acontece se você criar e encerrar conexões TCP rapidamente.

    Tente usar o pool de conexões ou simplesmente reutilize suas conexões. Se não conseguir, tente usar conexões de pipe nomeadas e, se não conseguir, diminua TcpTimedWaitDelayconforme descrito aqui

    • 1

relate perguntas

  • `ddev import-db` - Erro: Comando desconhecido '\-'

  • Valor de incremento automático para coluna de chave não primária

  • Erro desconhecido no mariadb com procedimento armazenado

  • Reordenar a tabela MariaDB para ascendente

  • Os gatilhos não funcionam conforme o esperado para colunas SET no mariadb

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Reformatar números, inserindo separadores em posições fixas

    • 6 respostas
  • Marko Smith

    Por que os conceitos do C++20 causam erros de restrição cíclica, enquanto o SFINAE antigo não?

    • 2 respostas
  • Marko Smith

    Problema com extensão desinstalada automaticamente do VScode (tema Material)

    • 2 respostas
  • Marko Smith

    Vue 3: Erro na criação "Identificador esperado, mas encontrado 'import'" [duplicado]

    • 1 respostas
  • Marko Smith

    Qual é o propósito de `enum class` com um tipo subjacente especificado, mas sem enumeradores?

    • 1 respostas
  • Marko Smith

    Como faço para corrigir um erro MODULE_NOT_FOUND para um módulo que não importei manualmente?

    • 6 respostas
  • Marko Smith

    `(expression, lvalue) = rvalue` é uma atribuição válida em C ou C++? Por que alguns compiladores aceitam/rejeitam isso?

    • 3 respostas
  • Marko Smith

    Um programa vazio que não faz nada em C++ precisa de um heap de 204 KB, mas não em C

    • 1 respostas
  • Marko Smith

    PowerBI atualmente quebrado com BigQuery: problema de driver Simba com atualização do Windows

    • 2 respostas
  • Marko Smith

    AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos

    • 1 respostas
  • Martin Hope
    Fantastic Mr Fox Somente o tipo copiável não é aceito na implementação std::vector do MSVC 2025-04-23 06:40:49 +0800 CST
  • Martin Hope
    Howard Hinnant Encontre o próximo dia da semana usando o cronógrafo 2025-04-21 08:30:25 +0800 CST
  • Martin Hope
    Fedor O inicializador de membro do construtor pode incluir a inicialização de outro membro? 2025-04-15 01:01:44 +0800 CST
  • Martin Hope
    Petr Filipský Por que os conceitos do C++20 causam erros de restrição cíclica, enquanto o SFINAE antigo não? 2025-03-23 21:39:40 +0800 CST
  • Martin Hope
    Catskul O C++20 mudou para permitir a conversão de `type(&)[N]` de matriz de limites conhecidos para `type(&)[]` de matriz de limites desconhecidos? 2025-03-04 06:57:53 +0800 CST
  • Martin Hope
    Stefan Pochmann Como/por que {2,3,10} e {x,3,10} com x=2 são ordenados de forma diferente? 2025-01-13 23:24:07 +0800 CST
  • Martin Hope
    Chad Feller O ponto e vírgula agora é opcional em condicionais bash com [[ .. ]] na versão 5.2? 2024-10-21 05:50:33 +0800 CST
  • Martin Hope
    Wrench Por que um traço duplo (--) faz com que esta cláusula MariaDB seja avaliada como verdadeira? 2024-05-05 13:37:20 +0800 CST
  • Martin Hope
    Waket Zheng Por que `dict(id=1, **{'id': 2})` às vezes gera `KeyError: 'id'` em vez de um TypeError? 2024-05-04 14:19:19 +0800 CST
  • Martin Hope
    user924 AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos 2024-03-20 03:12:31 +0800 CST

Hot tag

python javascript c++ c# java typescript sql reactjs html

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve