主页 / user-8491997

Kevin's questions

Martin Hope
Kevin
Asked: 2025-04-09 11:00:48 +0800 CST
  • 5

我正在尝试使用 R 中的 doParallel 和 foreach 包并行处理数据库中大约 3 万条代码/记录。我在其他应用程序中使用 SQLite 数据库和 SQL Server 数据库也做过类似的操作。我现在尝试使用的数据库是 MariaDB，它在我的 Windows 11 电脑上本地运行。然而，当我循环执行大约 3500 次连接数据库的尝试时，却失败了。失败发生在运行“dbConnect”函数时。错误信息如下：

连接失败：无法连接到“localhost”上的服务器（10048）

library(data.table)
library(foreach)
library(RMariaDB)
library(doParallel)

cl<-makeCluster(6)
registerDoParallel(cl)
results <- foreach(i=1:length(cds),.packages=c('data.table','RMariaDB'),.errorhandling="pass") %dopar% {

  dbCon <- dbConnect(RMariaDB::MariaDB(), user=dbuser, password=dbpwd, dbname=databasename)

  #run queries, do calculations, etc.
  
  dbDisconnect(dbCon)
  return(dtset)
}
stopCluster(cl)

我可以添加一个 TryCatch，它在失败后暂停几秒钟，然后再次尝试，并且它将完成而不会出现错误。

library(data.table)
library(foreach)
library(RMariaDB)
library(doParallel)

cl<-makeCluster(6)
registerDoParallel(cl)
results <- foreach(i=1:length(cds),.packages=c('data.table','RMariaDB'),.errorhandling="pass") %dopar% {

      j <- 0
      cont <- TRUE
      while(cont==TRUE) {
        fRet <- tryCatch({
          dbCon <- dbConnect(RMariaDB::MariaDB(), user=dbuser, password=dbpwd, dbname=databasename)
          iRet <- 0
        },
        error = function(err) {
          return(err)
        })
        if("error" %in% class(fRet) & j<5) {
          Sys.sleep(1 + 3*j)
          j <- j + 1
        } else {
          cont <- FALSE
        }
      }
  #run queries, do calculations, etc.
  
  dbDisconnect(dbCon)
  return(dtset)
}
stopCluster(cl)

TryCatch 方案暂时没问题（执行速度会变慢），但肯定有更好的方案。数据库设置需要调整吗？

  1. max_connections 设置为 150，所以我认为这不是问题所在。（当我超出最大连接数时，会返回不同的错误消息。）
  2. 我也尝试将 thread_pool_size 从 32 调整到 64，但没有帮助。
  3. 我有一个 16 核 CPU（32 线程）和 128GB 内存，所以我怀疑这不是问题所在。无论我使用 24 核还是 2 核或 4 核运行，错误数量都一样。如果我使用“%do%”而不是“%dopar%”运行代码，这样它只使用 1 个核心并且不并行运行，那么它就能顺利完成，不会出现任何错误。

任何帮助都将不胜感激！

mariadb