我正在尝试使用 R 中的 doParallel 和 foreach 包并行处理数据库中大约 3 万条代码/记录。我在其他应用程序中使用 SQLite 数据库和 SQL Server 数据库也做过类似的操作。我现在尝试使用的数据库是 MariaDB，它在我的 Windows 11 电脑上本地运行。然而，当我循环执行大约 3500 次连接数据库的尝试时，却失败了。失败发生在运行“dbConnect”函数时。错误信息如下：
连接失败：无法连接到“localhost”上的服务器（10048）
library(data.table)
library(foreach)
library(RMariaDB)
library(doParallel)
cl<-makeCluster(6)
registerDoParallel(cl)
results <- foreach(i=1:length(cds),.packages=c('data.table','RMariaDB'),.errorhandling="pass") %dopar% {
dbCon <- dbConnect(RMariaDB::MariaDB(), user=dbuser, password=dbpwd, dbname=databasename)
#run queries, do calculations, etc.
dbDisconnect(dbCon)
return(dtset)
}
stopCluster(cl)
我可以添加一个 TryCatch，它在失败后暂停几秒钟，然后再次尝试，并且它将完成而不会出现错误。
library(data.table)
library(foreach)
library(RMariaDB)
library(doParallel)
cl<-makeCluster(6)
registerDoParallel(cl)
results <- foreach(i=1:length(cds),.packages=c('data.table','RMariaDB'),.errorhandling="pass") %dopar% {
j <- 0
cont <- TRUE
while(cont==TRUE) {
fRet <- tryCatch({
dbCon <- dbConnect(RMariaDB::MariaDB(), user=dbuser, password=dbpwd, dbname=databasename)
iRet <- 0
},
error = function(err) {
return(err)
})
if("error" %in% class(fRet) & j<5) {
Sys.sleep(1 + 3*j)
j <- j + 1
} else {
cont <- FALSE
}
}
#run queries, do calculations, etc.
dbDisconnect(dbCon)
return(dtset)
}
stopCluster(cl)
TryCatch 方案暂时没问题（执行速度会变慢），但肯定有更好的方案。数据库设置需要调整吗？
- max_connections 设置为 150，所以我认为这不是问题所在。（当我超出最大连接数时，会返回不同的错误消息。）
- 我也尝试将 thread_pool_size 从 32 调整到 64，但没有帮助。
- 我有一个 16 核 CPU（32 线程）和 128GB 内存，所以我怀疑这不是问题所在。无论我使用 24 核还是 2 核或 4 核运行，错误数量都一样。如果我使用“%do%”而不是“%dopar%”运行代码，这样它只使用 1 个核心并且不并行运行，那么它就能顺利完成，不会出现任何错误。
任何帮助都将不胜感激！
