我正在尝试使用 R 中的 doParallel 和 foreach 包并行处理数据库中大约 3 万条代码/记录。我在其他应用程序中使用 SQLite 数据库和 SQL Server 数据库也做过类似的操作。我现在尝试使用的数据库是 MariaDB,它在我的 Windows 11 电脑上本地运行。然而,当我循环执行大约 3500 次连接数据库的尝试时,却失败了。失败发生在运行“dbConnect”函数时。错误信息如下:
连接失败:无法连接到“localhost”上的服务器(10048)
library(data.table)
library(foreach)
library(RMariaDB)
library(doParallel)
cl<-makeCluster(6)
registerDoParallel(cl)
results <- foreach(i=1:length(cds),.packages=c('data.table','RMariaDB'),.errorhandling="pass") %dopar% {
dbCon <- dbConnect(RMariaDB::MariaDB(), user=dbuser, password=dbpwd, dbname=databasename)
#run queries, do calculations, etc.
dbDisconnect(dbCon)
return(dtset)
}
stopCluster(cl)
我可以添加一个 TryCatch,它在失败后暂停几秒钟,然后再次尝试,并且它将完成而不会出现错误。
library(data.table)
library(foreach)
library(RMariaDB)
library(doParallel)
cl<-makeCluster(6)
registerDoParallel(cl)
results <- foreach(i=1:length(cds),.packages=c('data.table','RMariaDB'),.errorhandling="pass") %dopar% {
j <- 0
cont <- TRUE
while(cont==TRUE) {
fRet <- tryCatch({
dbCon <- dbConnect(RMariaDB::MariaDB(), user=dbuser, password=dbpwd, dbname=databasename)
iRet <- 0
},
error = function(err) {
return(err)
})
if("error" %in% class(fRet) & j<5) {
Sys.sleep(1 + 3*j)
j <- j + 1
} else {
cont <- FALSE
}
}
#run queries, do calculations, etc.
dbDisconnect(dbCon)
return(dtset)
}
stopCluster(cl)
TryCatch 方案暂时没问题(执行速度会变慢),但肯定有更好的方案。数据库设置需要调整吗?
- max_connections 设置为 150,所以我认为这不是问题所在。(当我超出最大连接数时,会返回不同的错误消息。)
- 我也尝试将 thread_pool_size 从 32 调整到 64,但没有帮助。
- 我有一个 16 核 CPU(32 线程)和 128GB 内存,所以我怀疑这不是问题所在。无论我使用 24 核还是 2 核或 4 核运行,错误数量都一样。如果我使用“%do%”而不是“%dopar%”运行代码,这样它只使用 1 个核心并且不并行运行,那么它就能顺利完成,不会出现任何错误。
任何帮助都将不胜感激!
错误 10048 (WSAEADDRINUSE,“地址已被使用”)强烈表明您耗尽了 TCP 临时端口。
给你一个概览,我敢打赌,状态中肯定有大量的连接
TIME_WAIT
。如果你快速创建和关闭 TCP 连接,就会发生这种情况。尝试使用连接池,或者只是重新使用您的连接。如果不能,请尝试使用命名管道连接,如果不能,请按照此处
TcpTimedWaitDelay
所述减少