Para evitar excesso de carga no SQL Server primário, gostaria de instalar e habilitar o R Services em uma réplica secundária do servidor primário. Isso é possível?
Além disso, posso enviar cálculos de um cliente R remoto para o servidor secundário com o R Services ativado?
Isso tem algum impacto no primário?
Estou tentando executar um experimento de ciência de dados, conforme explicado neste tutorial . O tutorial tem 5 lições e cada lição tem algumas subseções.
Para este tutorial, estou usando
Concluí com êxito a Lição 1, ou seja, criar objetos de dados do SQL Server a partir do meu cliente R, consultar e modificar dados do SQL Server e definir/definir contextos de computação.
Estou com um erro no início da Lição 2 do tutorial.
Depois que altero o contexto de computação de local para sql server, uma função simples de resumo (rxsummary) está gerando um erro.
O erro se parece com isso:
C:\Users\...\Project0\DeepDive Experiment.R(109): Error in try({ : ODBC statement error: [Microsoft][ODBC SQL Server Driver][SQL Server]Could not find stored procedure 'master..xp_ScaleR_init_job'. Error in rxInDbJobIdParam(schedulerJobInstance, FALSE) : hpcServerJob object has an invalid id. Ensure it was returned from a prior rxStartClusterJob() call Error in rxStartClusterJob(hpcServerJob, timesIsValidated = TRUE, continueOnFailure = FALSE) : Error in try({ : ODBC statement error: [Microsoft][ODBC SQL Server Driver][SQL Server]Could not find stored procedure 'master..xp_ScaleR_init_job'. Error in rxInDbJobIdParam(schedulerJobInstance, FALSE) : hpcServerJob object has an invalid id. Ensure it was returned from a prior rxStartClusterJob() call
Qualquer ajuda em
será apreciado.
Para facilitar o acesso, segue o script completo comentado até chegar ao erro:
###########################################DATA SCIENCE DEEP DIVE TUTORIAL###############################################
##Create the SQL Server Data Objects##
#Provide your database connection string in an R variable.
#DDUser01 is a login created on the sql server instance for remote login.
#It has read, write and ddl access to the DeepDive database.
sqlConnString <- "Driver=SQL Server;Server=*ip address*; Database=DeepDive;Uid=DDUser01;Pwd=*******"
#Specify the name of the table you want to create, and save it in an R variable.
sqlFraudTable <- "ccFraudSmall"
#Chunking
sqlRowsPerRead = 5000
#Define a variable to store the new data source
sqlFraudDS <- RxSqlServerData(connectionString = sqlConnString,table = sqlFraudTable, rowsPerRead = sqlRowsPerRead)
#Create a new R variable, sqlScoreTable, to store the name of the table used for scoring.
sqlScoreTable <- "ccFraudScoreSmall"
#Define a second data source object
sqlScoreDS <- RxSqlServerData(connectionString = sqlConnString,table = sqlScoreTable, rowsPerRead = sqlRowsPerRead)
##Load Data into SQL Tables Using R##
#Create an R variable, and assign to the variable the file path for the CSV file.
ccFraudCsv <- file.path(rxGetOption("sampleDataDir"), "ccFraudSmall.csv")
#RxTextData function to specify the text data source.
inTextData <- RxTextData(file = ccFraudCsv, colClasses = c(
"custID" = "integer", "gender" = "integer", "state" = "integer",
"cardholder" = "integer", "balance" = "integer",
"numTrans" = "integer",
"numIntlTrans" = "integer", "creditLine" = "integer",
"fraudRisk" = "integer"))
#Call rxDataStep to insert the data into the SQL Server table
rxDataStep(inData = inTextData, outFile = sqlFraudDS, overwrite = TRUE)
#Variable for creating a path to the source file - score
ccScoreCsv <- file.path(rxGetOption("sampleDataDir"), "ccFraudScoreSmall.csv")
#RxTextData function to get the data and save it in the variable
inTextData <- RxTextData(file = ccScoreCsv, colClasses = c(
"custID" = "integer", "gender" = "integer", "state" = "integer",
"cardholder" = "integer", "balance" = "integer",
"numTrans" = "integer",
"numIntlTrans" = "integer", "creditLine" = "integer"))
#Call rxDataStep to overwrite the current table with the new schema and data.
rxDataStep(inData = inTextData, sqlScoreDS, overwrite = TRUE)
##Query the Data ##
#Use the function rxGetVarInfo and specify the data source you want to analyze
rxGetVarInfo(data = sqlFraudDS)
##Modify Metadata##
#Mapping of USA State abbreviations (categorical) to their integer identifiers
#Create an R variable that holds the vector of strings to add to it - different states of the USA.
stateAbb <- c("AK", "AL", "AR", "AZ", "CA", "CO", "CT", "DC",
"DE", "FL", "GA", "HI","IA", "ID", "IL", "IN", "KS", "KY", "LA",
"MA", "MD", "ME", "MI", "MN", "MO", "MS", "MT", "NB", "NC", "ND",
"NH", "NJ", "NM", "NV", "NY", "OH", "OK", "OR", "PA", "RI","SC",
"SD", "TN", "TX", "UT", "VA", "VT", "WA", "WI", "WV", "WY")
#Create a column information object that specifies the mapping of the existing integer values to the categorical levels
#This statement also creates factor variables for gender and cardholder.
ccColInfo <- list(
gender = list(
type = "factor",
levels = c("1", "2"),
newLevels = c("Male", "Female")),
cardholder = list(type = "factor",
levels = c( "1", "2"),
newLevels = c("Principal", "Secondary")),
state = list(type = "factor", levels = as.character(1:51), newLevels = stateAbb)
)
#Update the SQL Server data source that uses the updated data
sqlFraudDS <- RxSqlServerData(connectionString = sqlConnString,
table = sqlFraudTable, colInfo = ccColInfo,
rowsPerRead = sqlRowsPerRead)
#Query new information
rxGetVarInfo(data = sqlFraudDS)
##Create and Set a Compute Context##
#Specify the connection string for the instance where computations will take place.
sqlConnString <- "Driver=SQL Server;Server=*ip address*; Database=DeepDive;Uid=DDUser01;Pwd=*******"
#Specify the location of the shared directory (temp folder for workspace objects) and save it in a variable.
sqlShareDir <- paste("c:AllShare", Sys.getenv("USERNAME"), sep="")
#Create shared directory if it does not exist
if (!file.exists(sqlShareDir)) dir.create(sqlShareDir, recursive = TRUE)
#Specify how you want the output handled.
#Here, you are indicating that the R session on the workstation should always wait for R job results,
#but not return console output from remote computations.
sqlWait <- TRUE
sqlConsoleOutput <- FALSE
#Define the compute context object
sqlCompute <- RxInSqlServer(
connectionString = sqlConnString,
shareDir = sqlShareDir,
wait = sqlWait,
consoleOutput = sqlConsoleOutput)
#ALTERNATIVE:Enable Tracing on the Compute Context
sqlComputeTrace <- RxInSqlServer(
connectionString = sqlConnString,
shareDir = sqlShareDir,
wait = sqlWait,
consoleOutput = sqlConsoleOutput,
traceEnabled = TRUE, traceLevel = 7)
#Change Compute Context to the Server
rxSetComputeContext(sqlCompute)
##Compute Summary Statistics##
#Compute summary statistics for several of the variables
##THIS IS WHERE I FACE THE ERROR##
sumOut <- rxSummary(formula = ~gender + balance + numTrans + numIntlTrans + creditLine, data = sqlFraudDS)
Vamos supor que eu tenha 3 máquinas comigo.
Minha primeira máquina tem SQL Server 2016 com R Services instalado.
Minha segunda máquina possui o SQL Server 2016 sem os serviços R habilitados.
Minha terceira máquina tem um Microsoft R Server autônomo instalado nela.
Entendo que como minha primeira máquina possui SQL Server com R Services, posso armazenar o script R como stored procedures no SQL Server e chamá-lo posteriormente para análise.
Minha pergunta é como meu Microsoft R Server autônomo se conecta a SQL Servers (com e sem R Services habilitados).
Pelo que entendi, ele usa ODBC para se conectar ao SQL Server e usa as funções RevoscaleR para consultar ou analisar os dados SQL - em ambos os casos.
Se for esse o caso,
Imagine que estou relutante em habilitar o R Services no meu SQL Server porque pode ocupar a memória e diminuir o desempenho do próprio mecanismo de banco de dados. Tudo o que quero fazer é obter um Microsoft R Server autônomo e conectá-lo ao SQL Server sem R Services e obter toda a escalabilidade e desempenho de qualquer maneira.
O que estou perdendo fazendo isso?
Juntamente com os serviços R integrados no SQL Server 2016, a Microsoft também está oferecendo o Microsoft R Server de nível empresarial como uma instalação autônoma. Parte da documentação do MSDN mostra que o MS R Server autônomo é diferente de um Microsoft R Client de ciência de dados.
Esta é uma imagem da página do MSDN (canto inferior esquerdo): https://msdn.microsoft.com/en-us/library/mt696069.aspx
O link do cliente de ciência de dados leva você aqui: https://msdn.microsoft.com/en-us/library/mt696067.aspx
Mas o assistente de configuração comenta como se ambos fossem a mesma coisa.
Se alguém tiver alguma clareza sobre isso, por favor, avise.
Eu só experimentei o SQL Server 2016 recentemente. Portanto, corrija-me se minhas suposições estiverem incorretas:
De algumas pesquisas sobre SQL Server R Services , vejo que as funções RxHDFSConnect e RxHDFSFileSystem ajudam a carregar dados do Hadoop diretamente em um banco de dados SQL Server 2016.
Tenho experimentado o SQL Server 2016 e seus R Services. Também tenho um Microsoft R Server autônomo instalado em minha máquina.
O que é um bom caso de uso para usar o SQL Server R Services em um Microsoft R Server autônomo, já que ambos apresentam propriedades de uma plataforma R de escala corporativa.
Eu tenho um esquema de banco de dados:
member(memb_no, name, age)
book(isbn, title, authors, publisher)
borrowed(memb_no, isbn, date)
Esta é a questão:
Para cada editora, imprima os nomes dos membros que pegaram emprestados mais de cinco livros daquela editora.
Como escrevo uma consulta para isso?
Segue abaixo minha tentativa:
Select B.publisher,
M.memb_no, M.name
From book as B,
member as M,
borrowed as R
Where M.memb_no = R.memb_no and B.isbn = R.isbn and R.isbn in
(select B.publisher, count (R.isbn)
from borrowed as R and book as B
where B.isbn = R.isbn
group by B.publisher
having count >5);
Por favor, aponte os erros e explique.