आर

Question

में एसक्यूएल प्रश्नों का समानांतरकरण मेरे पास छह एसक्यूएल प्रश्न हैं जो मैं स्क्रिप्ट करता हूं हालांकि आर प्रत्येक में बहुत लंबा समय लगता है (~ 30 मिनट प्रत्येक)। एक बार प्रत्येक क्वेरी लौटने के बाद मैं कुछ मानक रिपोर्ट के लिए डेटा में हेरफेर करता हूं।

मैं क्या करना चाहते हैं क्या मेरी मल्टीकोर मशीन का उपयोग एक Windows मशीन एक Oracle DB के साथ पर आर

मैं से समानांतर में इन एसक्यूएल अनुरोध को चलाने के लिए है। मैं इन अनुरोधों को आजमाने और विभाजित करने के लिए doSNOW और foreach का उपयोग करने के लिए blog post का पालन कर रहा था और यह सबसे अच्छी बात है जिसे मैं stackoverflow पर पा सकता हूं।

मैं प्रक्रिया के गैर-समांतर%%% संस्करण के लिए काम करने की प्रक्रिया प्राप्त करने में सक्षम हूं लेकिन% dopar% नहीं। % Dopar% के साथ यह सिर्फ एक खाली सेट देता है। नीचे कोड है जो टेबल सेट करता है और क्वेरी चलाता है ताकि आप देख सकें कि क्या होता है। यदि बहुत अधिक बुनियादी कोड है तो अग्रिम में क्षमा करें।

मैंने कुछ अन्य आर पैकेजों को देखा है लेकिन एक स्पष्ट समाधान नहीं देखा है। इसके अलावा यदि आपके पास इस तरह की प्रक्रिया को प्रबंधित करने का एक बेहतर तरीका है, तो मुझे यह सुनना होगा - बस ध्यान रखें कि मैं एक विश्लेषक हूं जो कंप्यूटर वैज्ञानिक नहीं है। धन्यवाद!

#Creating a cluster 
library(doSNOW) 
cl <- makeCluster(c("localhost","localhost"), type = "SOCK") 
registerDoSNOW(cl) 

#Connecting to database through RODBC 
ch=odbcConnect("",pwd = "xxxxx", believeNRows=FALSE) 
#Test connection 
odbcGetInfo(ch) 

#Creating database tables for example purposes 
qryA1 <- "create table temptable(test int)" 
qryA2 <- "insert into temptable(test) values((1))" 
qryA3 <- "select * from temptable" 
qryA4 <- "drop table temptable" 
qryB1 <- "create table temptable2(test int)" 
qryB2 <- "insert into temptable2(test) values((2))" 
qryB3 <- "select * from temptable2" 
qryB4 <- "drop table temptable2" 

sqlQuery(ch, qryA1) 
sqlQuery(ch, qryA2) 
doesItWork <- sqlQuery(ch, qryA3) 
doesItWork 
sqlQuery(ch, qryB1) 
sqlQuery(ch, qryB2) 
doesItWork <- sqlQuery(ch, qryB3) 
doesItWork 

result = c() 
output = c() 
databases <- list('temptable','temptable2') 


#Non-parallel version of foreach 
system.time(
foreach(i = 1:2)%do%{ 
result<-sqlQuery(ch,paste('SELECT * FROM ',databases[i])) 
output[i] = result 
} 
) 

output 

#Parallel version of foreach 

outputPar = c() 

system.time(
foreach(i = 1:2)%dopar%{ 
#Connecting to database through RODBC 
ch=odbcConnect(dsn ,pwd = "xxxxxx", believeNRows=FALSE) 
#Test connection 
odbcGetInfo(ch) 
result<-sqlQuery(ch,paste('SELECT * FROM ',databases[i])) 
outputPar[i] = result 
} 
) 

outputPar 

sqlQuery(ch, qryA4) 
sqlQuery(ch, qryB4) 

Answer 1

जब आप काम outputPar[i] = result धारावाहिक foreach पाश अंदर बनाने के लिए, यह ठीक है (लेकिन foreach की वास्तव में नहीं इच्छित उपयोग)। जब आप समांतर लूप में यह असाइनमेंट करते हैं, तो यह ठीक नहीं है। क्रांति पर डेविड स्मिथ द्वारा दिए गए एक समान प्रश्न के लिए http://tolstoy.newcastle.edu.au/R/e10/help/10/04/3237.html देखें।

एक समाधान के रूप में,

system.time(
    outputPar <- foreach(i = 1:2, .packages="RODBC")%dopar%{ 
#Connecting to database through RODBC 
    ch=odbcConnect(dsn ,pwd = "xxxxxx", believeNRows=FALSE) 
#Test connection 
    odbcGetInfo(ch) 
    result<-sqlQuery(ch,paste('SELECT * FROM ',databases[i])) 
    result 
} 
)