डेटाफ्रेम

Question

पर पढ़ने के बिना बड़ी xdf फ़ाइलों पर यादृच्छिक वन बड़े (लगभग 10 जीबी) xdf (क्रांति आर प्रारूप) फ़ाइलों पर यादृच्छिक वन चलाने का कोई तरीका है? जाहिर है, मैं rxReadXdf को आजमा सकता हूं और इसे डेटाफ्रेम पर ले जा सकता हूं ... लेकिन मेरी मशीन में केवल 8 जीबी रैम है और मैं भविष्य में भी बड़े डेटा सेट से निपट सकता हूं। उदाहरण के लिए, foreach पाश का उपयोग कर, मैं अपने क्वाड-कोर मशीन पर 1000 पेड़ों को चलाने के लिए पसंद करेंगे:

#'train.xdf" is a 10gb training data set 
rf<- foreach(ntree=rep(250, 4), .combine=combine, 
      .packages='randomForest') %do% 
    randomForest(amount2~.,data="train", ntree=ntree, importance=TRUE, 
       na.action=na.omit, replace=FALSE) 

लेकिन randomForest "प्रशिक्षित" (एक xdf) फ़ाइल में लेने में असमर्थ है। डेटाफ्रेम में पढ़ने के बिना सीधे xdf पर यादृच्छिक वन चलाने का कोई तरीका है?

चीयर्स,

agsub

Answer 1

नहीं, आर कोड कि randomForest पैकेज के आधार हैं और फिर भी यह संभव के रूप में FORTRAN दिनचर्या कि आरएफ विधि बुनियाद शायद सब चाहते हैं कि डेटा नहीं हो सकता है बदले बिना स्मृति में आयोजित किया जाना चाहिए। आपको सामान्य रूप से मशीन के लिए अधिक रैम प्राप्त करने या इस समस्या को चलाने के लिए मशीनों के कुछ बड़े वर्कस्टेशंस/क्लस्टर खोजने में सर्वश्रेष्ठ सेवा दी जा सकती है।

(क्यों आप 1000 यादृच्छिक जंगलों चाहते हैं?)

Answer 2

रैंडम जंगलों आमतौर पर प्रशिक्षित किया जाता है गहराई-प्रथम, कि वर्तमान नोड पर प्रशिक्षण है, और फिर रिकर्सिवली बच्चे नोड्स पर ट्रेन। इसके लिए पूरे डेटा-सेट को स्मृति में रखा जाना आवश्यक है।

इस सीमा को दूर करने के लिए, मैंने डेटा को बढ़ते हुए (कभी-कभी 'ऑनलाइन कहा जाता है) को संभालने के लिए यादृच्छिक वन प्रशिक्षण ढांचे को लिखा, कभी भी एक समय में एक से अधिक प्रविष्टियां नहीं रखतीं। इसके लिए पेड़ के पहले-चौड़े निर्माण की आवश्यकता होती है, और ऑनलाइन एल्गोरिदम का उपयोग करके शुद्धता आंकड़ों की गणना करने की आवश्यकता होती है। पेड़ का प्रत्येक स्तर डेटा को एक बार देखता है, इसलिए आपकी एक्सडीएफ फ़ाइल को स्मृति में संग्रहीत नहीं किया जाना चाहिए, लेकिन डी बार पढ़ा जाएगा, जहां डी पेड़ की अधिकतम गहराई है।

मैं जानता हूँ कि यह शायद, उपयोगी नहीं है क्योंकि आप दिए गए कोड को बदल नहीं सकते हैं, लेकिन हो सकता है आप एल्गोरिथ्म के उन ऑनलाइन संस्करण के कार्यान्वयन मिलेगा (कोशिश Amir Safar's group)

Answer 3

स्मृति सीमाओं को पार करने के लिए, उपयोग :

max_size_of_pagefiles <- 60000 # in MBs 
memory.limit(size = max_size_of_pagefiles) 

मैं पृष्ठ फ़ाइल और स्थान की मात्रा स्टोर करने के लिए एक अभियान के रूप में एक एसएसडी का उपयोग करें (निम्न उदाहरण विंडोज पर काम करता है) स्मृति के रूप में इस्तेमाल किया जा सकता:

freespace <- as.numeric(gsub("Total # of free bytes  : ", "", 
    system2('fsutil', 'volume diskfree c:', stdout = TRUE)[1]))/(1024*1024) 
memory.limit(size = freespace*0.9)