मुझे अमेज़ॅन के ईसी 2 पर डेटा कॉपी करने और एक स्क्रिप्ट चलाने में मदद करें

Question

मैं क्लाउड कंप्यूटिंग का उपयोग करने के लिए एक नौसिखिया हूं लेकिन मुझे अवधारणा मिलती है और निर्देशों का पालन करने में मुझे बहुत अच्छा लगता है। मैं अपने डेटा पर कुछ सिमुलेशन करना चाहता हूं और प्रत्येक चरण में कई मिनट लगते हैं। मेरे डेटा में पदानुक्रम को देखते हुए, प्रत्येक सेट के लिए कई घंटे लगते हैं। मैं इसे अमेज़ॅन के ईसी 2 क्लाउड पर चलाकर इसे तेज करना चाहता हूं।

this पढ़ने के बाद, मुझे पता है कि एएमआई कैसे लॉन्च करें, खोल के माध्यम से उससे कनेक्ट करें, और कमांड प्रॉम्प्ट पर आर लॉन्च करें।

मैं क्या चाहता हूं कि डेटा (.rdata फ़ाइलें) और एक स्क्रिप्ट कॉपी करने में सक्षम हो और बस इसे आर कमांड प्रॉम्प्ट पर स्रोत दें। फिर, एक बार सभी परिणाम नए .rdata फ़ाइलों को लिखे जाने के बाद, मैं उन्हें अपनी स्थानीय मशीन पर वापस कॉपी करना चाहता हूं।

मैं यह कैसे कर सकता हूं?

Answer 1

मुझे आर के बारे में बहुत कुछ पता नहीं है, लेकिन मैं अन्य भाषाओं के साथ समान चीजें करता हूं। मैं जो सुझाव देता हूं वह आपको कुछ विचार देगा।

1. अपनी स्थानीय मशीन पर एक FTP सर्वर सेट अप करें।
2. एक "स्टार्टअप-स्क्रिप्ट" बनाएं जिसे आपने अपने उदाहरण के साथ लॉन्च किया था।
3. स्टार्टअप स्क्रिप्ट को अपनी स्थानीय मशीन से आर फाइल डाउनलोड करने दें, आर प्रारंभ करें और गणना करें, फिर अपनी मशीन पर नई फाइलें अपलोड करें।

स्क्रिप्ट शुरू

:

#!/bin/bash 
set -e -x 
apt-get update && apt-get install curl + "any packages you need" 
wget ftp://yourlocalmachine:21/r_files > /mnt/data_old.R 
R CMD BATCH data_old.R -> /mnt/data_new.R 
/usr/bin/curl -T /mnt/data_new.r -u user:pass ftp://yourlocalmachine:21/new_r_files 

एक स्टार्टअप स्क्रिप्ट

ec2-run-instances --key KEYPAIR --user-data-file my_start_up_script ami-xxxxxx 

Answer 2

पहले आईडी उपयोग अमेज़न S3 के साथ प्रारंभ उदाहरण अपने स्थानीय मशीन से और वापस उदाहरण से दोनों फ़ाइलों
के भंडारण के लिए
जैसा कि पहले बताया गया है, आप स्क्रिप्ट अप शुरू कर सकते हैं, या यहां तक ​​कि सभी आवश्यक सेटिंग्स के साथ अपने स्वयं के अनुकूलित एएमआई को बंडल कर सकते हैं औरसे अपने उदाहरण चला सकते हैं तो एस 3, बाल्टी और प्रक्रिया में बाल्टी से फ़ाइलों को डाउनलोड करें, आखिरकार परिणामों को S3
में समान/अलग बाल्टी पर अपलोड करें, मान लें कि डेटा छोटा है (एस 3 लागत/उपयोगिता की तुलना में डेटा कितनी बड़ी हो सकती है) बहुत प्रभावी