मोंगोड एग्रीगेशन फ्रेमवर्क मानचित्र से कम/कम है?

Question

क्या mongodb 2.2 में समेकन ढांचा प्रस्तुत किया गया है, क्या मानचित्र/कम करने पर कोई विशेष प्रदर्शन सुधार है?

यदि हां, क्यों और कैसे और कितना?

(पहले से ही मैं खुद के लिए एक परीक्षण किया है, और प्रदर्शन लगभग एक ही था)

Answer 1

मैं व्यक्तिगत रूप से (अपने स्वयं के डेटा का उपयोग कर सहित) समाप्त हो गया है हर परीक्षण समेकन ढांचे को एक गुणक दिखाता है ई मानचित्र से तेज़ी से कम हो जाता है, और आम तौर पर तीव्रता का क्रम होता है।

बस आपके द्वारा पोस्ट किए गए डेटा का 1/10 वां लेना (लेकिन ओएस कैश को साफ़ करने के बजाए, पहले कैश को गर्म करना - क्योंकि मैं एकत्रीकरण के प्रदर्शन को मापना चाहता हूं, और डेटा में पृष्ठ पर कितना समय लगता है) I

MapReduce: 1,058ms
एकत्रीकरण फ्रेमवर्क: यह मिल गया 133ms

एकत्रीकरण ढांचे और से $ मैच निकाला जा रहा है {क्वेरी:} MapReduce से (क्योंकि दोनों सिर्फ एक सूचकांक का प्रयोग करेंगे और जो वह नहीं है जो हम चाहते मापने के लिए) और key2 द्वारा पूरे डेटासेट को समूहीकृत करना:

MapReduce: 18,803ms
एकत्रीकरण फ्रेमवर्क: 1,535ms

उन मेरे पिछले प्रयोगों के साथ लाइन में बहुत ज्यादा कर रहे हैं।

Answer 2

मेरे बेंचमार्क:

== डाटा जनरेशन ==

(उत्पन्न 4million पंक्तियों अजगर के साथ) लगभग 350 बाइट्स के साथ आसान है।

• कुंजी 1, कुंजी 2 (दो यादृच्छिक कॉलम, अनुक्रमण परीक्षण करने के लिए 2000 के प्रमुखता के साथ, और 20 की प्रमुखता के साथ)
• longdata: प्रत्येक दस्तावेज़ इन कुंजियों है एक लंबी स्ट्रिंग प्रत्येक का आकार बढ़ाने के लिए दस्तावेज़
• मूल्य: एक साधारण संख्या (स्थिरांक 10) एकत्रीकरण का परीक्षण करने के

 
db = Connection('127.0.0.1').test # mongo connection 
random.seed(1) 
for _ in range(2): 
    key1s = [hexlify(os.urandom(10)).decode('ascii') for _ in range(10)] 
    key2s = [hexlify(os.urandom(10)).decode('ascii') for _ in range(1000)] 
    baddata = 'some long date ' + '*' * 300 
    for i in range(2000): 
     data_list = [{ 
       'key1': random.choice(key1s), 
       'key2': random.choice(key2s), 
       'baddata': baddata, 
       'value': 10, 
       } for _ in range(1000)] 
     for data in data_list: 
      db.testtable.save(data) 

कुल डेटा आकार मोंगो में 6GB बारे में था। (और postgres में 2GB)

== टेस्ट ==

मैं कुछ परीक्षण किया था, लेकिन एक की तुलना परिणामों के लिए पर्याप्त है:

नोट: सर्वर को पुनः आरंभ है, और ओएस कैश के बाद साफ किया जाता है कैशिंग के प्रभाव को नजरअंदाज करने के लिए प्रत्येक क्वेरी।

: QUERY कुल key1=somevalue (200K के बारे में पंक्तियाँ) के साथ सभी पंक्तियों और प्रत्येक key2

• नक्शे के लिए value योग/को कम 10.6 सेकंड
• aggreate 9.7 सेकंड
• समूह 10.3 सेकंड

प्रश्न:

नक्शा/कम करने:

db.testtable.mapReduce(function(){emit(this.key2, this.value);}, function(key, values){var i =0; values.forEach(function(v){i+=v;}); return i; } , {out:{inline: 1}, query: {key1: '663969462d2ec0a5fc34'} })

कुल:

db.testtable.aggregate({ $match: {key1: '663969462d2ec0a5fc34'}}, {$group: {_id: '$key2', pop: {$sum: '$value'}} })

समूह:

db.testtable.group({key: {key2:1}, cond: {key1: '663969462d2ec0a5fc34'}, reduce: function(obj,prev) { prev.csum += obj.value; }, initial: { csum: 0 } })