अपाचे कैमल

Question

में बड़ी सीएसवी फाइलों को संसाधित करने के लिए सर्वश्रेष्ठ रणनीति मैं एक मार्ग विकसित करना चाहता हूं जो सीएसवी फाइलों वाली निर्देशिका का चुनाव करे, और प्रत्येक फाइल के लिए यह प्रत्येक पंक्ति को बिन्डी का उपयोग करके अनमशल करता है और इसे सक्रिय एमक्यू में कतार देता है।

समस्या यह है कि फाइलें बहुत बड़ी हो सकती हैं (दस लाख पंक्तियां) इसलिए मैं एक समय में एक पंक्ति कतार करना पसंद करूंगा, लेकिन मुझे जो कुछ मिल रहा है वह जावा में सभी पंक्तियां हैं .util.ArrayList अंत में बिंडी का जो स्मृति समस्याओं का कारण बनता है।

अभी तक मेरे पास थोड़ा परीक्षण है और अनमोल काम कर रहा है इसलिए एनोटेशन का उपयोग करके बिन्डी कॉन्फ़िगरेशन ठीक है।

from("file://data/inbox?noop=true&maxMessagesPerPoll=1&delay=5000") 
    .unmarshal() 
    .bindy(BindyType.Csv, "com.ess.myapp.core")   
    .to("jms:rawTraffic"); 

पर्यावरण है: ग्रहण इंडिगो, Maven 3.0.3, कैमल 2.8.0

आप

Answer 1

धन्यवाद आप तो स्प्लिटर EIP का उपयोग करते हैं आप कर सकते हैं

यहाँ मार्ग है स्ट्रीमिंग मोड का उपयोग करें जिसका अर्थ है कि ऊंट पंक्ति के आधार पर फ़ाइल को पंक्ति पर संसाधित करेगा।

from("file://data/inbox?noop=true&maxMessagesPerPoll=1&delay=5000") 
    .split(body().tokenize("\n")).streaming() 
    .unmarshal().bindy(BindyType.Csv, "com.ess.myapp.core")   
    .to("jms:rawTraffic"); 

Answer 2

रिकॉर्ड के लिए और अन्य उपयोगकर्ताओं जो इस के लिए के रूप में ज्यादा के रूप में मुझे खोजा गया हो सकता है के लिए, इस बीच वहाँ एक आसान तरीका है जो भी useMaps के साथ अच्छी तरह से काम करता है लगता है:

CsvDataFormat csv = new CsvDataFormat() 
    .setLazyLoad(true) 
    .setUseMaps(true); 

from("file://data/inbox?noop=true&maxMessagesPerPoll=1&delay=5000") 
    .unmarshal(csv) 
    .split(body()).streaming() 
    .to("log:mappedRow?multiline=true");