कार्यों में देरी किए बिना सेलेरी को शानदार ढंग से पुनरारंभ कैसे करें

Question

हम ऑफ़लाइन कार्यों को प्रबंधित करने के लिए हमारे Django वेबएप के साथ सेलेरी का उपयोग करते हैं; इनमें से कुछ कार्य 120 सेकंड तक चल सकते हैं।

जब भी हम कोई कोड संशोधन करते हैं, तो हमें इसे नए पायथन कोड को पुनः लोड करने के लिए सेलेरी को पुनरारंभ करने की आवश्यकता होती है। हमारा वर्तमान समाधान मुख्य सेलरी प्रक्रिया (kill -s 15 `cat /var/run/celeryd.pid`) में एक सिगरेट भेजने के लिए है, फिर इसे मरने के लिए प्रतीक्षा करें और इसे पुनरारंभ करें (python manage.py celeryd --pidfile=/var/run/celeryd.pid [...])।

क्योंकि लंबे समय से चल रहे कार्यों की

, यह आम तौर पर बंद एक या दो मिनट, जिसके दौरान कोई नए कार्य कार्रवाई की जाती है ले जाएगा, वर्तमान में साइट पर उपयोगकर्ताओं के लिए एक ध्यान देने योग्य देरी के कारण होता है। मैं सेलेरी को बंद करने के लिए कहने का एक तरीका ढूंढ रहा हूं, लेकिन फिर नए कार्यों को चलाने के लिए तुरंत एक नया सेलेरी इंस्टेंस लॉन्च करें।

हालात नहीं कि किया काम: एक गर्म बंद करके इस वजह से अजवाइन को प्रयास करने के लिए "पुनः आरंभ" और फिर खुद को दोबारा लॉन्च:

• मुख्य प्रक्रिया को SIGHUP भेजा जा रहा है। न केवल इसमें काफी समय लगता है, यह काम भी नहीं करता है, क्योंकि स्पष्ट रूप से पुरानी प्रक्रिया से पहले नई प्रक्रिया शुरू होती है, इसलिए नया व्यक्ति ERROR: Pidfile (/var/run/celeryd.pid) already exists. Seems we're already running? (PID: 13214) शिकायत करता है और तुरंत मर जाता है। (यह सेलरी में एक बग की तरह दिखता है; मेरे पास let them know है।)
• मुख्य प्रक्रिया में SIGTERM भेजना और फिर तुरंत एक नया उदाहरण लॉन्च करना: Pidfile के साथ एक ही समस्या।
• पूरी तरह से पिडफाइल को अक्षम करना: इसके बिना, हमारे पास यह कहने का कोई तरीका नहीं है कि 30 सेलेरी प्रक्रिया मुख्य प्रक्रिया है जिसे सिगरेट भेजा जाना चाहिए जब हम इसे गर्म शट डाउन करना चाहते हैं। यह जांचने का कोई भरोसेमंद तरीका नहीं है कि मुख्य प्रक्रिया अभी भी जिंदा है या नहीं।

Answer 1

आप एक कस्टम पीआईडी ​​फ़ाइल नाम के साथ इसे लॉन्च कर सकते हैं। संभावित रूप से समयबद्ध, और उस कुंजी को जानने के लिए कि कौन सा पीआईडी ​​मारना है?

CELERYD_PID_FILE="/var/run/celery/%n_{timestamp}.pid"

^मैं टाइमस्टैम्प वाक्य रचना नहीं जानता लेकिन हो सकता है आप कर सकते हैं या आप इसे पा सकते हैं?

फिर किसी भी पुराने पिड्स को मारने और एक नया लॉन्च करने के लिए वर्तमान सिस्टम समय का उपयोग करें?

Answer 2

सेलेरीड में --autoreload विकल्प है। सक्षम होने पर, अजवाइन कार्यकर्ता (मुख्य प्रक्रिया) सेलेरी मॉड्यूल में परिवर्तनों का पता लगाएगा और सभी कार्यकर्ता प्रक्रियाओं को पुनरारंभ करेगा। इसके विपरीत संकेत SIGHUP करने के लिए, autoreload प्रत्येक प्रक्रिया स्वतंत्र रूप से जब वर्तमान क्रियान्वित काम खत्म पुन: प्रारंभ होता। इसका मतलब है, जबकि एक कार्यकर्ता प्रक्रिया शेष प्रक्रियाओं को पुन: प्रारंभ कर रहा है कार्य निष्पादित कर सकते हैं।

http://celery.readthedocs.org/en/latest/userguide/workers.html#autoreloading

Answer 3

मैं हाल ही में SIGHUP साथ बग ठीक करने के बाद: https://github.com/celery/celery/pull/662

Answer 4

rm *.pyc 

इस कारण अद्यतन कार्य पुनः लोड करना होगा। मैंने हाल ही में इस चाल की खोज की, मुझे उम्मीद है कि कोई बुरा दुष्प्रभाव नहीं हैं।

Answer 5

अच्छी तरह से आप अजवाइन के गर्म शट डाउन के लिए SIGHUP (1) का उपयोग कर रहे हैं। मुझे यकीन है कि अगर यह वास्तव में एक गर्म शटडाउन का कारण बनता है नहीं कर रहा हूँ। लेकिन सिगिनट (2) गर्म शट डाउन का कारण बनता है। SIGHUP के स्थान पर SIGINT आज़माएं और फिर अपनी स्क्रिप्ट में मैन्युअल रूप से सेलेरी शुरू करें (मुझे लगता है)।

Answer 6

एक छोटी सी देर हो गई, लेकिन यह है कि को हटाने फ़ाइल celerybeat.pid बुलाया द्वारा तय कर सकते हैं।

मेरे लिए काम किया।