सुंदरसुप, अधिकतम रिकर्सन गहराई

Question

पर पहुंच गया यह beautifulsoup प्रक्रिया है जो सभी <p> HTML टैग के भीतर सामग्री को पकड़ती है। कुछ वेब पृष्ठों से सामग्री को हथियाने के बाद, मुझे एक त्रुटि मिलती है जो कहती है कि अधिकतम रिकर्सन गहराई पार हो गई है।

def printText(tags): 
    for tag in tags: 
     if tag.__class__ == NavigableString: 
      print tag, 
     else: 
      printText(tag) 
    print "" 
#loop over urls, send soup to printText procedure 

का पता लगाने के नीचे:

File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 13, in printText 
    if tag.__class__ == NavigableString: 
RuntimeError: maximum recursion depth exceeded in cmp 

Answer 1

आप शायद एक स्ट्रिंग मारा। एक स्ट्रिंग पर इटरेटिंग 1-लंबाई तार पैदा करता है। उस 1-लंबाई वाली स्ट्रिंग पर इटरेटिंग 1-लंबाई वाली स्ट्रिंग उत्पन्न करती है। से अधिक 1-लंबाई स्ट्रिंग ...

Answer 2

आपका प्रिंटटेक्स्ट() नेविगेलस्ट्रिंग के अलावा किसी अन्य चीज़ से मुकाबला करने पर खुद को रिकर्सिव रूप से कॉल किया जाता है। इसमें NavigableString के उप-वर्ग शामिल हैं, जैसे टिप्पणी। एक टिप्पणी पर printText() को कॉल करने से टिप्पणी के पाठ पर पुनरावृत्ति होती है, और अनंत पुनरावृत्ति का कारण बनता है।

मैं बजाय अपने अगर बयान में isinstance() का उपयोग कर वर्ग वस्तुओं की तुलना की सिफारिश:

if isinstance(tag, basestring): 

मैं प्रत्यावर्तन से पहले एक प्रिंट बयान डालने से इस समस्या का निदान:

print "recursing on", tag, type(tag) 
printText(tag) 

Answer 3

मैं था एक ही समस्या है। यदि आपके पास लगभग 480 स्तरों की गहराई वाले टैग हैं, और आप इस टैग को स्ट्रिंग/यूनिकोड में कनवर्ट करना चाहते हैं, तो आपको मिल जाएगा। प्रत्येक स्तर को दो नेस्टेड विधि कॉल की आवश्यकता होती है और जल्द ही आप 1000 नेस्टेड पायथन कॉल का डिफ़ॉल्ट हिट करते हैं। आप इस स्तर को बढ़ा सकते हैं, या आप इस सहायक का उपयोग कर सकते हैं। यह एचटीएमएल से सभी पाठ निकालता है और इसे पूर्व-पर्यावरण में प्रदर्शित करता है:

def beautiful_soup_tag_to_unicode(tag): 
    try: 
     return unicode(tag) 
    except RuntimeError as e: 
     if not str(e).startswith('maximum recursion'): 
      raise 
     # If you have more than 480 level of nested tags you can hit the maximum recursion level 
     out=[] 
     for mystring in tag.findAll(text=True): 
      mystring=mystring.strip() 
      if not mystring: 
       continue 
      out.append(mystring) 
     return u'<pre>%s</pre>' % '\n'.join(out)