स्कैरेपी - xPathSelector

Question

का उपयोग करके नेस्टेड 'img src' निकालें मैं उस मामले के लिए स्केपर या पायथन का उपयोग करने के लिए अपेक्षाकृत नया हूं। मैं कुछ अलग लिंक से निकालने के लिए देख रहा हूं और मुझे HTMLXPathSelector अभिव्यक्ति (वाक्यविन्यास) का उपयोग करने में समस्याएं आ रही हैं। मैंने उचित वाक्यविन्यास के लिए व्यापक दस्तावेज देखा है लेकिन अभी तक समाधान का पता लगाना बाकी है।

Page I am trying to extract the img src url from

from scrapy.spider import BaseSpider 
from scrapy.selector import HtmlXPathSelector 

class GeekSpider(BaseSpider): 
    name = "geekS" 
    allowed_domains = ["geek.com"] 
    start_urls = ["http://www.geek.com/articles/gadgets/kindle-fire-hd-8-9-on-sale-for-50-off-today-only-20121210/"] 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     imgurl = hxs.select("//div[@class='article']//a/img/@src").extract() 
     return imgurl 

मुझे लगता है मैं x.select वाक्य विन्यास पता लगा है:

यहाँ एक कड़ी का एक उदाहरण मैं से 'img src' निकालने के लिए कोशिश कर रहा हूँ है बयान लेकिन, क्योंकि मैं इस वाक्यविन्यास/विधि में नया हूं, मुझे यकीन नहीं है।

from scrapy.item import Item, Field 

class GeekItem(Item): 
    imgsrc = Field() 

स्पष्ट करने के लिए: मुझे क्या करना रहा हूँ img src यूआरएल पृष्ठ पर है कि निकालने है

यहाँ मेरी items.py फ़ाइल है, मूल रूप से इस बात के लिए scrapy ट्यूटोरियल का पालन किया। मुझे सभी छवि स्रोतों को निकालने की आवश्यकता नहीं है जिन्हें मैंने पहले से ही समझा है (बहुत आसान)।

मैं इसे कम करने के लिए देख रहा हूं और केवल img src के उस विशेष यूआरएल को निकालने के लिए देख रहा हूं। (मैं इस साइट पर कई पृष्ठों पर इसका उपयोग करूँगा)

किसी भी मदद की बहुत सराहना की जाती है!

संपादित करें - Updated कोड मैं गीक = गीक के साथ कुछ वाक्यविन्यास त्रुटियों हो रही थी() तो मैं यह करने के लिए हल्के से बदल दिया उम्मीद है कि आसान हो समझते हैं और कार्य करने के लिए

Answer 1

मेरा मानना ​​है कि अपने xpath एक्सप्रेशन इस तरह अधिक होना चाहिए । मैंने इसे किसी अन्य पृष्ठ पर परीक्षण किया (the Amazon shipping center article) और यह सभी दस क्लिक करने योग्य छवियों को वापस कर दिया।

geek['imgsrc'] = x.select("//div[@class='article']//a/img/@src").extract() 

अपने अन्य मुद्दे को ठीक करने के लिए, आप अपने GeekSpider कोड में GeekItem आयात करने के लिए की जरूरत है।

from scrapy.spider import BaseSpider 
from scrapy.selector import HtmlXPathSelector 
from geekspider.items import GeekItem # I'm guessing the name of your project here 

class GeekSpider(BaseSpider): 
    name = "geekS" 
    allowed_domains = ["geek.com"] 
    start_urls = ["http://www.geek.com/articles/gadgets/kindle-fire-hd-8-9-on-sale-for-50-off-today-only-20121210/"] 

    def parse(self, response): 
     item = GeekItem() 
     hxs = HtmlXPathSelector(response) 
     item['imgsrc'] = hxs.select("//div[@class='article']//a/img/@src").extract() 
     return item