python - Scrapy Spider返回None而不是Item

我在下面找到了答案。简而言之，ItemPipeline中的错误缩进会导致它返回None。

我一直在尝试用Scrapy编写CrawlSpider，之前从未使用过python。 Spider会爬行，调用回调函数，提取数据并填充项目，但始终返回None。我已经用打印品电话对其进行了测试，一切都井井有条。我已经试过了yield和return(尽管我仍然不明白区别)。坦白说，我没主意了。下面是回调函数.//edit也添加了蜘蛛代码

class ZeitSpider(CrawlSpider):
name= xxxx
allowed_domains = ['example.com']
start_urls = ['http://www.example.com/%d/%d' %(JAHR,39)]
rules = (Rule(SgmlLinkExtractor(restrict_xpaths=('//ul[@class="teaserlist"]/li[@class="archiveteaser"]/h4[@class="title"]')),callback='parse_url',follow=True),)


    def parse_url(self,response):
        hxs = HtmlXPathSelector(response)

        article = Article()

        article['url']= response.url.encode('UTF-8',errors='strict')

        article['author']= hxs.select('//div[@id="informatives"]/ul[@class="tools"]/li[@class="author first"]/text()').extract().pop().encode('UTF-8',errors='strict')
        article['title']= hxs.select('//div[@class="articleheader"]/h1/span[@class="title"]/text()').extract().pop().encode('UTF-8',errors='strict')

        article['text']= hxs.select('//div[@id="main"]/p/text()').extract().pop().encode('UTF-8',errors='strict')

        article['excerpt'] = hxs.select('//p[@class="excerpt"]/text()').extract().pop().encode('UTF-8',errors='strict')
        yield article

和项目定义

class Article(Item):
    url=Field()
    author=Field()
    text=Field()
    title=Field()
    excerpt=Field()

最佳答案

好的，使用pdb单步执行程序后，我发现了错误:

因为我有多个蜘蛛，所以我想编写多个ItemPipelines。为了让每个Spider都能与众不同，我添加了一个

if spider.name=='SpiderName'
    return item

注意缩进。管道返回Nothing，因此输出变为None。

更改压痕后，蜘蛛可以完美地工作。 PEBCAC的另一个例子。

关于python - Scrapy Spider返回None而不是Item，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/12715771/