使用json和scrapy抓取页面时的错误

Question

我在Win10上使用Scrapy和Python3来抓取producthunt.com。我感到困惑的是我的代码行为，它重复输出数据中的一些字段。 任何人都可以指出的原因，并建议一个解决方案？

代码： http://pastebin.com/VvFGCmDJ

样品输出： http://pastebin.com/ffx0HN54

Answer 1

我还没有运行的代码，但创建Item实例肯定需要是for循环中：

... 

    def parse(self, response): 
     jsonresponse = json.loads(response.body_as_unicode()) 
     topic = jsonresponse['posts'] 
     for post in topic: 

      service = ProducthuntItem() 

      service['name'] = post['name'].replace(";", " ") 
      ...