您现在的位置是: 首页 > 后端开发 > Python python scrapy 出现 DEBUG: Filtered offsite request to 错误

python scrapy 出现 DEBUG: Filtered offsite request to 错误

2020-06-08 Python 577人已围观 784次浏览

简介python scrapy 出现 DEBUG: Filtered offsite request to 错误

在使用 python scrapy 时出现 DEBUG: Filtered offsite request to 错误提示

根据官方文档的解释,是因为 request 的地址和 allow_domain 里面冲突,也就是已经爬取过的页面被记录下来了,下次再访问同样的地址(地址相同,参数不同,也会被认为是同一个地址)就会被过滤掉。如果是需要继续爬取相同的页面,就需要去掉过滤的功能,比如

yield Request(url=next_url
              , callback=self.subPage
              # 最后要加上dont_filter=True,否则不继续往下执行,因为URL都是相同的,不同的是后面的参数
              , dont_filter=True)

最后加上 dont_filter=True 即可

很赞哦! (0)

站长推荐

站点信息

  • 网站地图