您现在的位置是： 首页 > 后端开发 > Python python scrapy 出现 DEBUG: Filtered offsite request to 错误

python scrapy 出现 DEBUG: Filtered offsite request to 错误

2020-06-08 【Python】 577人已围观 784次浏览

简介python scrapy 出现 DEBUG: Filtered offsite request to 错误

在使用 python scrapy 时出现 DEBUG: Filtered offsite request to 错误提示

根据官方文档的解释，是因为 request 的地址和 allow_domain 里面冲突，也就是已经爬取过的页面被记录下来了，下次再访问同样的地址（地址相同，参数不同，也会被认为是同一个地址）就会被过滤掉。如果是需要继续爬取相同的页面，就需要去掉过滤的功能，比如

yield Request(url=next_url
              , callback=self.subPage
              # 最后要加上dont_filter=True，否则不继续往下执行，因为URL都是相同的，不同的是后面的参数
              , dont_filter=True)

最后加上 dont_filter=True 即可

很赞哦！ (0)

上一篇：PHP 在执行 composer install 时出现提示 PHP Fatal error: Allowed memory size of XXXXXX bytes exhausted <...>

下一篇：Linux no space left on device 出现设备上没有空间问题

相关文章

点击排行

站长推荐

标签云

猜你喜欢

站点信息

  • 网站地图