为什么使用 scrapy 而不是selenium

Image result for codeScrapy 是网络爬虫框架,而 Selenium 是“测试自动化框架”。就重量而言,与 Selenium 相比,scrapy 会更轻。使用两者后,与 Scrapy 相比,我总是发现 Selenium 速度较慢。

  1. 取决于我们的使用情况,如果我们需要抓取成百上千的页面,我们绝对应该使用 Scrapy。如果我们有一些更棘手的表单提交或依赖于 javascript 的页面并且项目规模很小,我们可以押注 Selenium。
  2. Scrapy 为缓存提供了出色的实用程序,这使开发更加容易。
  3. Scrapy 我们可以根据请求更改参数,这通过 selenium 并不困难。
  4. 我们可以通过设置并发请求来让scrapy发出多个请求,但这对于Selenium可能是不可能的。
为什么使用 scrapy 而不是selenium

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注