Scrapy 是网络爬虫框架,而 Selenium 是“测试自动化框架”。就重量而言,与 Selenium 相比,scrapy 会更轻。使用两者后,与 Scrapy 相比,我总是发现 Selenium 速度较慢。
- 取决于我们的使用情况,如果我们需要抓取成百上千的页面,我们绝对应该使用 Scrapy。如果我们有一些更棘手的表单提交或依赖于 javascript 的页面并且项目规模很小,我们可以押注 Selenium。
- Scrapy 为缓存提供了出色的实用程序,这使开发更加容易。
- Scrapy 我们可以根据请求更改参数,这通过 selenium 并不困难。
- 我们可以通过设置并发请求来让scrapy发出多个请求,但这对于Selenium可能是不可能的。