scrapy的精选

scrapy底层使用的是twisted框架，是异步抓取的一个框架。scrapy的优势:1、已经帮你完成了请求，下载，以及请求失败重试，统计2、使你写爬虫更加规范化3、性能很好(除非自己写出来阻塞)4、扩展性好，而且附加的库也比较多，比如代...