身在澳洲,近期和ld决定开始做代购,一拍即合之后开始准备工作。众所周知,澳洲值得买的也就那么点东西,奶粉、UGG、各种保健品,其中奶粉价格基本万年不变,但是UGG和保健品的价格变化可能会比较大。所以,打算写个爬虫解决一下经常需要手动查询价格的不便。以前用python写过一些爬虫,urllib123、requests略微有点了解,不过前段时间碰巧也留意到了几个框架,所以这次尝试了一下Scrapy,感觉还好。本次也只是使用Scrapy的其中一小部分特性,但比起正则,还是方便了很多,同时,还有很多用法还没有发掘,以后再说。课业繁重,代码很丑,只是可用。
环境
Mac OS 10.12.6 + Python 2.7.9
1. 安装Scrapy
很简单,一行代码
sudo pip install scrapy
或许,你也会看到这样的错误,同时也有可能会有其他类型的错误,具体原因具体分析
OSError: [Errno 1] Operation not permitted: '/tmp/pip-TnNzkf-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info'
解决办法
sudo pip install scrapy —-upgrade —ignore-installed six
2. 创建一个Scrapy项目
在Terminal中,进入想要创建项目的目录
scrapy startproject XXXXXXX
XXXXXX为项目名
Appendix
源代码
/s65b40/aus_spider
Ref
Scrapy官方文档,写的还是很不错的,还有中文如果觉得《Python Scrapy简单爬虫-爬取澳洲药店 代购党的福音》对你有帮助,请点赞、收藏,并留下你的观点哦!