pixiv_spider

目的

1. 为《谁组的暗牧》游戏提供图片
2. 学习爬虫。orz
3. 搜索热图——其付费功能。。

初步构想

• 先很快的在大神的基础上完成，1，3功能
• 因为看了大半天还是看不大懂那些请求
• 其次在学习这些请求
• 最后重构代码，可能能上scrapy。

re 版

• 用requests库重写了一遍。
• 前一个半小时就完成了普通图片的爬取
• 图集做了三个小时了有。。现在还有点问题，超过10张图的命名问题，
• 还有动图的。。现在用system('unzip')来解压，偷懒一下。。
• 还有一个问题。偶尔会卡死。设置一波timeout？
• 多加一些header信息可能也会好一些。。
• 今天2点多做到现在8点半。要死了。。。
• zip的用BytesIO在内存中解压了。
• 越写越烂。还是会少一些图片。。坐等哪天高兴了再重写吧。。
• 多线程，异步能快一些么。。

使用方法都懒的写了233

• config-demo.py 输入账号密码
• 然后改成config.py即可
• python3 repixiv 运行
• 概不负责。。orz

特别感谢

• 后排膜monburan大神