Skip to content

Latest commit

 

History

History
33 lines (28 loc) · 1.2 KB

README.md

File metadata and controls

33 lines (28 loc) · 1.2 KB

pixiv_spider

目的

  1. 《谁组的暗牧》游戏提供图片
  2. 学习爬虫。orz
  3. 搜索热图——其付费功能。。

初步构想

  • 先很快的在大神的基础上完成,1,3功能
  • 因为看了大半天还是看不大懂那些请求
  • 其次在学习这些请求
  • 最后重构代码,可能能上scrapy。

re 版

  • 用requests库重写了一遍。
  • 前一个半小时就完成了普通图片的爬取
  • 图集做了三个小时了有。。现在还有点问题,超过10张图的命名问题,
  • 还有动图的。。现在用system('unzip')来解压,偷懒一下。。
  • 还有一个问题。偶尔会卡死。设置一波timeout?
  • 多加一些header信息可能也会好一些。。
  • 今天2点多做到现在8点半。要死了。。。
  • zip的用BytesIO在内存中解压了。
  • 越写越烂。还是会少一些图片。。坐等哪天高兴了再重写吧。。
  • 多线程,异步能快一些么。。

使用方法都懒的写了233

  • config-demo.py 输入账号密码
  • 然后改成config.py即可
  • python3 repixiv 运行
  • 概不负责。。orz

特别感谢