There are some spiders implements by python.
created in September 16, 2018 at 11. I will keep updating.
-
Scrapy:
- coolscrapy: crawl [虎嗅网](http://www.huxiu.com)
- douban: crawl [豆瓣](http://www.douban.com) 电影排行榜
- pexels: crawl [pexels](http://www.pexels.com) 批量下载指定类型的图片
- qidain: crawl [起点中文网](http://www.qidian.com) free book and free chapter
- sf: crawl [思否](http://www.segmentfault.com) 全站所有文章和问答
- baomihua: crawl [爆米花](https://www.baomihua.com/) 全站任意种类视频，可以自己指定频道
-
No Scrapy:
-
-
微博
- weibo爬虫（电脑端）.py: crawl [微博PC版](https://wwww.weibo.com) 指定人的所有微博及其微博下的评论
- weibo爬虫（手机版网页）.py crawl [微博手机版](http://m.weibo.com) 提供uid可以爬取任何用户的所有微博以及微博下面的所有评论，并分析评论用户男女比例
- 猫眼电影排行.py: familiar with douban, but not use scrapy
- 知乎推荐.py: crawl [知乎-今日热点](https://www.zhihu.com/explore)
- 天气预报: crawl [中国天气网](http://www.weather.com.cn/) 可查询各省各市各区的天气 其中：prepareForWeatherPredict.py采集必要数据，天气预报.py用于查询天气，P_C_A.json是查询所必需的信息树
- bilibili: crawl [哔哩哔哩弹幕网]，某个up主投稿的视频。(存在个别视频爬取失败的情况)