web-scraping

对爬虫和网页数据抓取工作的代码积累，主要使用的工具

scrapy
BeautifulSoup
mongoDB

子目录介绍

weibo 新浪微博爬虫（主要爬取三部分：网络拓扑（fan/follow）,用户信息，微博内容）
chinasize chinaz 网站信息
alexa alexa 网站信息