Skip to content

some spiders. 可以通过继承base_spider.py的方式来实现自己的蜘蛛, 及定时任务. 落地的话可以继承db模块中的基类. 项目关闭的时候会执行落地处理

Notifications You must be signed in to change notification settings

0827cg/cgspiders

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

cgspiders

弄这个项目, 开始我也想不出为啥, 后面才想起. 当时是因为6月份长江发大水, 想着记录下水位信息...貌似是这样

然后就有了这个项目, 慢慢发展而来就变成了持久化执行一些蜘蛛, 继而通过web端进行控制...? 这个倒是还未实现, 现在回想起来, 当时也是够无聊了的

总之, 这个仓库也只是做备份用, 代码也不是特别重要, 也就放上来了

依赖文件也是现写的, 应该没缺啥别的.

update-1

想到另一个, 当时看到sanic这个框架, 比较喜欢. 同时因为反感scrapy, 所以自己啰嗦就写了个这个

当然性能肯定比不上scrapy

许久没动多的草稿


author: cg

create time: 2021-01-13 19:41


About

some spiders. 可以通过继承base_spider.py的方式来实现自己的蜘蛛, 及定时任务. 落地的话可以继承db模块中的基类. 项目关闭的时候会执行落地处理

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages