Skip to content

Tulingli/CtripTravels

 
 

Repository files navigation

基于Playwright+Asyncio爬取携程网的机票数据

1、配置

创建 Mysql 数据库,数据库名为 ctriptravles

修改项目中 settings/settings.yaml 的 Mysql 用户密码配置

2、启动

1、将CtripTravels.py文件中的__EXECUTABLE_PATH__ 修改为本机google客户端exe的路径。

2、运行function.nextRoute.pycreateRoute()函数,生成路线文件。

3、运行main.py文件,即可启动爬虫。

3、注意事项

1、携程网的反爬机制比较强,如果你不用代理,那你的IP很快就会被封,所有路线都会提示无法查询了。 建议配置settings下的proxy.json文件,填写你自己的代理。

2、如果配置了代理文件,记得要把CtripTravels.py文件中的pw.chromium.launch中的proxy参数注释去掉。

3、由于生成的路线文件开头那几个路线的起点终点不太热门,航班比较少,你可以仿照步骤2.2生成的文件数据格式,先添加几个热门城市试试。

About

爬取携程网机票信息

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 100.0%