Skip to content

一款基于国内两大SEO搜索引擎爱站和站长之家的子域名爬取工具。

Notifications You must be signed in to change notification settings

ltfafei/DomainSpiderSE

Repository files navigation

DomainSpiderSE

 一款基于国内两大SEO搜索引擎爱站和站长之家的子域名爬取工具。

环境

安装依赖:

 pip install -r requirement.txt

使用selenium模块依赖chromedriver,根据自己Chrome版本下载对应版本。

chromedriver国内镜像下载地址:http://npm.taobao.org/mirrors/chromedriver/

下载完后解压,将chromedriver.exe文件复制到Chrome的Google/Chrome/Application目录下和Python的安装目录。

用法

python spiderSE.py -h

************************************************************
        github:https://github.com/ltfafei
          CSDN: afei00123.blog.csdn.net
               公众号:网络运维渗透

************************************************************

usage: spiderSE.py [-h] -d URL -f FILES [--option {a,z}]

SearchEngine domain spider Script

optional arguments:
  -h, --help            show this help message and exit
  -d URL, --url URL     please input master domain. eg: xxx.com
  -f FILES, --files FILES
                        Please input url_file path to save. eg: c:\urls.txt
  --option {a,z}        --option a:使用爱站爬虫;--option z:使用站长之家爬虫(默认使用站长之家爬虫)

python spiderSE.py -d xxx.cn -f urls.txt

image

python spiderSE.py -d xxx.edu.cn -f urls1.txt --option a

image

About

一款基于国内两大SEO搜索引擎爱站和站长之家的子域名爬取工具。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages