Skip to content

The project utilizes Scrapy, a powerful web crawling framework in Python. It scrapes the Python PEP index page, extracts relevant status data, and then generates a CSV file for easy visualization and analysis

Notifications You must be signed in to change notification settings

Gen121/scrapy_parser_pep

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

10 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Проект парсинга Python документации с использованием фреймворка Scrapy

Описание

Парсинг данных статусов PEP'ов документации Python. С выводом данных в csv формате.

Как запустить проект:

Клонировать репозиторий и перейти в него в командной строке:

git clone https://github.com/Gen121/scrapy_parser_pep.git
cd scrapy_parser_pep

Cоздать и активировать виртуальное окружение:

python3 -m venv venv
source venv/bin/activate

Установить зависимости из файла requirements.txt:

pip install -r requirements.txt

Запустить парсинг:

scrapy crawl pep

About

The project utilizes Scrapy, a powerful web crawling framework in Python. It scrapes the Python PEP index page, extracts relevant status data, and then generates a CSV file for easy visualization and analysis

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages