OCHOBA analitycal tools

В данном проекте собраны коды, для поднятия аналитической платформы для работы с данными из постов и комментариев сайтов ОСНОВА: vc.ru, tjournal.ru, dtf.ru

Платформа

Веб-сервис: https://share.streamlit.io/ekhusainov/made2021_project_visualisation/main

Демо-ролик с представлением проекта: https://drive.google.com/file/d/1UbzhiI7TqXMiZ6fNnZtxcxc4CMkLMOAp/view?usp=sharing

Данные

Собранные данные (по результатам загрузки на конец 3 квартала 2021 года: ~1.5 миллиона файлов, ~75 Гб).

Архивы данных доступны по ссылке: https://drive.google.com/drive/folders/1wHA5kRxBshNtspgZf-bK5y2LC4uCz

Содержимое репозитория

• data_unladong

​ Код для скачивания постов и комментариев с сайтов

• graph_construction

​ Код для создания графов, на основе скачанной информации о постах и комментариях

• topic_extraction

​ Код для определения релевантных топиков в постах на основе LDA

• webservice

​ Код для поднятия веб-сервиса на базе платформу Streamlitw