GUI
В Главном окне можно:
- Указать ссылку или открыть Редактор ссылок для генерации или вставки множества своих URL.
- Открыть Настройки.
- Указать тип выходного файла:
json,csvилиxlsx. - Указать путь выходного файла.
- Запустить или остановить парсинг.
В Редакторе ссылок можно вставить свои URL или запустить Генератор ссылок.
Генератор ссылок помогает создать список URL с пользовательским запросом по любым выбранным городам любой выбранной страны. 2GIS позволяет искать по запросу или по рубрике.
Если выбран запрос и не выбрана рубрика - будет произведен поиск по запросу. Если выбрана рубрика - будет поиск по рубрике (2GIS в этом случае игнорирует запрос).
В Селекторе рубрик можно совершить поиск по рубрикам и выбрать желаемую. Если рубрика не нужна - необходимо выбрать специальную нулевую рубрику Без рубрики.
В Настройках можно:
- Отключить изображения для увеличения скорости парсинга, уменьшения потребления RAM.
- Включить Скрытый режим для скрытия окна браузера.
- Установить Лимит RAM для браузера. Чем больше RAM - тем больше записей одного URL браузер сможет передать парсеру до того как съест всю память и выгрузится.
- Включить Точные совпадения - парсер будет пропускать ссылки о которых 2GIS сообщил, что результат не имеет точных совпадений.
- Установить Задержку кликов для искуственного замедления парсинга. Может быть удобным, если в будущем 2GIS начнёт жаловаться на слишком быстрый "обзор" сайта.
- Включить Добавление комментариев для добавлений комментариев организаций к телефонам (добавочные номера, офисы), режимам работы (другой режим в праздничные дни) и прочим колонкам.
- Увеличить размер Сложных колонок - См. раздел CSV и XLSX таблицы.
Парсер сам пытается определить Лимит RAM и Лимит записей, но можно вручную задать больше. Судя по тестам, 4GB RAM хватает на 2000 записей, 6GB RAM хватает на 3000 записей. Если браузер съедает всю доступную ему память - он выгружается из памяти, парсинг ссылки завершается, парсер переходит к следующей ссылке, если она есть.