Парсинг инфостарта

Опубликовано Павел Путков 12.07.2018 0 Комментарии

Ниже показан пример создания настройки парсинга сайта с помощью Парсинг сайтов - мониторинг цен конкурентов 2.0

Возьмём сайт  - http://infostart.ru/

Необходимо настроить обработку на парсинг цен платного контента.

Вначале проанализируем сайт.

Точка входа находиться по адресу http://infostart.ru/public/pay/

 

Очевидно нам надо парсить адреса, содержащие слова */public/pay/*  на этих страничках есть вся удовлетворяющая информация 

Настраиваем работу парсера:

Настройка парсера

В результате парсер будет считывать странички вида .....http://infostart.ru/public/pay/?&pgndir[1]=1&prefilter=pay&pgnid[1]=333192&PAGEN_1=37, http://infostart.ru/public/pay/?&pgndir[1]=1&prefilter=pay&pgnid[1]=333192&PAGEN_1=15 .... , т.е. весь каталог

Теперь настроим получение информации с этих страничек. Каждому элементу парсинга пропишем Xpath пути.

Всё делаем по этой статье -  Хорошая статья на тему создания Xpath путей, это занимает примерно 10 минут

Вот что получилось

X path пути

 

Запускаем парсинг сайта - примерно 2 минуты парсинга, получаем результат:

Считанная номенклатура 

 

Затем в зависимости от задачи на основании этой номенклатуры можно создать собственную, синхронизировать с уже имеющиейся собственной номенклатурой и сравнивать цены  - Парсинг сайтов - мониторинг цен конкурентов 2.0

 

Пример парсинга интернет магазина, средствами внешней компоненты.