Эволюция мониторинга цен

Опубликовано Павел Путков 15.01.2020 0 Комментарии

Дальнейшее развтие  Простой мониторинг цен 

Путем тестирования считывания с помощью бесплатных прокси листов - обнаружилась их полная не пригодность. Из всех адресов, которые бесплатно предлагаются на просторах интернета, единицы из них рабочие, но через некоторое непродолжительное время и они "умирают".

Было принято решение добавить функции работы со специализированного сайта для работы с  прокси серверами . Сервис предлагает вполне демократические цены и качественный продукт. При этом сохранилась задавать свои прокси вручную.

Обработка стала умнее.

Перед считыванием массив товаров разбивается на порции, также разбиваются на порции массив прокси, чтобы минимизировать частоту запросов от одного и того же прокси к сайту.

При считываниии определяются "плохие" прокси, затем пробует считать странички с помощью других прокси.

При автоматическом поиске, если поиск был успешен, автоматически распознается и записывается адрес конкретной странички товара, для того чтобы при последующих считываниях мы попадали сразу на страничку товара

Значительно переработан интерфейс