Улучшение restart задачи

  • Автор темы Автор темы malexoid
  • Дата начала Дата начала

malexoid

A-Parser Enterprise License
A-Parser Enterprise
Есть случаи, когда необходимо делать рестарт задачи, через API или ручками.
1. Когда много плохих проксей и 99% запросов парсятся очень быстро, а оставшемуся 1% нужно очень много времени, больше в 2-3 раза чем было потрачено на парсинг 99%, я через api делаю автоматически stop задачи, жду 10 секунд, потому что пока aparser остановит задачу пройдёт время, проверяю статус задачи, что она действительно на паузе, потом делаю старт задачи.
2. Тоже самое делаю руками, когда тестирую парсинг задач.

Так вот, нельзя ли сделать restart на уровне aparser?
в п.1. это избавит от ожидания и лишней логики на стороне клиента.
в п.2. не нужно будет нажимать 2 раза стоп, ждать, а потом старт.
 
а что делает рестарт? обнуляет баны прокси? ну тогда выстави Proxy ban time = 0
зачем эти лишние действия?
 
не знаю, что делает рестарт :) какая-то магия там, но после него вначале всё начинает резко парсится потом опять колом встаёт.
proxy ban time не помогает, с ним общий парсинг фиговый.
 
proxy ban time у меня 30 сек.
при нуле 0 плохо, при 300 плохо.
 
да, я тоже такую штуку заметил. остаётся штук 100-400 запросов, ставишь паузу, продолжаешь и всё быстренько допаршивается.
 
на каких парсерах это проявляется? лучше устранить проблему чем городить костыли :)
 
на каких парсерах это проявляется? лучше устранить проблему чем городить костыли :)
google position в основном, но у yandex position тоже, но не так заметно, из-за того что парсинг яндекса более стабильный из за успешного распознавания каптч,
 
у меня с парсингом линков с гугла такое тоже проявляется, без антикапчи
 
Назад
Верх