1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение restart задачи

Тема в разделе "Отклоненные задачи", создана пользователем malexoid, 8 апр 2016.

  1. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    Есть случаи, когда необходимо делать рестарт задачи, через API или ручками.
    1. Когда много плохих проксей и 99% запросов парсятся очень быстро, а оставшемуся 1% нужно очень много времени, больше в 2-3 раза чем было потрачено на парсинг 99%, я через api делаю автоматически stop задачи, жду 10 секунд, потому что пока aparser остановит задачу пройдёт время, проверяю статус задачи, что она действительно на паузе, потом делаю старт задачи.
    2. Тоже самое делаю руками, когда тестирую парсинг задач.

    Так вот, нельзя ли сделать restart на уровне aparser?
    в п.1. это избавит от ожидания и лишней логики на стороне клиента.
    в п.2. не нужно будет нажимать 2 раза стоп, ждать, а потом старт.
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.339
    Симпатии:
    1.799
    а что делает рестарт? обнуляет баны прокси? ну тогда выстави Proxy ban time = 0
    зачем эти лишние действия?
     
  3. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    не знаю, что делает рестарт :) какая-то магия там, но после него вначале всё начинает резко парсится потом опять колом встаёт.
    proxy ban time не помогает, с ним общий парсинг фиговый.
     
  4. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    proxy ban time у меня 30 сек.
    при нуле 0 плохо, при 300 плохо.
     
  5. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    да, я тоже такую штуку заметил. остаётся штук 100-400 запросов, ставишь паузу, продолжаешь и всё быстренько допаршивается.
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.339
    Симпатии:
    1.799
    на каких парсерах это проявляется? лучше устранить проблему чем городить костыли :)
     
  7. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    google position в основном, но у yandex position тоже, но не так заметно, из-за того что парсинг яндекса более стабильный из за успешного распознавания каптч,
     
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.339
    Симпатии:
    1.799
    а в google position с каптчей или без?
     
  9. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    да, capmonster
     
  10. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    у меня с парсингом линков с гугла такое тоже проявляется, без антикапчи
     
  11. XyaH

    XyaH A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    2 апр 2015
    Сообщения:
    35
    Симпатии:
    6
    Было тоже такое думал беда в объеме файла с результатами или запросами
     
  12. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.575
    Симпатии:
    2.172
    Еще актуально?
     

Поделиться этой страницей