1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Ошибка [1.1.801] SE::Google проблема с последним потоком

Тема в разделе "1.1.811", создана пользователем Alex, 29 мар 2017.

  1. Alex

    Alex A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    29 апр 2014
    Сообщения:
    35
    Симпатии:
    9
    Проблема возникает в конце парсинга - последний поток может висеть, пока не выберет все попытки:

    3ca2e7563a6f45d1bcdc05ef5a0815d1.png
    43c4ba636e3a41a6b37177363206ee2e.png
    ...и так далее.

    10к запросов, сниппеты, 450 потоков через прокси, антигейт (xEvil+xrumer).
    Основная часть задания выполняется за 10-15 мин и потом оно может висеть минут 30-50, пока не закончатся попытки у последнего потока.

    1.1.800, но встречалось и в предыдущих версиях.
     
    #1 Alex, 29 мар 2017
    Последнее редактирование: 29 мар 2017
    Metroid нравится это.
  2. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    Тоже самое замечал и замечаю, вот тут писал https://a-parser.com/threads/3146/ пункт 2.
    Причем у меня такое наблюдается на разных парсерах.
     
    #2 seowin555, 29 мар 2017
    Metroid нравится это.
  3. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    Эта тема давно была, я обхожу это следующим алгоритмом, через API: если активных потоков меньше чем установленное значение + в течении 10 минут скорость падает ниже критической, то ставлю задание на паузу и тут же стартую. Помогает. Без этих манипуляций, задание может весеть очень и очень долго.
     
    #3 malexoid, 30 мар 2017
    Metroid нравится это.
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    @Alex, попробуй 1.1.801, если ситуация сохранится - пришли мне в личку полные строчки лога

    @seowin555 твоя проблема совсем в другом, в полном непонимании того что так и должно быть(хотя в предыдущем топике было как раз разжевано саппортом), если из 500 потоков 5 медленно отрабатывают по причине каптчи\прокси\и т.д., то именно эти 5(1-3-7-11) потоков ты и увидишь в конце, потому что другие уже отработали, это не проблема последних запросов

    @malexoid - @Alex единственный кто прислал лог на котором видно именно некорректную работу, вот эту проблему и будем лечить, использовать костыли с перезапуском задания - так себе вариант
     
    #4 Forbidden, 30 мар 2017
    Последнее редактирование: 30 мар 2017
    Alex нравится это.
  5. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    По этому вопросу понял, но у проблема на самом последнем запросе и для решения этой проблемы я также использую костыль, как написал malexoid. Могу видео записать или по тимке показать, например.
    Обработка самого последнего запроса и занимает больше всего времени, чем вообще весь парсинг.
    Вот, например, еще мое старое сообщение, когда я купил а-парсер - https://a-parser.com/threads/2813/#post-9469 .
    На последнем запросе 15 минут стоял.
     
    #5 seowin555, 30 мар 2017
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    с чего ты взял что запрос последний? это запрос из середины может быть или из начала, нет такого понятия "последний" запрос
     
    #6 Forbidden, 30 мар 2017
  7. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    Не верно написал, не последний запрос, а последний поток...
     
    #7 seowin555, 30 мар 2017
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    единственное что может помочь в этой дискуссии - открыть лог и посмотреть причину почему запрос долго выполняется
     
    #8 Forbidden, 30 мар 2017
  9. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    Я пробовал смотреть по логу, тоже самое, что и у Alex, т.е. перебирает все попытки на последнем запросе.
    Поэтому и написал сюда.
    Как встречусь снова с такой проблемой, лог сохраню....
     
    #9 seowin555, 30 мар 2017
  10. Alex

    Alex A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    29 апр 2014
    Сообщения:
    35
    Симпатии:
    9
    Прогнал 10 заданий по 10к, пока ничего не зависало :)
     
    #10 Alex, 30 мар 2017
  11. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    @Forbidden 1.1.801 предлагает только конфиг поменять... это ок?
     
    #11 malexoid, 31 мар 2017
  12. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    апарсер всегда предлагает менять только исполняемый файл
     
    #12 Forbidden, 31 мар 2017
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей