1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 1100+ и мы растем!
    Скрыть объявление

Неудачные запросы

Тема в разделе "Техническая поддержка", создана пользователем SPEED, 13 май 2015.

  1. SPEED

    SPEED A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 май 2015
    Сообщения:
    31
    Симпатии:
    4
    Привет

    Для тестинга и обучения решил воспользоваться пресетом по сбору форумов, но при выполнении задания много неудачных запросов... Пока писал текст их уже более 45к, что не так, в чем проблема ?

    555555.png
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.198
    Симпатии:
    1.713
    я думаю проблема в переборе потоков прокси

    смотри внимательно информацию указанную в личном кабинете в разделе Proxies http://a-parser.com/pages/members-area/
    дополнительно в настройках парсер можно указать Общий лимит потоков в соответствии с тарифом прокси
     
  3. SPEED

    SPEED A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 май 2015
    Сообщения:
    31
    Симпатии:
    4
    Пересохранил задачу, всё вроде нормализовалось. Потоков выставил 40 на забор проксей 10 в итоге 50 в рамках тарифа... НО всеравно частично идут неверные запросы.
    666.png
    Что вообще означают эти неверные запросы ? Запросов всего 10 допустим, из них 8 неудачных и 2 удачных будет... так получается ?
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.198
    Симпатии:
    1.713
    это означает что запрос не спарсился в рамках установленного количества попыток(Request retries), попробуй увеличить до 100 например

    по скрину видно что на задание у тебя выделено 50 потоков, и ты говоришь что в прокси чекере еще сколько то стоит, явно не в рамках тарифа выходит
     
  5. SPEED

    SPEED A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 май 2015
    Сообщения:
    31
    Симпатии:
    4
    1.png 2.png

    Вот мои настройки
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.198
    Симпатии:
    1.713
    настройки настройками, а ты их применил? выбрал пресет проксичекера во вкладке проксичекера, презагрузил ли проксичекер если менял настройки после? перезапустил ли задание если менял его настройки?
     
  7. Kreola

    Kreola Member

    Регистрация:
    23 июн 2013
    Сообщения:
    200
    Симпатии:
    18
    Форби имеет ввиду что нужно зайти на Proxy Checker и применить ваши настройки под названием "Прокси"
    [​IMG]
     
  8. SPEED

    SPEED A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 май 2015
    Сообщения:
    31
    Симпатии:
    4
    Спасибо. С этим уже разобрался...
     
  9. master777

    master777 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 мар 2015
    Сообщения:
    8
    Симпатии:
    0
    Вообщем, у меня такая же проблема, что делать что бы избавиться или хотя бы минимизировать, можно по шагам так как новичок?
     

    Вложения:

  10. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    2.846
    Симпатии:
    1.672
    Ну 400 неудачных из 520к запросов - это совсем немного:). Но чтобы и их попытаться избежать - самый верный способ, как уже писали выше - это увеличивать количество попыток (request retries) до более высоких значений.
     
  11. kolya757

    kolya757 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 ноя 2014
    Сообщения:
    30
    Симпатии:
    5
    Тоже валятся ошибки и ничего не помогает request retries на 300 выставил уже и только скорость парсинга упала((
    [​IMG]
    Подскажите может есть еще варианты?
     
    #11 kolya757, 29 май 2015
    Последнее редактирование: 29 май 2015
  12. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    2.846
    Симпатии:
    1.672
    Тут нужно лог смотреть. Возмите один из неудачных запросов, прогоните через тестовый парсинг, и посмотрите, почему он не парсится...
     
  13. SPEED

    SPEED A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 май 2015
    Сообщения:
    31
    Симпатии:
    4
    Тут надо немного с request retries поколдовать + обращать внимание на потоки... и на качество твоих проксей. Например исходя из токо какими запросами ты парсишь, да еще и в яше... то там либо всё капчей завалено или прокси все давно в бане.

    123213.png

    Вот за 13 часов 3кк нужного мне уника по определенным запросам из них 253 плохих и это всё на 300 потоках... Если например у тебя скорость проксей 100 потоков + забор проксей 50, то в итоге выходит 150 и это перебор, а значит в это время всё полетит в плохие запросы как я понимаю...
     
    kolya757, Forbidden и Support нравится это.
  14. ascape

    ascape A-Parser Pro License
    A-Parser Pro

    Регистрация:
    14 фев 2018
    Сообщения:
    2
    Симпатии:
    0
    @Support , привет. По гуглу все летит в неудачные, асболютно всё. Использую proxy . am( не рекалама). Помоги пожалуйста разобраться
     
  15. Support Alex

    Support Alex Moderator
    Команда форума A-Parser Pro

    Регистрация:
    1 окт 2019
    Сообщения:
    17
    Симпатии:
    5
    Какая версия A-Parsera ?
     
  16. ascape

    ascape A-Parser Pro License
    A-Parser Pro

    Регистрация:
    14 фев 2018
    Сообщения:
    2
    Симпатии:
    0
    1.2.713
     
  17. kolya757

    kolya757 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 ноя 2014
    Сообщения:
    30
    Симпатии:
    5
    v1.2.595
    serpstat тоже летить все в неудачные, прокси ваши
     
  18. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    2.846
    Симпатии:
    1.672
    Что пишется в логе задания?

    В этой теме обсуждается парсер Гугла, не нужно все мешать в одну кучу, лучше создавать отдельные темы.
    Создана задача: https://a-parser.com/threads/5866/
     

Поделиться этой страницей