Неудачные запросы

[SPEED]

Привет

Для тестинга и обучения решил воспользоваться пресетом по сбору форумов, но при выполнении задания много неудачных запросов... Пока писал текст их уже более 45к, что не так, в чем проблема ?

​

 

[Forbidden]

я думаю проблема в переборе потоков прокси

смотри внимательно информацию указанную в личном кабинете в разделе Proxies http://a-parser.com/pages/members-area/
дополнительно в настройках парсер можно указать Общий лимит потоков в соответствии с тарифом прокси

 

[SPEED]

я думаю проблема в переборе потоков прокси

смотри внимательно информацию указанную в личном кабинете в разделе Proxies http://a-parser.com/pages/members-area/
дополнительно в настройках парсер можно указать Общий лимит потоков в соответствии с тарифом прокси

Пересохранил задачу, всё вроде нормализовалось. Потоков выставил 40 на забор проксей 10 в итоге 50 в рамках тарифа... НО всеравно частично идут неверные запросы.

​

Что вообще означают эти неверные запросы ? Запросов всего 10 допустим, из них 8 неудачных и 2 удачных будет... так получается ?

 

[Forbidden]

это означает что запрос не спарсился в рамках установленного количества попыток(Request retries), попробуй увеличить до 100 например

по скрину видно что на задание у тебя выделено 50 потоков, и ты говоришь что в прокси чекере еще сколько то стоит, явно не в рамках тарифа выходит

 

[SPEED]

это означает что запрос не спарсился в рамках установленного количества попыток(Request retries), попробуй увеличить до 100 например

по скрину видно что на задание у тебя выделено 50 потоков, и ты говоришь что в прокси чекере еще сколько то стоит, явно не в рамках тарифа выходит

​

Вот мои настройки

 

[Forbidden]

настройки настройками, а ты их применил? выбрал пресет проксичекера во вкладке проксичекера, презагрузил ли проксичекер если менял настройки после? перезапустил ли задание если менял его настройки?

 

[Kreola]

Форби имеет ввиду что нужно зайти на Proxy Checker и применить ваши настройки под названием "Прокси"

 

[SPEED]

Форби имеет ввиду что нужно зайти на Proxy Checker и применить ваши настройки под названием "Прокси"

Спасибо. С этим уже разобрался...

 

[master777]

Вообщем, у меня такая же проблема, что делать что бы избавиться или хотя бы минимизировать, можно по шагам так как новичок?

 

[Support]

Ну 400 неудачных из 520к запросов - это совсем немного. Но чтобы и их попытаться избежать - самый верный способ, как уже писали выше - это увеличивать количество попыток (request retries) до более высоких значений.

 

[kolya757]

Тоже валятся ошибки и ничего не помогает request retries на 300 выставил уже и только скорость парсинга упала((

Подскажите может есть еще варианты?

 

[Support]

Тут нужно лог смотреть. Возмите один из неудачных запросов, прогоните через тестовый парсинг, и посмотрите, почему он не парсится...

 

[SPEED]

Тоже валятся ошибки и ничего не помогает request retries на 300 выставил уже и только скорость парсинга упала((
Подскажите может есть еще варианты?

Тут надо немного с request retries поколдовать + обращать внимание на потоки... и на качество твоих проксей. Например исходя из токо какими запросами ты парсишь, да еще и в яше... то там либо всё капчей завалено или прокси все давно в бане.



Вот за 13 часов 3кк нужного мне уника по определенным запросам из них 253 плохих и это всё на 300 потоках... Если например у тебя скорость проксей 100 потоков + забор проксей 50, то в итоге выходит 150 и это перебор, а значит в это время всё полетит в плохие запросы как я понимаю...

 

[ascape]

@Support , привет. По гуглу все летит в неудачные, асболютно всё. Использую proxy . am( не рекалама). Помоги пожалуйста разобраться

 

[Support Alex]

@Support , привет. По гуглу все летит в неудачные, асболютно всё. Использую proxy . am( не рекалама). Помоги пожалуйста разобраться

Какая версия A-Parsera ?

 

[ascape]

Какая версия A-Parsera ?

1.2.713

 

[kolya757]

v1.2.595
serpstat тоже летить все в неудачные, прокси ваши

 

[Support]

1.2.713

Что пишется в логе задания?

v1.2.595
serpstat тоже летить все в неудачные

В этой теме обсуждается парсер Гугла, не нужно все мешать в одну кучу, лучше создавать отдельные темы.
Создана задача: https://a-parser.com/threads/5866/