Привет Для тестинга и обучения решил воспользоваться пресетом по сбору форумов, но при выполнении задания много неудачных запросов... Пока писал текст их уже более 45к, что не так, в чем проблема ?
я думаю проблема в переборе потоков прокси смотри внимательно информацию указанную в личном кабинете в разделе Proxies http://a-parser.com/pages/members-area/ дополнительно в настройках парсер можно указать Общий лимит потоков в соответствии с тарифом прокси
Пересохранил задачу, всё вроде нормализовалось. Потоков выставил 40 на забор проксей 10 в итоге 50 в рамках тарифа... НО всеравно частично идут неверные запросы. Что вообще означают эти неверные запросы ? Запросов всего 10 допустим, из них 8 неудачных и 2 удачных будет... так получается ?
это означает что запрос не спарсился в рамках установленного количества попыток(Request retries), попробуй увеличить до 100 например по скрину видно что на задание у тебя выделено 50 потоков, и ты говоришь что в прокси чекере еще сколько то стоит, явно не в рамках тарифа выходит
настройки настройками, а ты их применил? выбрал пресет проксичекера во вкладке проксичекера, презагрузил ли проксичекер если менял настройки после? перезапустил ли задание если менял его настройки?
Вообщем, у меня такая же проблема, что делать что бы избавиться или хотя бы минимизировать, можно по шагам так как новичок?
Ну 400 неудачных из 520к запросов - это совсем немного. Но чтобы и их попытаться избежать - самый верный способ, как уже писали выше - это увеличивать количество попыток (request retries) до более высоких значений.
Тоже валятся ошибки и ничего не помогает request retries на 300 выставил уже и только скорость парсинга упала(( Подскажите может есть еще варианты?
Тут нужно лог смотреть. Возмите один из неудачных запросов, прогоните через тестовый парсинг, и посмотрите, почему он не парсится...
Тут надо немного с request retries поколдовать + обращать внимание на потоки... и на качество твоих проксей. Например исходя из токо какими запросами ты парсишь, да еще и в яше... то там либо всё капчей завалено или прокси все давно в бане. Вот за 13 часов 3кк нужного мне уника по определенным запросам из них 253 плохих и это всё на 300 потоках... Если например у тебя скорость проксей 100 потоков + забор проксей 50, то в итоге выходит 150 и это перебор, а значит в это время всё полетит в плохие запросы как я понимаю...
@Support , привет. По гуглу все летит в неудачные, асболютно всё. Использую proxy . am( не рекалама). Помоги пожалуйста разобраться
Что пишется в логе задания? В этой теме обсуждается парсер Гугла, не нужно все мешать в одну кучу, лучше создавать отдельные темы. Создана задача: https://a-parser.com/threads/5866/
