Приветствую! вопрос 1) можно ли сделать, чтоб ссылки которые попадают в неудачный парсинг, после завершения задания (когда 100%) сбрасывались в обработку и еще раз проходили? Возможно проще вывести галочку в настройку, возможно не всем нужно. вопрос 2) если включить уникализацию, то по какому критерию она создается ? по ссылке? по информации, которую забирает парсер? еще по какому-то критерию. входят ли туда запросы которые не прошли, т.е. выпали в неудачные?
1) смысл? повторная обработка неудачных запросов контролируется через параметр Request retries список неудачных запросов можно сохранять через галку Сохранять неудачные запросы, которые будут находится в папке queries/failed 2) http://a-parser.com/wiki/unique/ неудачные никак входить не могут потому что по ним нет результатов
@Forbidden Как получаются неудачные запросы? Разве может быть неудачный запрос, если он выполнился, какой ответ трактуется как неудачный? // часто используется у нас в компании какие-то экспорты, парсинги, программист никогда не упоминал - неудачный запрос. Может быть некорректный код ответа, неправильная поставка запроса, сетевые проблемы и т.д. и мы понимаем как это фиксить. В а-парсере вообще не могу понять что это такое и как на это позитивно повлиять. Почему например при парсинге позиций, приходится ставить 1000 попыток, при том что по одному поисковому запросу ему нужно спарсить лишь одну страницу. Он получается долбится-долбится, нарывается на капчу и бан айпи. Как могут быть разные результаты при идентичных запросах? Думал лишь три статуса бывает - парсить удачно, обрабатывает капчу, бан айпи.
неудачный запрос, это запрос, по которому не было получено результата за выставленное кол-во попыток. в первом предложении вопрос, во втором предложении ответ. как вариант - использовать антигейт, либо приватные прокси. удачно и неудачно - это результат обработки запроса. обработка капчи и бан айпи - это не конечные действия с запросами.
Другими словами, погода на улице влияет на результаты запроса? Удивительно, фильтр товаров в интернет-магазине, почему-то всегда отображает одни и те же товары. Клянусь, могу показать это магазин! @DeLaKroiX , если честно, мне кажется вы отвечаете на вопрос из другой темы. Не могу понять какая цель преследуется, когда человек просто набивает посты, на форуме где это никак не учитывается.
выше уже ответили, если за указанное число Request retries запрос не выполнен - он больше не обрабатывается и становится неудачным не понятна суть вопроса на результат парсинга влияют настройки, прокси, антигейт, причем тут погода?
суть вопроса - как спарсить с первого раза? если мне нужно 1000 ответов, почему приходится обрушить 1 000 000 запросов на ПС?
