Вопрос по уникализации и неудачных запросах.

[Kreola]

Приветствую!
вопрос 1) можно ли сделать, чтоб ссылки которые попадают в неудачный парсинг, после завершения задания (когда 100%) сбрасывались в обработку и еще раз проходили?
Возможно проще вывести галочку в настройку, возможно не всем нужно.
вопрос 2) если включить уникализацию, то по какому критерию она создается ?
по ссылке? по информации, которую забирает парсер? еще по какому-то критерию.
входят ли туда запросы которые не прошли, т.е. выпали в неудачные?

 

[Forbidden]

1) смысл? повторная обработка неудачных запросов контролируется через параметр Request retries
список неудачных запросов можно сохранять через галку Сохранять неудачные запросы, которые будут находится в папке queries/failed

2) http://a-parser.com/wiki/unique/
неудачные никак входить не могут потому что по ним нет результатов

 

[fest1val]

@Forbidden Как получаются неудачные запросы?
Разве может быть неудачный запрос, если он выполнился, какой ответ трактуется как неудачный?
// часто используется у нас в компании какие-то экспорты, парсинги, программист никогда не упоминал - неудачный запрос. Может быть некорректный код ответа, неправильная поставка запроса, сетевые проблемы и т.д. и мы понимаем как это фиксить. В а-парсере вообще не могу понять что это такое и как на это позитивно повлиять. Почему например при парсинге позиций, приходится ставить 1000 попыток, при том что по одному поисковому запросу ему нужно спарсить лишь одну страницу. Он получается долбится-долбится, нарывается на капчу и бан айпи.
Как могут быть разные результаты при идентичных запросах? Думал лишь три статуса бывает - парсить удачно, обрабатывает капчу, бан айпи.

 

[DeLaKroiX]

Как получаются неудачные запросы?
Разве может быть неудачный запрос, если он выполнился, какой ответ трактуется как неудачный?

неудачный запрос, это запрос, по которому не было получено результата за выставленное кол-во попыток.

Почему например при парсинге позиций, приходится ставить 1000 попыток, при том что по одному поисковому запросу ему нужно спарсить лишь одну страницу. Он получается долбится-долбится, нарывается на капчу и бан айпи.

в первом предложении вопрос, во втором предложении ответ. как вариант - использовать антигейт, либо приватные прокси.

Думал лишь три статуса бывает - парсить удачно, обрабатывает капчу, бан айпи.

удачно и неудачно - это результат обработки запроса. обработка капчи и бан айпи - это не конечные действия с запросами.

 

[fest1val]

в первом предложении вопрос, во втором предложении ответ. как вариант - использовать антигейт, либо приватные прокси.

удачно и неудачно - это результат обработки запроса. обработка капчи и бан айпи - это не конечные действия с запросами.

Другими словами, погода на улице влияет на результаты запроса?
Удивительно, фильтр товаров в интернет-магазине, почему-то всегда отображает одни и те же товары. Клянусь, могу показать это магазин!
@DeLaKroiX , если честно, мне кажется вы отвечаете на вопрос из другой темы. Не могу понять какая цель преследуется, когда человек просто набивает посты, на форуме где это никак не учитывается.

 

[Forbidden]

Разве может быть неудачный запрос, если он выполнился, какой ответ трактуется как неудачный?

выше уже ответили, если за указанное число Request retries запрос не выполнен - он больше не обрабатывается и становится неудачным

Как могут быть разные результаты при идентичных запросах? Думал лишь три статуса бывает - парсить удачно, обрабатывает капчу, бан айпи.

не понятна суть вопроса

Другими словами, погода на улице влияет на результаты запроса?

на результат парсинга влияют настройки, прокси, антигейт, причем тут погода?

 

[fest1val]

не понятна суть вопроса

суть вопроса - как спарсить с первого раза?

если мне нужно 1000 ответов, почему приходится обрушить 1 000 000 запросов на ПС?

 

[Forbidden]

суть вопроса - как спарсить с первого раза?

если мне нужно 1000 ответов, почему приходится обрушить 1 000 000 запросов на ПС?

а) возьми прокси которые не забанены
или
б) возьми прокси и антигейт