Улучшение Полный проход парсера по tries при неудачных запросах

[worker]

Думаю, имеет смысл сделать в виде настройки вариант полного прохода парсера по tries, если получили ответ 4xx или 5xx. Может быть полезно при:
1. Клоакинге проксей на сайте, который парсится
2. Прокси выдаёт 4хх, 5хх независимо от сайта, который парсится

 

[Forbidden]

в настройках Net::HTTP можно выставить Good status, или речь о чем то другом?

 

[worker]

Мы с тобой в аське как-то говорили. Суть в том, что я ловил случаи, когда авмпрокси отдают 404 или же 5xx, даже когда сайт, который парсится, функционирует верно.
Это или глюки прокси или же сайт клоачит некоторые сети. Тогда есть смысл полностью пройтись по кол-ву tries.

 

[worker]

в настройках Net::HTTP можно выставить Good status, или речь о чем то другом?

Оказалось, что это оно.