Улучшение Полный проход парсера по tries при неудачных запросах

Думаю, имеет смысл сделать в виде настройки вариант полного прохода парсера по tries, если получили ответ 4xx или 5xx. Может быть полезно при:
1. Клоакинге проксей на сайте, который парсится
2. Прокси выдаёт 4хх, 5хх независимо от сайта, который парсится

 

Мы с тобой в аське как-то говорили. Суть в том, что я ловил случаи, когда авмпрокси отдают 404 или же 5xx, даже когда сайт, который парсится, функционирует верно.
Это или глюки прокси или же сайт клоачит некоторые сети. Тогда есть смысл полностью пройтись по кол-ву tries.

 

Оказалось, что это оно.