Ошибка [1.1.481] баг в LinkExtractor?

[malexoid]

Пример:

1. берется страница http://www.test.com/a/b/
2. на этой странице есть ссылки на ./c/ и ./d/
3. парсер берет страницу http://www.test.com/a/b/c/
4. вместо ответа 200, сервер возвращает 301 на http://www.test.com/a/b/
5. в этом месте происходит следующее: вдруг парсер делает запросы к страницам http://www.test.com/a/b/c/d/ и http://www.test.com/a/b/c/c/ хотя ссылок на такие страницы не существует.

видимо в п.4. парсер считает, что текущая страница осталась http://www.test.com/a/b/c/, хотя 301 редирект привел нас к странице http://www.test.com/a/b/

 

[Forbidden]

исправлено, также исправлен тестировщик заданий при некоторых случаях использования Parse to level