Пример: 1. берется страница http://www.test.com/a/b/ 2. на этой странице есть ссылки на ./c/ и ./d/ 3. парсер берет страницу http://www.test.com/a/b/c/ 4. вместо ответа 200, сервер возвращает 301 на http://www.test.com/a/b/ 5. в этом месте происходит следующее: вдруг парсер делает запросы к страницам http://www.test.com/a/b/c/d/ и http://www.test.com/a/b/c/c/ хотя ссылок на такие страницы не существует. видимо в п.4. парсер считает, что текущая страница осталась http://www.test.com/a/b/c/, хотя 301 редирект привел нас к странице http://www.test.com/a/b/