Собираю инфу с сайтов в промышленных масштабах и попадаются сайты, которые возвращают ответ 406 из за юзер агента. Знаю что можно прописать его руками, но иногда забываю =) Поменяйте стандартный юзер агент на более современный чтоли.
зачем кучу? 1 парсер - 1 пресет некоторые сайты выдают упрощенную версию для старого агента - без ajax, это как раз и нужно парсеру