Очень тяжело парсится , по сравнением с гооглем . Мне стало интересно у меня у одного такое или у всех ? Иногда приходится подождать 2-3 минуты чтобы он только начал парсить и то в 10/10 скорость , хотя я поставил 1000 потоков.
увеличь попытки(Request retries) Пример парсинга в 300 потоков, 100 попыток, все настройки по умолчанию(без антигейта), прокси от A-Parser'a: Пример парсинга в 100 потоков(демо версия парсера), 100 попыток, прокси от nosok.org:
Я использую данный сервер прокси http://best-proxies.ru/ , выбрал яндекс без капчи . (Request retries) всегда стоит 200
Я же не знал что они паблик , к тому же я с их помошью с гоогле собрал 3,000,000 сайтов . За 1 день .
