На большом количестве потоков многие сайты не парсятся

Доброго времени всем,
Заметил такую беду. Ставлю количество потоков 2000, запускаю парсер, собираю с множества сайтов регуляркой определенную информацию. Процессор загружен на 5-10%, все летает нормально. Но что-то дернуло меня перепроверить данные вручную. Заметил, что на некоторых сайтах необходимая информация присутствует, а парсер ее не смог вытащить.

Далее делаю тесты. При запущенном основном парсере запускаю тестовый парсинг, сайт выдает 596 ошибку. Останавливаю основной парсер и вуаля - тестовый парсер вытащил необходимую инфу.

Собственно вопрос, что за ерунда такая происходит? Как понимаю, слишком много потоков в работе, из за чего какие-то сайты не открываются. Но процессор ведь не нагружен совершенно, памяти предостаточно. Как понять, какой безопасный лимит потоков, чтобы парсер открывал все сайты и чтобы информация не пропадала ?

 

Я не использую прокси. 1 сайт = 1 запрос. Сайтов несколько миллионов, прокси ненужны.

Подозреваю, что эта проблема из за лимита по ДНС запросам от Google 8.8.8.8. Собственно вопрос, возможно ли настроить A-parser таким образом, чтобы распределить нагрузку между несколькими разными ДНС серверами?

 

Запустил парсер в 3000 потоков. Как видно из лога, очень многие сайты отдают ошибку 596. При этом, через браузер захожу на эти сайты - все ОК, открываются. Также, если останавливаю основной многопоточный парсер и запускаю тестовый парсинг для каждого из этих сайтов, там все ОК, по одному сайты парсятся корректно.

 

Канал на сервере 500мбит. Сейчас вот запустил 200 потоков, 596 ошибок стало сильно меньше (около 5-10% от общего кол-ва), но все равно это ерунда какая-то. Мощный сервер, широкий канал, а парсит через пень-колоду. Все таки думаю, что это проблема с ДНС. Нашел в хелпе такую функцию :



Работает ли этот функционал? Можно создать конфиг файл и добавить в него с десяток разных ДНС серверов?