Добрый день!
Задача такая, нужно определить икс для 60к сайтов.
При парсинге через SE::Yandex::SQI почему-то сильно падает скорость паринга, парсинг делаю через прокси, пробовал играться с потоками, брать еще два вида проксей, все равно так.
Сначала скорость парсинга нормальная, потом сильно падает, чуть ли не до нуля.
Подскажите, почему так может быть?
Задача такая, нужно определить икс для 60к сайтов.
При парсинге через SE::Yandex::SQI почему-то сильно падает скорость паринга, парсинг делаю через прокси, пробовал играться с потоками, брать еще два вида проксей, все равно так.
Сначала скорость парсинга нормальная, потом сильно падает, чуть ли не до нуля.
Подскажите, почему так может быть?