Есть прокси где платить нужно за трафик. Запустил парсинг гугла в 50 потоков за пару часов съел гигабайт трафика. Вроде бы у гугла сайт легкий а так жрет. Можно ли какими-то настройками уменьшить потребление трафика? Может отключить картинки? Мобильную версию использовать? Еще что-то?
Как уменьшить потребление трафика при парсинге гугла?
- Автор темы sergeda
- Дата начала
Понял. Жаль что ничего сделать нельзя. Спасибо за ответКартинки конечно же не грузятся, контент в gzip сжимается, ну и к слову говоря там сайт не легкий совсем