Улучшение При проверке проксей добавить возможность измерения пропускной способности

[antonevi4]

%subj%

Желательно, добавить возможность установки отвечающего скрипта на свой сервер.

 

[antonevi4]

Возможен еще более интересный вариант. При работе парсера анализировать скорость отдачи через проксю. В настройки парсера добавить пороговое значение минимальной пропускной способности и/или количество самых быстрых проксей, которое используется для сбора (активный пул). Не прошедшие фильтр прокси банятся на определенное время, при выходе из бана или появлении новой прокси за 1-3 раза высчитывается их скорость и все по новой. Позволит максимизировать скорость сбора и без паразитной нагрузки.
Настраивается
- минимальная скорость прокси
- количество проксей в активном пуле
- таймаут бана
- количество замеров