Улучшение Предлагаю добавить в настройки чекера прокси ограничение по потокам через эту группу прокси.

[antonevi4]

С удовольствим используем динамический лимит потоков, но, к сожалению, его нельзя применять, если мы используем несколько источников прокси с ограничениями потоков. Пример - купили 300 ваших; есть 170 своих для сбора "слабозащищенных" ресурсов; есть безлимитный awmproxy на 12000 потоков, который хорош, но не парсит гугл; есть большая база мусора для всяких маловажных задач. Если мы поставим больше 300 потоков, то при отсутствии задач на другие прокси 300 ваших перестанут корректно работать. В результате, нагрузка на машину - меньше 10% от возможной.

Предлагаю добавить в настройки чекера прокси ограничение по потокам через эту группу прокси.
Это позволит использовать несколько источников прокси с ограничением потоков одновременно.

 

[Gorn]

Поддерживаю! Такая настройка необходима.

 

[ozand]

Поддерживаю, столкнулся аналогично с тем, что есть разные сервисы проксей и по каждому нужно указать ограничение на кол-во потоков.

 

[btr]

Давно на форум не заходил, решил как раз предложить эту идею, оказывается давно есть в предложениях.
Тоже самое, беру прокси в разных местах, много где ограничение по потокам, если превышаешь ограничение банят на какое то время IP.
Очень нужен подобный функционал.

 

[flaer]

Здравствуйте. Есть у меня такой набор прокси:
1) Nosok.org c ограничением в 50 потоков
2) мобильные c ограничением в 200 потоков

Не могу использовать оба сервиса одновременно с максимумом потоков.
Если выставляю 200 - носок не хочет работать. Если выставляю 50 - недозагружен второй сервис.
Предложение заключается в том чтобы параметр лимита потоков указывать и в настройках прокси-чекера.

 

[DeLaKroiX]

поддержу, функционал полезный. юзаю фришные прокси, там, как вы понимаете, нет лимита потоков, но не для всех сервисов они достаточно пригодны. а также юзаю платные прокси. и есть задания, где эти сервисы пересекаются. в этих случаях такой функционал бы пригодился.

 

[ozand]

поддержу, функционал полезный. юзаю фришные прокси, там, как вы понимаете, нет лимита потоков, но не для всех сервисов они достаточно пригодны. а также юзаю платные прокси. и есть задания, где эти сервисы пересекаются. в этих случаях такой функционал бы пригодился.

вот абсолютно такая же ситуация.
особенно не удобно, когда платные прокси даются в виде одного входящего IP, с ограничением на потоки.
и весь этот зоопарк - шаред списки, платные, платные с IP ... очень трудно управлять.

 

[seranking]

было бы очень полезным функционалом

 

[Dimazzan]

Еще желательно что бы была возможность это все использовать по api, поставив количество потоков равному кол-ву потоков прокси я сталкиваюсь с тем что прокси не до загружены.

Превысив немного потоки на своем софте (конкретно в моем случае zennoposter) я могу иногда ловить состояние что расходуется больше потоков.

 

[stive84]

От метода парсинга зависит. Если используете браузер, что в зенно что в а-парсере надо ~ на 10 умножать количество потоков из настроек. В режиме js-движка у апарсера (ну или на запросах у зенно) количество потоков = тому, что в настройках.