С удовольствим используем динамический лимит потоков, но, к сожалению, его нельзя применять, если мы используем несколько источников прокси с ограничениями потоков. Пример - купили 300 ваших; есть 170 своих для сбора "слабозащищенных" ресурсов; есть безлимитный awmproxy на 12000 потоков, который хорош, но не парсит гугл; есть большая база мусора для всяких маловажных задач. Если мы поставим больше 300 потоков, то при отсутствии задач на другие прокси 300 ваших перестанут корректно работать. В результате, нагрузка на машину - меньше 10% от возможной. Предлагаю добавить в настройки чекера прокси ограничение по потокам через эту группу прокси. Это позволит использовать несколько источников прокси с ограничением потоков одновременно.
Поддерживаю, столкнулся аналогично с тем, что есть разные сервисы проксей и по каждому нужно указать ограничение на кол-во потоков.
Давно на форум не заходил, решил как раз предложить эту идею, оказывается давно есть в предложениях. Тоже самое, беру прокси в разных местах, много где ограничение по потокам, если превышаешь ограничение банят на какое то время IP. Очень нужен подобный функционал.
Здравствуйте. Есть у меня такой набор прокси: 1) Nosok.org c ограничением в 50 потоков 2) мобильные c ограничением в 200 потоков Не могу использовать оба сервиса одновременно с максимумом потоков. Если выставляю 200 - носок не хочет работать. Если выставляю 50 - недозагружен второй сервис. Предложение заключается в том чтобы параметр лимита потоков указывать и в настройках прокси-чекера.
поддержу, функционал полезный. юзаю фришные прокси, там, как вы понимаете, нет лимита потоков, но не для всех сервисов они достаточно пригодны. а также юзаю платные прокси. и есть задания, где эти сервисы пересекаются. в этих случаях такой функционал бы пригодился.
вот абсолютно такая же ситуация. особенно не удобно, когда платные прокси даются в виде одного входящего IP, с ограничением на потоки. и весь этот зоопарк - шаред списки, платные, платные с IP ... очень трудно управлять.
Еще желательно что бы была возможность это все использовать по api, поставив количество потоков равному кол-ву потоков прокси я сталкиваюсь с тем что прокси не до загружены. Превысив немного потоки на своем софте (конкретно в моем случае zennoposter) я могу иногда ловить состояние что расходуется больше потоков.
От метода парсинга зависит. Если используете браузер, что в зенно что в а-парсере надо ~ на 10 умножать количество потоков из настроек. В режиме js-движка у апарсера (ну или на запросах у зенно) количество потоков = тому, что в настройках.
