1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Предлагаю добавить в настройки чекера прокси ограничение по потокам через эту группу прокси.

Тема в разделе "Задачи", создана пользователем antonevi4, 20 окт 2016.

  1. antonevi4

    antonevi4 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2015
    Сообщения:
    67
    Симпатии:
    15
    С удовольствим используем динамический лимит потоков, но, к сожалению, его нельзя применять, если мы используем несколько источников прокси с ограничениями потоков. Пример - купили 300 ваших; есть 170 своих для сбора "слабозащищенных" ресурсов; есть безлимитный awmproxy на 12000 потоков, который хорош, но не парсит гугл; есть большая база мусора для всяких маловажных задач. Если мы поставим больше 300 потоков, то при отсутствии задач на другие прокси 300 ваших перестанут корректно работать. В результате, нагрузка на машину - меньше 10% от возможной.

    Предлагаю добавить в настройки чекера прокси ограничение по потокам через эту группу прокси.
    Это позволит использовать несколько источников прокси с ограничением потоков одновременно.
     
    #1 antonevi4, 20 окт 2016
    Последнее редактирование: 13 дек 2016
    flaer, DeLaKroiX и Alex нравится это.
  2. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    Поддерживаю! Такая настройка необходима.
     
    flaer нравится это.
  3. ozand

    ozand A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    23 ноя 2019
    Сообщения:
    49
    Симпатии:
    19
    Поддерживаю, столкнулся аналогично с тем, что есть разные сервисы проксей и по каждому нужно указать ограничение на кол-во потоков.
     
    flaer нравится это.
  4. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    Давно на форум не заходил, решил как раз предложить эту идею, оказывается давно есть в предложениях.
    Тоже самое, беру прокси в разных местах, много где ограничение по потокам, если превышаешь ограничение банят на какое то время IP.
    Очень нужен подобный функционал.
     
    flaer нравится это.
  5. flaer

    flaer A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 май 2021
    Сообщения:
    19
    Симпатии:
    1
    Здравствуйте. Есть у меня такой набор прокси:
    1) Nosok.org c ограничением в 50 потоков
    2) мобильные c ограничением в 200 потоков

    Не могу использовать оба сервиса одновременно с максимумом потоков.
    Если выставляю 200 - носок не хочет работать. Если выставляю 50 - недозагружен второй сервис.
    Предложение заключается в том чтобы параметр лимита потоков указывать и в настройках прокси-чекера.
     
  6. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    поддержу, функционал полезный. юзаю фришные прокси, там, как вы понимаете, нет лимита потоков, но не для всех сервисов они достаточно пригодны. а также юзаю платные прокси. и есть задания, где эти сервисы пересекаются. в этих случаях такой функционал бы пригодился.
     
    antonevi4, flaer и ozand нравится это.
  7. ozand

    ozand A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    23 ноя 2019
    Сообщения:
    49
    Симпатии:
    19
    вот абсолютно такая же ситуация.
    особенно не удобно, когда платные прокси даются в виде одного входящего IP, с ограничением на потоки.
    и весь этот зоопарк - шаред списки, платные, платные с IP ... :) очень трудно управлять.
     
    antonevi4, DeLaKroiX и flaer нравится это.
  8. seranking

    seranking A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    27 июн 2022
    Сообщения:
    2
    Симпатии:
    1
    было бы очень полезным функционалом
     
    antonevi4 нравится это.
  9. Dimazzan

    Dimazzan A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 окт 2017
    Сообщения:
    6
    Симпатии:
    1
    Еще желательно что бы была возможность это все использовать по api, поставив количество потоков равному кол-ву потоков прокси я сталкиваюсь с тем что прокси не до загружены.

    Превысив немного потоки на своем софте (конкретно в моем случае zennoposter) я могу иногда ловить состояние что расходуется больше потоков.
     
  10. stive84

    stive84 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 сен 2013
    Сообщения:
    21
    Симпатии:
    8
    От метода парсинга зависит. Если используете браузер, что в зенно что в а-парсере надо ~ на 10 умножать количество потоков из настроек. В режиме js-движка у апарсера (ну или на запросах у зенно) количество потоков = тому, что в настройках.
     

Поделиться этой страницей